Перейти к основному содержимому

Маскирование данных и контроль расходов

В этом релизе добавлена интеграция с Jay Guard для защиты данных в запросах к LLM, кэширование промтов для Claude, а также реализованы важные доработки лимитов API-ключей и биллинга.

Маскирование данных в запросах​

Шлюз безопасности Jay Guard обнаруживает и защищает персональные данные при отправке запросов к LLM. В зависимости от настроенных правил, Jay Guard блокирует отправку запроса или маскирует данные, заменяя реальные значения плейсхолдерами и восстанавливая их в ответе.

Настроить интеграцию с Jay Guard можно на нескольких уровнях:

  1. Для отдельного API-ключа — укажите ключ доступа Jay Guard в настройках API-ключа: Моё пространство → API-ключи.
  2. Для всего аккаунта — укажите ключ доступа Jay Guard в настройках аккаунта:  → Аккаунт.
  3. Для всей платформы Caila в случае установки в контуре вашей организации.

О настройке правил фильтрации читайте в документации Jay Guard. Чтобы начать использовать Jay Guard, оставьте заявку на адрес client@just-ai.com.

Контроль расходов​

  • Опция «Новый лимит доступен сразу». В настройках API-ключа при добавлении или увеличении лимита расходов вы можете указать, можно ли будет израсходовать новую сумму сразу или она будет становиться доступной постепенно.

  • Метод получения доступных остатков по лимитам RPM и расходов для API-ключа.

    Пример запроса:

    curl -L 'https://caila.io/api/mlpgateway/account/<accountId>/token/<apiKeyName>/limits' \
    -H 'MLP-API-KEY: <your-api-key>'
    Пример ответа
    {
      "rpm": {
        "limit": 100,
        "remaining": 75
      },
      "spending": [
        {
          "interval": "DAYS",
          "limit": 10.0,
          "remaining": 7.5
        },
        {
          "interval": "MONTHS",
          "limit": 100.0,
          "remaining": 85.0
        }
      ]
    }

  • Отчет по расходам API-ключей. Скачать отчет можно в разделе Моё пространство → Отчеты → Биллинг, а также через API.

    Пример запроса:

    curl -L -X GET 'https://caila.io/api/mlpbilling/account/1000174642/report/spending?period=MONTH&startDate=2025-12-01T00%3A00%3A00.000Z' \
    -H 'MLP-API-KEY: <your-api-key>'

  • Кэширование промтов для Claude позволяет обрабатывать похожие запросы без повторной отправки всей информации в модель. Подробнее об этом в документации Claude.

    Параметр cache_control для управления кэшированием поддерживается как в Predict API, так и в адаптере.

    Пример запроса
    curl https://caila.io/api/adapters/v1/messages \
    -H "content-type: application/json" \
    -H "MLP-API-KEY: <your-api-key>" \
    -H "anthropic-version: 2023-06-01" \
    -d '{
      "model": "claude-sonnet-4-5",
      "max_tokens": 300,
      "system": [
        { "type": "text", "text": "Ты помощник. Отвечай кратко и по делу." },
        {
          "type": "text",
          "text": "<ВАШ_ОЧЕНЬ_БОЛЬШОЙ_ТЕКСТ_ДОКУМЕНТА>",
          "cache_control": { "type": "ephemeral" }
        }
      ],
      "messages": [
        { "role": "user", "content": "Сделай краткое резюме документа." }
      ]
    }'

    Ответ содержит данные об использовании кэша.

    Пример ответа
    {
      "input_tokens": 19,
      "cache_creation_input_tokens": 3067,
      "cache_read_input_tokens": 0,
      "cache_creation": {
        "ephemeral_5m_input_tokens": 3067,
        "ephemeral_1h_input_tokens": 0
      },
      "output_tokens": 270,
      "service_tier": "standard" 
    }

Улучшения в UI​

  • В диагностической консоли корректно отображаются цветной вывод и команды очистки экрана, устранены проблемы с отображением ввода и скроллом.