Релиз 17.04.2025
Добавлены функции:
-
Автомасштабирование ML-сервиса на основе метрик. Теперь в режиме хостинга «Автоматический» можно настроить запуск и остановку инстансов сервиса на основе количества запросов, времени ответа, нагрузки на CPU.
Пример настройки
-
Метод для потоковой генерации: predict-with-config-stream. Работает аналогично
predict-with-config-v2-stream, но принимает на вход объект, а не строку, поэтому не требует экранирования символов.Пример запроса
curl -L 'https://caila.io/api/mlpgate/account/just-ai/model/gemini/predict-with-config-stream' \
-H 'MLP-API-KEY: <api_token>' \
-H 'Content-Type: application/json' \
-d '{
"config": {
"temperature": 0.8
},
"data": {
"stream": true,
"model": "gemini-1.5-pro",
"max_tokens": 20000,
"messages": [
{
"role": "user",
"content": "What is the weather like in San Francisco?"
}
]
}
} -
Метод для подсчета количества токенов в запросе: count-tokens. Пока работает только для моделей Claude.
Пример запроса
curl -L 'https://caila.io/api/adapters/openai/count-tokens' \
-H 'Authorization: Bearer <api_token>' \
-H 'Content-Type: application/json' \
-d '{
model": "just-ai/claude/claude-3-5-sonnet-latest",
"messages": [
{
"role":"user",
"content":"What is the weather like in San Francisco?"
}
]
}'
