Перейти к основному содержимому

Релиз 12.11.2024

Введение​

В данном релизе основной акцент был сделан на улучшении интерфейса и оптимизации производительности системы Caila. Добавлены функции автоматического обновления страниц после создания серверных шаблонов и улучшена поддержка отображения статусов объектов.

Обновлены механизмы управления динамическими серверами и добавлена обработка ошибок в open-ai-proxy для повышения гибкости и надежности системы. Реализован стримминг режим для Kaldi сервиса и адаптеров (GigaChat|Yandex|Claude|Gemini). Добавлена информация о стоимости вызова в MultiChat.

Новые функции и улучшения​

Запуск Caila-приложения на динамических серверах​

Теперь доступны возможности запуска Caila-приложений на динамических серверах, что позволит повысить гибкость развертывания и управления ресурсами. Данный функционал улучшает производительность и дает больше возможностей для масштабирования сервисов и приложений.

Поддержка различных типов внутри content в Claude​

Реализована возможность работы с разными типами внутри content в Claude, что позволяет пользователям передавать и обрабатывать изображения, текст и другие типы данных в одном запросе. Это расширяет функциональные возможности системы и упрощает взаимодействие с различными форматами данных.

Пример запроса:

export IMAGE=
curl -X 'POST' \
  'https://caila.io/api/adapters/openai-direct/chat/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -H "Authorization: Bearer ${MLP_API_KEY}" \
  -d '{"model":"just-ai/claude/claude-3-5-sonnet-20240620","max_tokens":1024,"messages":[{"role":"user","content":[{"type":"image","source":{"type":"base64","media_type":"image/jpeg","data":"'"$IMAGE"'"}},{"type":"text","text":"Что изображено на картинке?"}]}]}'

Стриминг режим для Kaldi сервиса и адаптеров​

Внедрен стриминг режим для Kaldi сервиса, включая соответствующие адаптеры (Gemini|Claude|GigaChat|Yandex), что повышает гибкость и производительность обработки голосовых данных. Поддержана возможность работы в пакетном и стримминговом режимах, что позволяет выбрать наиболее подходящий режим в зависимости от сценария использования. Реализована поддержка клиентского стримминга в Java SDK.

Отображение стоимости вызова в MultiChat и окне «Тестирование»​

Добавлена возможность отображения стоимости вызова в MultiChat и окне «Тестирование». Теперь пользователи смогут легко отслеживать затраты прямо в интерфейсе приложения. Это является важной частью управления бюджетом и позволяет лучше контролировать расходы.