Введение​

В данном релизе основной акцент был сделан на улучшении интерфейса и оптимизации производительности системы Caila. Добавлены функции автоматического обновления страниц после создания серверных шаблонов и улучшена поддержка отображения статусов объектов.

Обновлены механизмы управления динамическими серверами и добавлена обработка ошибок в open-ai-proxy для повышения гибкости и надежности системы. Реализован стримминг режим для Kaldi сервиса и адаптеров (GigaChat|Yandex|Claude|Gemini). Добавлена информация о стоимости вызова в MultiChat.

Новые функции и улучшения​

Запуск Caila-приложения на динамических серверах​

Теперь доступны возможности запуска Caila-приложений на динамических серверах, что позволит повысить гибкость развертывания и управления ресурсами. Данный функционал улучшает производительность и дает больше возможностей для масштабирования сервисов и приложений.

Поддержка различных типов внутри content в Claude​

Реализована возможность работы с разными типами внутри content в Claude, что позволяет пользователям передавать и обрабатывать изображения, текст и другие типы данных в одном запросе. Это расширяет функциональные возможности системы и упрощает взаимодействие с различными форматами данных.

Пример запроса:

export IMAGE=
curl -X 'POST' \
  'https://caila.io/api/adapters/openai-direct/chat/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -H "Authorization: Bearer ${MLP_API_KEY}" \
  -d '{"model":"just-ai/claude/claude-3-5-sonnet-20240620","max_tokens":1024,"messages":[{"role":"user","content":[{"type":"image","source":{"type":"base64","media_type":"image/jpeg","data":"'"$IMAGE"'"}},{"type":"text","text":"Что изображено на картинке?"}]}]}'

Стриминг режим для Kaldi сервиса и адаптеров​

Внедрен стриминг режим для Kaldi сервиса, включая соответствующие адаптеры (Gemini|Claude|GigaChat|Yandex), что повышает гибкость и производительность обработки голосовых данных. Поддержана возможность работы в пакетном и стримминговом режимах, что позволяет выбрать наиболее подходящий режим в зависимости от сценария использования. Реализована поддержка клиентского стримминга в Java SDK.

Отображение стоимости вызова в MultiChat и окне «Тестирование»​

Добавлена возможность отображения стоимости вызова в MultiChat и окне «Тестирование». Теперь пользователи смогут легко отслеживать затраты прямо в интерфейсе приложения. Это является важной частью управления бюджетом и позволяет лучше контролировать расходы.

Полный список сервисов в Ресурс-группе​

Теперь на вкладке Сервисы в Ресурс-группе отображаются все прикрепленные сервисы, включая неактивные. Статус каждого сервиса обозначен цветным индикатором. Также в местах, где показывается количество сервисов, теперь отображается информация в формате: 5(активных) / 10(назначено). Это помогает быстро оценить состояние сервисов.

Динамическая стоимость сервера​

На странице выбора сервера стоимость теперь обновляется динамически в зависимости от указанных параметров. Это позволяет вам всегда видеть актуальную цену и упрощает процесс принятия решений.

Стоимость запроса в multi-chat​

В multi-chat теперь отображается стоимость запроса. Вы можете выбрать отображение цены в рублях или токенах в настройках. Это позволяет вам отслеживать текущие затраты прямо в интерфейсе.

Ресурсные пулы и квоты​

Мы внедрили пулы ресурсов и квоты, которые позволяют вам контролировать и отслеживать использование ресурсов на аккаунте. Это поможет оптимизировать использование ресурсов и предотвратить превышение доступных лимитов.

Welcome-бонус для всех пользователей​

Теперь все новые пользователи получают welcome-бонус в размере 500 ₽ при регистрации. Кроме того, бонус был начислен всем существующим пользователям.

Провели вебинар на тему «Как найти оптимальную модель GenAI для проекта»​

Простой и безопасный доступ к любым GPT с помощью caila.io

О чем говорили на вебинаре:

• Какие задачи бизнеса решает GenAI — актуальные кейсы для клиентского сервиса, HR, продаж и других областей;

• Выбор языковой модели под проект: разберем на примере критерии отбора и инструменты работы с моделями в действии;

• Облачные модели или он-прем: особенности вариантов использования;

• Caila: профессиональная платформа для удобного хостинга, тестирования и интеграции моделей.

Ссылка на запись вебинара​

Информация о сервере при внешнем подключении​

Теперь при добавлении внешнего подключения можно добавить комментарий с информацией о сервере и дате запуска модели. Например: «OP-XYZ, rndbox5, 1.02.2024». Это поможет быстрее находить нужные модели на внешних серверах.

GPT-Viewer: поддержка Markdown​

GPT-Viewer теперь поддерживает Markdown. Форматируйте текст, чтобы сделать его более читабельным и удобным для работы с данными.

Конфигурация сервера: добавлен период тарификации​

Теперь при выборе конфигурации сервера отображается не только цена, но и период тарификации, например, 100 рублей за месяц. Это позволяет лучше понять стоимость услуги.

Llama 3.1​

Сервисы на базе Llama 3.1 появились в каталоге Caila в двух вариантах. Сервисы размещены для целей ознакомления и тестирования.

Доступность сервисов — постоянная.

Обновление портала документации​

Сайт документации caila.io переехал на новый движок и пополнился новыми статьями.