LLM Solution
В Caila представлено большое количество сервисов для доступа к LLM, как облачным, так и self-hosted. Caila позволяет получить прямой доступ ко всем GPT сервисам через унифицированный API. Кроме того, вы можете запускать открытые модели на своих серверах и платить не за API-вызовы, а за аренду сервера.
LLM сервисы, доступные в Caila
Сервисы для чата с LLM собраны в каталоге в категории GPT
Все сервисы можно разделить на категории:
- Прокси к облачным LLM. Все сервисы доступны с территории РФ и через единый ключ доступа.
- Открытые LLM, доступные через API. Эти модели хостятся на наших серверах и доступны постоянно. Список доступных моделей периодически меняется. Актуальный список смотрите в каталоге.
- Открытые LLM, доступные для запуска на выделенных серверах. На выделенных ресурсах пользователь может запускать любые модели. В Caila есть поддержка нескольких инференс-движков.
| Прокси | Хостятся у нас | Для запуска на своих серверах |
|---|---|---|
| OpenAI | Llama3 | vLLM |
| Claude | Qwen2 | Ollama |
| Gemini | Mistral | TGI |
| GigaChat | ||
| YandexGPT |
API для прямого доступа к LLM
Описание Caila API для доступа к LLM находится здесь: Чат-генерация
Ко всем сервисам можно обращаться через OpenAI Adapter
Инструменты для работы с LLM и GPT сервисами
- Multi Chat — позволяет вести диалог одновременно с несколькими моделями или даже с одной моделью, но с разными настройками. Предназначено для side-by-side сравнения разных моделей и выбора подходящих моделей и параметров. Подробнее читайте в специальном разделе Multi Chat.
- GPT Viewer — приложение позволяет включать сохранение истории и просматривать историю запросов к LLM-моделям, которые хостятся на Ваших выделенных серверах.
- LLM Eval — набор приложений — Jupyter notebooks для запуска бенчмарков на LLM-сервисы через Caila API. Доступ к инструментам запуска бенчмарков предоставляется по запросу через техподдержку.