Запуск сервиса

В Caila сервис можно запустить несколькими способами:

• Вручную.
• С помощью настроек автомасштабирования.
• При поступлении запроса.
• На внешнем сервере.

Рекомендуем запускать сервис вручную в следующих случаях:

• Сразу после создания, так как платформа скачивает Docker-образ, что может занять длительное время.
• Для отладки и диагностики, чтобы изучить сообщения в консоли, логи и события в реальном времени.

Аппаратные ресурсы

В облачной версии Caila вашему аккаунту бесплатно предоставляется ресурс-группа free-pool-quota…. В ней выделены 1 CPU, 2Gi RAM и 2G дискового пространства, GPU отсутствует. Ее можно использовать как песочницу для запуска пробного сервиса с минимальным потреблением ресурсов.

Как правило, развертывание моделей требует значительных ресурсов. Рекомендуем создать свою ресурс-группу и выбрать подходящую конфигурацию сервера. Подробнее об этом в разделе Аренда серверных мощностей.

Если у вас есть свой сервер, вы можете запустить ML-сервис на нем.

Запуск сервиса вручную

Чтобы запустить сервис вручную:

1. Перейдите в раздел Настройки на вкладку Хостинг.
2. Выберите режим хостинга Простой.
3. В блоке Управление инстансами нажмите .

Если сервис не запускается или запускается слишком долго, перейдите на вкладку Диагностика. На этой странице вы найдете:

• статус инстанса;
• список событий от сервера;
• логи работы сервиса;
• командную строку внутри контейнера.

предупреждение

В режиме хостинга Простой инстансы не останавливаются автоматически из-за простоя. Они могут быть остановлены только вручную или в результате вытеснения. Чтобы избежать лишних расходов, используйте сервер с ограниченным временем жизни или настройте автомасштабирование.

Запуск сервиса по запросу

Caila автоматически запускает инстанс, как только к сервису поступает запрос, если у сервиса нет работающих инстансов и выбран режим хостинга Простой или Автоматический.

Настройка Отклонять запросы, если сервис неактивен определяет, будет ли запрос ожидать запуска сервиса или сразу вернет ошибку. Инстанс начнет запускаться независимо от этой настройки.

предупреждение

В режиме хостинга Простой инстансы не останавливаются автоматически из-за простоя. Они могут быть остановлены только вручную или в результате вытеснения. Чтобы избежать лишних расходов, используйте сервер с ограниченным временем жизни или настройте автомасштабирование.

Автомасштабирование

Автомасштабирование — это механизм, который автоматически управляет количеством активных инстансов в зависимости от текущей нагрузки. При росте нагрузки Caila добавляет новые инстансы, чтобы обеспечить быструю обработку всех запросов. При снижении нагрузки лишние инстансы останавливаются для экономии ресурсов. Этот способ подходит для сервисов в продуктивной среде, где нагрузка может быть неравномерной и непредсказуемой.

Подробнее о настройке автомасштабирования читайте в разделе Автомасштабирование ML‑сервиса.

Запуск на внешнем сервере

Внешний режим хостинга позволяет запустить ML-сервис на любом сервере. Необходим сетевой доступ с этого сервера к платформе Caila и к Docker-репозиторию, где размещен образ сервиса.

Чтобы запустить сервис:

1. Перейдите в раздел Настройки на вкладку Хостинг.
2. Выберите режим хостинга Внешнее подключение.
3. Нажмите Добавить инстанс и скопируйте команду docker run.
4. Выполните эту команду на своем сервере.

При запуске инстанс зарегистрируется на платформе Caila и будет получать запросы от нее.