Аренда серверных мощностей

Для развертывания ML-сервиса необходимы аппаратные ресурсы. Гибко управлять ресурсами, выбирать и арендовать серверы, распределять по ним ML-сервисы позволяют ресурс-группы.

Ресурс-группа представляет собой набор серверов, выделенный для решения определенных задач. В одной ресурс-группе можно запустить несколько ML-сервисов.

В облачной версии Caila серверы предоставляются в аренду облачными провайдерами серверов — партнерами Just AI. При добавлении сервера в ресурс-группу начинается его аренда, при удалении — заканчивается.

Ключевые возможности

Ресурс-группа с типом развертывания Docker предоставляет возможности для адаптации к периодам высокой нагрузки: автомасштабирование и вытеснение.

Автомасштабирование

Автомасштабирование в ресурс-группе — это механизм, который автоматически регулирует количество работающих серверов исходя из требуемого количества инстансов ML-сервиса.

Когда требуется запустить новый инстанс, Caila проверяет, достаточно ли для него ресурсов в группе, и если нет — сначала добавляет сервер, а потом запускает на нем инстанс. И обратно: если на сервере не осталось инстансов, Caila удаляет сервер спустя время простоя, указанное в настройках группы.

Пул серверов

Один из способов автомасштабирования в ресурс-группе — пул серверов. Пул представляет собой резервную ресурс-группу, которая служит «донором» серверов для других ресурс-групп.

Если возникает необходимость добавить сервер в ресурс-группу, которая использует пул, то из пула переносится активный сервер, не занятый инстансами. Этот сервер сразу доступен, и не приходится дожидаться его запуска. Только если в пуле нет такого сервера, запускается новый сервер в ресурс-группе.

В пуле полезно включить автомасштабирование: как только Caila забирает сервер из пула в другую ресурс-группу, в пуле запускается новый сервер.

Вытеснение инстансов

Вытеснение — это механизм, который пытается остановить самый давно не используемый инстанс, когда требуется запустить новый сервис или инстанс, для которого не хватает ресурсов. Количество инстансов ML-сервиса не может стать ниже минимального, указанного в настройках сервиса.

Если в ресурс-группе включено одновременно вытеснение и автомасштабирование, то вытеснение применяется, только когда возможности автомасштабирования исчерпаны.

Подробнее о принципах вытеснения читайте в разделе Вытеснение ресурсов в Caila.

Пошаговые инструкции

Создание ресурс-группы

1. Перейдите в Моё пространство → Ресурс-группы.

2. Нажмите Создать ресурс-группу.

3. Укажите имя ресурс-группы.

   предупреждение

   Имя должно быть уникальным в рамках платформы Caila.

4. Выберите тип деплоймента Docker.

5. Добавьте серверы или настройте автомасштабирование. Допустимо и то и другое вместе.

Ресурс-группа готова к использованию. Чтобы запустить ML-сервис в этой группе, выберите ее в настройках ML-сервиса на вкладке Хостинг.

Добавление сервера

Чтобы вручную добавить сервер в ресурс-группу:

1. Перейдите в Моё пространство → Ресурс-группы и выберите ресурс-группу.
2. Нажмите Добавить сервер.
3. Укажите имя сервера.
4. Выберите из списка конфигурацию сервера, исходя из количества ресурсов, которые требуются ML-сервисам, которые вы планируете запускать в этой группе.
5. При необходимости ограничьте время работы сервера, чтобы избежать лишних затрат. В дальнейшем время можно продлить.
6. Нажмите Создать.

Сервер начнет запускаться. Его текущее состояние можно посмотреть в ресурс-группе на вкладке Серверы, а связанные с ним события — на вкладке История по серверам.

Если сервер больше не нужен, удалите его. Для этого в ресурс-группе на вкладке Серверы нажмите  → Удалить.

Настройка автомасштабирования

При создании ресурс-группы автомасштабирование отключено.

Чтобы включить автомасштабирование:

1. Перейдите в Моё пространство → Ресурс-группы и выберите ресурс-группу.

2. Нажмите Изменить.

3. Включите автомасштабирование и укажите настройки:

   • минимальное и максимальное количество серверов, от 0 до 100;
   • максимальное время простоя в минутах, спустя которое сервер будет остановлен (при условии что текущее количество серверов выше минимального);
   • конфигурацию серверов — исходя из количества ресурсов, которые требуются ML-сервисам, которые вы планируете запускать в этой группе.
   • резервные (fallback) конфигурации серверов, которые запускаются, если провайдер не может предоставить сервер основной конфигурации;
   • имя ресурс-группы, которая используется в качестве пула серверов.

4. Нажмите Применить.

Текущее состояние серверов отображается в ресурс-группе на вкладке Серверы, а связанные с ними события — на вкладке История по серверам.

к сведению

Добавление и удаление серверов — фоновые задачи. Для просмотра фоновых задач нажмите вверху любой страницы Caila.