Ресурсы и лимиты ML-сервиса

Аппаратные ресурсы для ML-сервиса выделяются в ресурс-группе, которую вы указываете в его настройках. Подробнее о создании ресурс-группы читайте в разделе Аренда серверных мощностей.

В настройках ML-сервиса вы можете указать ресурсы, необходимые одному инстансу (см. инструкцию ниже).

Ресурс	Единицы измерения	Пример значения
CPU	Количество ядер, целое или дробное, либо количество millicores	0.1 или 100m (эти выражения эквивалентны)
Memory	Объем в T, G, M, k (степени 10) или Ti, Gi, Mi, Ki (степени 2)	90G
Disk	Аналогично Memory	100Mi
GPU	–	Требуется/не требуется

Контроль ресурсов при запуске

Для запуска инстанса платформа подбирает подходящий сервер в ресурс-группе с учетом характеристик сервера и параметров уже работающих на нем инстансов.

Если ресурсов на сервере недостаточно и в ресурс-группе настроено автомасштабирование, платформа добавит сервер. Если нет возможности добавить сервер или нет подходящего шаблона сервера для запуска (например, сервису требуется GPU, но в ресурс-группе только серверы без GPU), платформа выдаст ошибку.

Контроль ресурсов во время работы

Механизм контроля ресурсов во время работы инстанса зависит от типа развертывания ресурс-группы.

В ресурс-группах с типом развертывания Docker платформа контролирует:

• Memory — объем оперативной памяти, доступный инстансу. Если инстанс выйдет за лимит, он будет остановлен.
• GPU — если опция выключена, сервису не будет доступен ресурс GPU.

подсказка

Рекомендуем сначала указать Memory с запасом. На вкладке Диагностика можно отслеживать фактическое потребление памяти инстансом и при необходимости скорректировать значение.

В ресурс-группах с типом развертывания Kubernetes платформа контролирует:

• CPU — гарантированное количество ядер, выделяемое инстансу. Если на сервере есть свободные ресурсы, инстанс может потреблять больше.
• Memory — объем оперативной памяти, доступный инстансу. Если инстанс выйдет за лимит, он будет остановлен.
• Disk — объем дисковой памяти, доступный инстансу. Если инстанс выйдет за лимит, он будет остановлен.
• GPU — если опция выключена, сервису не будет доступен ресурс GPU.

Как настроить лимиты

1. Выберите сервис и перейдите в Настройки.
2. Перейдите на вкладку Хостинг.
3. Раскройте группу настроек Лимиты ресурсов и отредактируйте лимиты.
4. Нажмите Сохранить.

примечание

Настройки лимитов также продублированы на вкладке Основные.

Caila автоматически перезапустит работающие инстансы (кроме использующих внешнее или отладочное подключение), перераспределив их по серверам в соответствии с новыми лимитами. Если изменен только лимит Memory, а сервис развернут в ресурс-группе с типом Docker, обновление может быть применено без перезапуска.