Перейти к основному содержимому

Конфигурация

В Caila можно гибко настраивать ML-сервис с помощью параметров конфигурации. Доступны следующие конфигурации:

Конфигурация запуска​

Разработчик ML-сервиса сам определяет набор параметров, передаваемых инстансу при запуске. Это могут быть:

  • инфраструктурные переменные, например адрес внешнего ресурса, учетные данные;
  • параметры, влияющие на логику работы, такие как режим генерации, количество итераций.

Параметры передаются в виде JSON-конфигурации или переменных среды.

Если вы склонировали сервис-прототип из каталога Caila, доступные параметры можно найти на странице прототипа.

Чтобы настроить конфигурацию для запуска сервиса:

  1. Перейдите в Моё пространство → Сервисы.

  2. Выберите сервис и перейдите в Настройки.

  3. На вкладке Основные нажмите .

  4. Отредактируйте настройки:

    • Конфигурация запуска (для JSON);
    • Переменные среды.

  5. Прокрутите вниз и нажмите Сохранить.

При обновлении конфигурации запуска или переменных среды Caila автоматически перезапустит работающие инстансы. Это не относится к инстансам, использующим внешнее или отладочное подключение.

Конфигурация обработки запроса​

Разработчик ML-сервиса определяет, какие настройки можно указать в параметре config при вызове метода predict-with-config. Например, это могут быть температура генерации, название голоса для синтеза речи или желаемое количество вариантов перефразирования. Узнать, какие настройки доступны, можно на странице сервиса в каталоге Caila.

В настройках ML-сервиса можно задать несколько конфигураций (наборов настроек) для обработки запроса. Эти конфигурации будут доступны для выбора в разделе Тестирование на странице сервиса.

Конфигурация с опцией Is default будет выбрана по умолчанию в разделе Тестирование, а также использоваться при вызове метода predict (у которого нет параметра config).

Чтобы добавить конфигурацию для обработки запроса:

  1. Перейдите в Моё пространство → Сервисы.
  2. Выберите сервис и перейдите в Настройки.
  3. На вкладке Конфигурация нажмите Добавить конфигурацию рядом с заголовком Конфигурация запуска.
  4. Укажите название конфигурации для отображения в списке.
  5. Задайте конфигурацию в формате JSON. Например, {"temperature":0.8}.
  6. Включите опцию Is default, чтобы эта конфигурация использовалась по умолчанию.
  7. Нажмите Сохранить.

Чтобы проверить, как работает сервис с этой конфигурацией:

  1. Перейдите в Тестирование.
  2. Включите опцию Настроить конфигурацию сервиса и выберите конфигурацию.
  3. Укажите тело запроса и нажмите Запустить тест.