llama-3.1

Llama 3.1

Сервисы на базе Llama 3.1 появились в каталоге Caila в двух вариантах. Сервисы размещены для целей ознакомления и тестирования.

Доступность сервисов — постоянная.

llama3.1-8b

Используется чекпоинт: meta-llama/Meta-Llama-3.1-8B-Instruct.

Движок для инференса: vllm.

GPU: 1×3090 (на момент публикации)

llama3.1-70b-4q

Используется чекпоинт: hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4.

Движок для инференса: vllm.

GPU: 4×3090 (на момент публикации)