vLLM: сервинг LLM на своём железе

MLOps / LLMOps · Inference

Не изучено

Добавлено 2026-10-29.

Проблема

Данные нельзя отправлять во внешнее облако — закрытый контур, требования безопасности. Нужна своя модель с нормальной пропускной способностью и привычным API.

Решение

vLLM — сервер inference с PagedAttention и непрерывным батчингом, OpenAI- и Anthropic-совместимым API. Поддерживает GPU разных производителей и CPU. Подключается к LiteLLM как обычный провайдер.

Пример

docker run --rm --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -v vllm-cache:/root/.cache/vllm \
  -p 127.0.0.1:8000:8000 \
  vllm/vllm-openai:v0.32.0 \
  meta-llama/Llama-3.1-8B-Instruct

Порт опубликован только на 127.0.0.1; снаружи — через шлюз с авторизацией. Том vllm-cache сохраняет скомпилированные артефакты между перезапусками и ускоряет старт.

Когда применять

Когда есть GPU и требование держать данные внутри. CPU-режим подходит для обучения, не для нагрузки.

Ограничения

Быстрый релизный цикл — фиксировать версию образа. Лицензии весов моделей проверять отдельно.

Источник

• vllm-project/vllm
• Запуск в Docker

Как применить у себя

1. На арендованной GPU поднять небольшую модель.
2. Снять время до первого токена и пропускную способность в Grafana.
3. Подключить к LiteLLM как провайдера.
4. Отметить «Изучено», когда приложение работает через vLLM вместо облачной модели.