HolmesGPT: ИИ-разбор алертов Prometheus

ИИ-инструменты · Эксплуатация

Не изучено

Добавлено 2026-10-29.

Проблема

Ночью сработал алерт. Дежурный тратит первые 20 минут на одни и те же запросы: метрики, логи, последние изменения.

Решение

HolmesGPT (CNCF sandbox) — агент, который сам собирает данные из Prometheus, Grafana, Loki, Kubernetes и других источников и предлагает гипотезу о причине. По замыслу работает только на чтение и учитывает RBAC. Модель — через LiteLLM, чтобы метрики и логи не уходили во внешнее облако.

Пример

~/.holmes/config.yaml — источник метрик:

toolsets:
  prometheus/metrics:
    enabled: true
    config:
      prometheus_url: http://127.0.0.1:9090

Модель через OpenAI-совместимый шлюз:

export OPENAI_API_BASE=http://127.0.0.1:4000/v1
export OPENAI_API_KEY=<виртуальный ключ LiteLLM>

holmes ask "почему растёт latency у devops-kb?" --model="openai/local-llm"
holmes investigate alertmanager --alertmanager-url http://127.0.0.1:9093 \
  --alertmanager-label "severity=critical"

Ограничения

Качество зависит от модели и доступных данных. Вывод — гипотеза для дежурного, а не диагноз. Если нужен только Kubernetes, есть более простая альтернатива — k8sgpt.

Источник

• robusta-dev/holmesgpt — Apache-2.0
• Toolset Prometheus
• OpenAI-совместимые модели
• Разбор алертов Alertmanager

Как применить у себя

1. На тестовом стенде подключить Prometheus и модель через LiteLLM.
2. Прогнать три исторических алерта.
3. Сравнить выводы с реальными причинами из постмортемов.
4. Отметить «Изучено», если гипотеза совпала хотя бы в двух случаях из трёх.