TIG-стек: Telegraf + InfluxDB + Grafana для мониторинга

Управление сроками хранения данных для экономии дискового пространства:

# Создание bucket'а с разным retention
influx bucket create \
  --name monitoring-short \
  --org mycompany \
  --retention 7d

influx bucket create \
  --name monitoring-long \
  --org mycompany \
  --retention 365d

# Downsampling: агрегация старых данных через Task
influx task create --org mycompany --file downsample.flux

# downsample.flux:
option task = {name: "downsample-5m", every: 1h}

from(bucket: "monitoring")
  |> range(start: -2h, stop: -1h)
  |> filter(fn: (r) => r._measurement == "cpu")
  |> aggregateWindow(every: 5m, fn: mean)
  |> to(bucket: "monitoring-long", org: "mycompany")

Основной файл конфигурации — /etc/telegraf/telegraf.conf:

# /etc/telegraf/telegraf.conf

# Глобальные настройки
[global_tags]
  datacenter = "msk-1"
  role = "webserver"

[agent]
  interval = "10s"
  round_interval = true
  flush_interval = "10s"
  hostname = ""
  omit_hostname = false

# Output: InfluxDB 2.x
[[outputs.influxdb_v2]]
  urls = ["http://monitoring.corp.local:8086"]
  token = "YOUR_API_TOKEN_HERE"
  organization = "mycompany"
  bucket = "monitoring"

# Input: CPU
[[inputs.cpu]]
  percpu = true
  totalcpu = true
  collect_cpu_time = false
  report_active = false

# Input: Memory
[[inputs.mem]]

# Input: Disk
[[inputs.disk]]
  ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"]

# Input: Disk I/O
[[inputs.diskio]]

# Input: Network
[[inputs.net]]
  interfaces = ["eth0", "ens*"]

# Input: System (uptime, load)
[[inputs.system]]

# Input: Processes
[[inputs.processes]]

Telegraf поддерживает мониторинг популярных сервисов через специализированные плагины:

# /etc/telegraf/telegraf.d/services.conf

# Nginx
[[inputs.nginx]]
  urls = ["http://localhost/nginx_status"]

# PostgreSQL
[[inputs.postgresql]]
  address = "host=localhost user=telegraf password=secret dbname=postgres sslmode=disable"
  databases = ["accounting_1c", "hr_1c"]

# Docker
[[inputs.docker]]
  endpoint = "unix:///var/run/docker.sock"
  container_names = []
  timeout = "5s"
  perdevice = true
  total = true

# Redis
[[inputs.redis]]
  servers = ["tcp://localhost:6379"]

# HTTP Response (проверка доступности сайтов)
[[inputs.http_response]]
  urls = ["https://itfresh.ru", "https://corp.local"]
  response_timeout = "5s"
  method = "GET"
  follow_redirects = true
  [inputs.http_response.tags]
    type = "website"

# Exec: произвольные скрипты
[[inputs.exec]]
  commands = ["/opt/scripts/check_1c_sessions.sh"]
  timeout = "10s"
  data_format = "influx"

Запуск и проверка:

# Тест конфигурации
telegraf --config /etc/telegraf/telegraf.conf --test

# Запуск
sudo systemctl enable telegraf
sudo systemctl start telegraf

# Проверка логов
journalctl -u telegraf -f

Настройка Data Source через Grafana UI или provisioning:

# /etc/grafana/provisioning/datasources/influxdb.yml
apiVersion: 1
datasources:
  - name: InfluxDB
    type: influxdb
    access: proxy
    url: http://localhost:8086
    jsonData:
      version: Flux
      organization: mycompany
      defaultBucket: monitoring
    secureJsonData:
      token: YOUR_API_TOKEN_HERE

Пример Flux-запроса для дашборда CPU:

from(bucket: "monitoring")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r._measurement == "cpu")
  |> filter(fn: (r) => r._field == "usage_idle")
  |> filter(fn: (r) => r.cpu == "cpu-total")
  |> map(fn: (r) => ({r with _value: 100.0 - r._value}))
  |> aggregateWindow(every: v.windowPeriod, fn: mean)
  |> yield(name: "CPU Usage %")

Для автоматического развёртывания дашбордов используйте provisioning:

# /etc/grafana/provisioning/dashboards/default.yml
apiVersion: 1
providers:
  - name: 'default'
    orgId: 1
    folder: 'Infrastructure'
    type: file
    disableDeletion: false
    editable: true
    options:
      path: /var/lib/grafana/dashboards
      foldersFromFilesStructure: true

Скачайте готовые дашборды с grafana.com/grafana/dashboards. Популярные дашборды для TIG-стека: ID 928 (Telegraf System), ID 8159 (Telegraf Host Metrics). Импортируйте через Grafana UI: Dashboards → Import → указание ID.

Настройка отправки алертов в Telegram:

# /etc/grafana/provisioning/alerting/notifications.yml
apiVersion: 1
contactPoints:
  - orgId: 1
    name: telegram-ops
    receivers:
      - uid: telegram1
        type: telegram
        settings:
          bottoken: "123456:ABC-DEF1234"
          chatid: "-1001234567890"
          parse_mode: HTML

Создание алертов через Grafana UI или provisioning. Типичные алерты для инфраструктуры:

• CPU > 90% более 5 минут — предупреждение о перегрузке
• RAM > 95% — критическая нехватка памяти
• Диск > 85% — заканчивается место
• Сервис недоступен — HTTP response timeout
• Uptime < 10 минут — сервер перезагрузился

Пример Flux-запроса для алерта на свободное место:

from(bucket: "monitoring")
  |> range(start: -5m)
  |> filter(fn: (r) => r._measurement == "disk")
  |> filter(fn: (r) => r._field == "used_percent")
  |> filter(fn: (r) => r.path == "/")
  |> last()
  |> filter(fn: (r) => r._value > 85.0)

Настройте escalation policy: Warning при 85%, Critical при 95%. Для Critical — дублирование уведомления в SMS/звонок.