Elasticsearch кластер: настройка для продакшена

Elasticsearch — распределённый поисковый и аналитический движок, являющийся основой ELK/Elastic Stack. Для production-среды критически важна правильная архитектура кластера: разделение ролей нод, настройка шардирования, отказоустойчивость и безопасность.

Минимальный production-кластер включает три типа нод:

• Master-eligible nodes (3 шт.) — управляют состоянием кластера, распределением шардов, создание/удаление индексов. Не хранят данные, минимальные ресурсы
• Data nodes (2+ шт.) — хранят шарды индексов, выполняют поиск и агрегации. Требуют максимум RAM, CPU и быстрых SSD
• Coordinating/Ingest nodes (1-2 шт.) — принимают клиентские запросы, распределяют по data-нодам, собирают результаты. Ingest — обработка pipeline (grok, date, geoip)

Для отказоустойчивости master-нод используется кворум: при 3 master-eligible нодах кластер переживает падение одной. Минимум 3 master-eligible нод — правило, нарушение которого ведёт к split-brain.

Установка Elasticsearch 8.x на Ubuntu:

# Импорт GPG ключа и репозитория
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | gpg --dearmor -o /usr/share/keyrings/elastic.gpg
echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" > /etc/apt/sources.list.d/elastic-8.x.list
apt update && apt install -y elasticsearch

# Начиная с 8.x, безопасность включена по умолчанию!
# При установке выводится пароль elastic и enrollment token

Конфигурация master-ноды (/etc/elasticsearch/elasticsearch.yml):

cluster.name: production-cluster
node.name: master-01
node.roles: [ master ]

network.host: 10.0.1.11
http.port: 9200
transport.port: 9300

discovery.seed_hosts:
  - 10.0.1.11
  - 10.0.1.12
  - 10.0.1.13

cluster.initial_master_nodes:
  - master-01
  - master-02
  - master-03

# Безопасность (по умолчанию включена в 8.x)
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.http.ssl.enabled: true

Правильная настройка шардов — ключ к производительности. Каждый индекс делится на шарды (primary shards), каждый шард реплицируется (replica shards). Рекомендации:

# Оптимальный размер шарда: 10-50 ГБ
# Количество шардов на ноду: не более 20-25 на 1 ГБ heap

# Создание индекса с настройками шардирования
curl -X PUT "https://localhost:9200/logs-2026.04" \
  -u elastic:password \
  -H 'Content-Type: application/json' \
  -d '{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "30s",
    "codec": "best_compression"
  },
  "mappings": {
    "properties": {
      "@timestamp": { "type": "date" },
      "message": { "type": "text", "analyzer": "russian" },
      "level": { "type": "keyword" },
      "host": { "type": "keyword" },
      "response_time": { "type": "float" }
    }
  }
}'

Типичная ошибка — слишком много маленьких шардов. Каждый шард потребляет ~50 МБ heap, поэтому 10000 мелких шардов съедят ~500 ГБ heap в кластере. Используйте Index Lifecycle Management (ILM) и Data Streams для автоматической ротации.

Elasticsearch 8.x включает безопасность по умолчанию (TLS, аутентификация). Дополнительные настройки для production:

# Создание ролей и пользователей
curl -X POST "https://localhost:9200/_security/role/logs_reader" \
  -u elastic:password \
  -H 'Content-Type: application/json' \
  -d '{
  "indices": [{
    "names": ["logs-*"],
    "privileges": ["read", "view_index_metadata"]
  }]
}'

curl -X POST "https://localhost:9200/_security/user/grafana" \
  -u elastic:password \
  -H 'Content-Type: application/json' \
  -d '{
  "password": "GrafanaReadOnlyPass",
  "roles": ["logs_reader"],
  "full_name": "Grafana Reader"
}'

# API Key для приложений (вместо паролей)
curl -X POST "https://localhost:9200/_security/api_key" \
  -u elastic:password \
  -H 'Content-Type: application/json' \
  -d '{
  "name": "logstash-writer",
  "role_descriptors": {
    "logstash": {
      "indices": [{
        "names": ["logs-*"],
        "privileges": ["create_index", "write", "manage"]
      }]
    }
  },
  "expiration": "365d"
}'

Ключевые настройки для высокопроизводительного кластера:

# Системные настройки (на каждой ноде)
# /etc/sysctl.d/elasticsearch.conf
vm.max_map_count=262144
vm.swappiness=1
net.core.somaxconn=65535

sysctl --system

# /etc/security/limits.d/elasticsearch.conf
elasticsearch soft nofile 65535
elasticsearch hard nofile 65535
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

# elasticsearch.yml — отключение swap
bootstrap.memory_lock: true

# Оптимизация индексации
# В шаблоне индекса:
{
  "settings": {
    "refresh_interval": "30s",
    "translog.durability": "async",
    "translog.sync_interval": "30s",
    "merge.scheduler.max_thread_count": 1,
    "number_of_replicas": 0
  }
}
# ВНИМАНИЕ: number_of_replicas: 0 — только для bulk-загрузки!
# После загрузки установите replicas: 1

Мониторинг здоровья кластера через API и интеграцию с Prometheus/Grafana:

# Здоровье кластера
curl -s -u elastic:password "https://localhost:9200/_cluster/health?pretty"
# {
#   "cluster_name": "production-cluster",
#   "status": "green",         ← green/yellow/red
#   "number_of_nodes": 8,
#   "active_primary_shards": 150,
#   "active_shards": 300,
#   "unassigned_shards": 0    ← должно быть 0
# }

# Статус нод
curl -s -u elastic:password \
  "https://localhost:9200/_cat/nodes?v&h=name,role,heap.percent,ram.percent,cpu,disk.used_percent"

# Размер индексов
curl -s -u elastic:password \
  "https://localhost:9200/_cat/indices?v&s=store.size:desc&h=index,docs.count,store.size,pri.store.size"

# Горячие потоки (диагностика высокой нагрузки)
curl -s -u elastic:password \
  "https://localhost:9200/_nodes/hot_threads?threads=5"

Snapshot — единственный надёжный способ бэкапа Elasticsearch. Создайте репозиторий и настройте автоматические снапшоты:

# Регистрация snapshot-репозитория (NFS или S3)
curl -X PUT "https://localhost:9200/_snapshot/backup-repo" \
  -u elastic:password \
  -H 'Content-Type: application/json' \
  -d '{
  "type": "fs",
  "settings": {
    "location": "/mnt/es-snapshots",
    "compress": true,
    "max_snapshot_bytes_per_sec": "100mb"
  }
}'

# path.repo в elasticsearch.yml (на КАЖДОЙ ноде):
# path.repo: ["/mnt/es-snapshots"]

# Создание SLM (Snapshot Lifecycle Management) политики
curl -X PUT "https://localhost:9200/_slm/policy/nightly-backup" \
  -u elastic:password \
  -H 'Content-Type: application/json' \
  -d '{
  "schedule": "0 30 2 * * ?",
  "name": "",
  "repository": "backup-repo",
  "config": {
    "indices": ["*"],
    "ignore_unavailable": true
  },
  "retention": {
    "expire_after": "30d",
    "min_count": 5,
    "max_count": 30
  }
}'