CrowdSec: распределённая система обнаружения вторжений

CrowdSec — это open-source система обнаружения и реагирования на угрозы, работающая по принципу коллективного интеллекта. В отличие от Fail2ban, который анализирует логи локально и реагирует только на атаки, направленные конкретно на ваш сервер, CrowdSec агрегирует данные со всех участников сети и формирует глобальные блоклисты.

Архитектура CrowdSec разделена на два компонента:

• Agent (движок) — анализирует логи, применяет парсеры и сценарии, выносит решения о блокировке
• Bouncer (баунсер) — применяет решения: блокирует IP через iptables, Nginx, Cloudflare и другие механизмы

Ключевые преимущества:

• Коллективный интеллект: IP-адрес, атакующий другие серверы CrowdSec, будет заблокирован превентивно на вашем
• Высокая производительность: написан на Go, обрабатывает миллионы строк логов
• Модульность: парсеры, сценарии и баунсеры устанавливаются из хаба
• API-first: все компоненты взаимодействуют через REST API
• Поддержка контейнеров: нативная интеграция с Docker и Kubernetes

CrowdSec не является заменой файрвола или WAF — он дополняет их, анализируя логи и принимая решения о блокировке подозрительных IP-адресов на основе поведенческого анализа.

CrowdSec поддерживает все основные дистрибутивы Linux. Установим его из официального репозитория на Ubuntu/Debian:

curl -s https://packagecloud.io/install/repositories/crowdsec/crowdsec/script.deb.sh | sudo bash
sudo apt install crowdsec -y

Для CentOS/RHEL:

curl -s https://packagecloud.io/install/repositories/crowdsec/crowdsec/script.rpm.sh | sudo bash
sudo yum install crowdsec -y

После установки CrowdSec автоматически обнаруживает установленные сервисы и подключает соответствующие парсеры и коллекции. Проверяем:

sudo cscli collections list
sudo cscli parsers list
sudo cscli scenarios list

Основные конфигурационные файлы:

• /etc/crowdsec/config.yaml — главный конфиг
• /etc/crowdsec/acquis.yaml — источники логов
• /etc/crowdsec/profiles.yaml — профили реагирования

Проверяем, какие источники логов обнаружены:

cat /etc/crowdsec/acquis.yaml

Типичный вывод:

filenames:
  - /var/log/syslog
labels:
  type: syslog
---
filenames:
  - /var/log/auth.log
labels:
  type: syslog
---
filenames:
  - /var/log/nginx/access.log
labels:
  type: nginx

Баунсер — компонент, который применяет решения CrowdSec. Без него агент только обнаруживает угрозы, но не блокирует их. Наиболее распространённые баунсеры:

CrowdSec Hub содержит готовые коллекции для большинства сервисов. Коллекция — это набор парсеров и сценариев, объединённых для защиты конкретного сервиса.

Установка популярных коллекций:

# Защита SSH
sudo cscli collections install crowdsecurity/sshd

# Защита Nginx
sudo cscli collections install crowdsecurity/nginx

# Защита Apache
sudo cscli collections install crowdsecurity/apache2

# Защита WordPress
sudo cscli collections install crowdsecurity/wordpress

# Защита Postfix
sudo cscli collections install crowdsecurity/postfix

# Обновление всех коллекций
sudo cscli hub update
sudo cscli hub upgrade

Каждая коллекция включает парсеры (разбор логов в структурированные события) и сценарии (правила обнаружения). Например, сценарий crowdsecurity/ssh-bf обнаруживает брутфорс SSH, анализируя количество неудачных попыток входа за определённый период.

Просмотр установленных сценариев с параметрами:

sudo cscli scenarios inspect crowdsecurity/ssh-bf

Типичные параметры сценария:

type: leaky
filter: evt.Meta.log_type == 'ssh_failed-auth'
groupby: evt.Meta.source_ip
capacity: 5
leakspeed: 10s
blacklist_reason: "ssh bruteforce"

Это означает: если с одного IP поступило более 5 неудачных попыток входа по SSH за 50 секунд (5 × 10s), IP блокируется.

Когда стандартных сценариев недостаточно, можно создать собственные. Например, сценарий обнаружения сканирования портов по логам iptables.

Создаём файл /etc/crowdsec/scenarios/port-scan.yaml:

type: leaky
name: custom/port-scan
description: "Detect port scanning from iptables logs"
filter: evt.Meta.log_type == 'iptables_drop'
groupby: evt.Meta.source_ip
capacity: 20
leakspeed: 5s
blacklist_reason: "port scanning detected"
labels:
  remediation: true
  type: scan

Для этого необходим парсер логов iptables. Создаём /etc/crowdsec/parsers/s01-parse/iptables-logs.yaml:

onsuccess: next_stage
name: custom/iptables-logs
description: "Parse iptables DROP logs"
filter: evt.Line.Labels.type == 'syslog' && evt.Line.Raw contains 'iptables-drop'
pattern: '.*iptables-drop.*SRC=(?P\S+).*DPT=(?P\d+).*'
statics:
  - meta: log_type
    value: iptables_drop
  - meta: source_ip
    expression: evt.Parsed.source_ip

После создания файлов перезапускаем CrowdSec:

sudo systemctl reload crowdsec
sudo cscli scenarios list --local

Тестирование сценария на существующих логах:

sudo cscli explain --file /var/log/syslog --type syslog

CrowdSec предоставляет удобный CLI для управления блокировками и исключениями.

Просмотр текущих решений (заблокированных IP):

# Все текущие решения
sudo cscli decisions list

# Поиск конкретного IP
sudo cscli decisions list --ip 203.0.113.50

# Статистика по решениям
sudo cscli metrics

Ручное добавление и удаление блокировок:

# Заблокировать IP на 24 часа
sudo cscli decisions add --ip 203.0.113.50 --duration 24h --reason "manual ban"

# Заблокировать подсеть
sudo cscli decisions add --range 203.0.113.0/24 --duration 48h --reason "malicious network"

# Снять блокировку
sudo cscli decisions delete --ip 203.0.113.50

Для критически важных IP-адресов (мониторинг, партнёры, собственные серверы) настройте белый список /etc/crowdsec/parsers/s02-enrich/whitelist.yaml:

name: custom/whitelist
description: "Whitelist trusted IPs"
whitelist:
  reason: "trusted IP"
  ip:
    - 10.0.0.0/8
    - 192.168.0.0/16
    - 203.0.113.10
  expression:
    - evt.Meta.source_ip startsWith '10.'
    - evt.Meta.http_user_agent contains 'UptimeRobot'

В инфраструктуре с несколькими серверами CrowdSec позволяет организовать централизованное управление через LAPI (Local API). Один сервер выступает центральным, остальные подключаются как агенты.

На центральном сервере (LAPI):

# Регистрация машины-агента
sudo cscli machines add worker-01 --auto --force

# Просмотр зарегистрированных машин
sudo cscli machines list

# Регистрация баунсера
sudo cscli bouncers add bouncer-worker-01
# Запомните выданный API-ключ

На удалённых серверах (агенты) в /etc/crowdsec/config.yaml:

api:
  client:
    insecure_skip_verify: false
    credentials_path: /etc/crowdsec/local_api_credentials.yaml
  server:
    enable: false  # LAPI отключен на агентах

В /etc/crowdsec/local_api_credentials.yaml:

url: https://crowdsec-central.company.local:8080
login: worker-01
password: <auto-generated-password>

Таким образом, все решения принимаются централизованно, а баунсеры на каждом сервере получают единый список заблокированных IP. Это особенно эффективно: атака на один сервер автоматически приводит к блокировке атакующего на всех серверах инфраструктуры.

Для мониторинга всей инфраструктуры подключите бесплатную веб-консоль:

sudo cscli console enroll <enrollment-key>