Ceph: распределённое хранилище для production — от планирования до эксплуатации

Однажды к нам обратилась компания «ВидеоХост» — им нужна была надёжная платформа для хранения корпоративного видео. У них уже было целых 80 ТБ данных, и каждый месяц эта цифра увеличивалась ещё на 5 ТБ. Само хранилище до этого было довольно простым: всего 2 сервера с RAID6 и NFS для раздачи контента. И, конечно, возникли проблемы:

• Единая точка отказа: умер NFS-сервер → все видео недоступны 6 часов
• Масштабирование: RAID-массив заполнен, расширение = покупка нового сервера + миграция данных
• Производительность: 200 одновременных стримов → NFS не справляется

Что же такое Ceph? Это, по сути, распределённое хранилище, где диски с нескольких серверов объединяются в один большой, общий пул. Данные здесь реплицируются самостоятельно, а если вдруг какой-то сервер выйдет из строя, кластер всё восстановит автоматически, без нашего вмешательства.

Кластер «ВидеоХоста»: 5 нод, 100 ТБ raw, из них около 33 ТБ usable (репликация 3x).

# Компоненты Ceph:
# MON (Monitor) — кворум, карта кластера (минимум 3)
# MGR (Manager) — метрики, dashboard, модули
# OSD (Object Storage Daemon) — 1 на физический диск
# MDS (Metadata Server) — только для CephFS

# Планирование нод:
# Node 1-3: MON + MGR + OSD (6 × 4TB HDD = 24TB raw)
# Node 4-5: OSD only (6 × 4TB HDD = 24TB raw)
# Итого: 30 × 4TB = 120TB raw, usable ~40TB (3x replica)

# Сеть:
# Public: 10G — клиентский трафик
# Cluster: 10G — репликация между OSD (отдельный VLAN)

# Установка через cephadm (рекомендуемый метод)
# На первой ноде:
curl --silent --remote-name --location \
  https://download.ceph.com/rpm-reef/el9/noarch/cephadm

chmod +x cephadm
./cephadm bootstrap --mon-ip 10.0.1.1 \
  --cluster-network 10.0.2.0/24 \
  --dashboard-password-noupdate \
  --initial-dashboard-user admin \
  --initial-dashboard-password S3cureP@ss

# Добавляем остальные ноды
ceph orch host add node-02 10.0.1.2
ceph orch host add node-03 10.0.1.3
ceph orch host add node-04 10.0.1.4
ceph orch host add node-05 10.0.1.5

# Добавляем все доступные диски как OSD
ceph orch apply osd --all-available-devices

# Проверка
ceph -s
# cluster: OK
# osd: 30 osds: 30 up, 30 in
# mon: 3 daemons

RBD (RADOS Block Device) — блочные устройства из Ceph. Идеально для VM-дисков (Proxmox, OpenStack, Kubernetes PV).

# Создание пула для RBD
ceph osd pool create vm-disks 128
ceph osd pool application enable vm-disks rbd
rbd pool init vm-disks

# Создание блочного устройства 100 ГБ
rbd create vm-disks/web-server-01 --size 102400

# Подключение на хосте (для прямого использования)
rbd map vm-disks/web-server-01
# /dev/rbd0
mkfs.ext4 /dev/rbd0
mount /dev/rbd0 /mnt/vm-disk

# Snapshot (мгновенный, copy-on-write)
rbd snap create vm-disks/web-server-01@before-upgrade
# Откат
rbd snap rollback vm-disks/web-server-01@before-upgrade

Интеграция с Proxmox VE:

# /etc/pve/storage.cfg
rbd: ceph-rbd
    content images,rootdir
    krbd 0
    pool vm-disks
    monhost 10.0.1.1 10.0.1.2 10.0.1.3
    username admin

CephFS — POSIX-совместимая файловая система для замены NFS. Метаданные хранятся на MDS, данные — на OSD.

# Создание CephFS
ceph fs volume create videostore

# На клиенте: монтирование через kernel driver
mount -t ceph 10.0.1.1:/ /mnt/cephfs -o name=admin,secret=AQBxxxxxx

# Или через /etc/fstab
10.0.1.1,10.0.1.2,10.0.1.3:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret,_netdev 0 0

# Квоты на подкаталоги
setfattr -n ceph.quota.max_bytes -v 10737418240 /mnt/cephfs/project-alpha  # 10 ГБ
setfattr -n ceph.quota.max_files -v 100000 /mnt/cephfs/project-alpha       # 100K файлов

Производительность CephFS vs NFS (тест: 200 одновременных read 1GB файлов):

Команды на каждый день для админа Ceph:

# Общий статус
ceph -s
ceph health detail

# Статус OSD
ceph osd tree
ceph osd df

# Использование пулов
ceph df detail

# I/O статистика
ceph osd perf

# Медленные OSD (latency > 100ms)
ceph osd perf | awk '$4 > 100 {print}'

# Проверка consistency
ceph pg deep-scrub <pgid>

Интеграция с Prometheus:

# Ceph MGR module для Prometheus
ceph mgr module enable prometheus
# Метрики доступны на http://ceph-mgr:9283/metrics

# Ключевые метрики для алертов:
# ceph_health_status != 0 → кластер не HEALTH_OK
# ceph_osd_up < total_osd → OSD упал
# ceph_pool_bytes_used / ceph_pool_max_avail > 0.85 → пул заполнен

Результат «ВидеоХост» через 6 месяцев: