15 терабайт медиафайлов и закончилось место: MinIO S3-хранилище для рекламного агентства

Наши инженеры провели аудит и составили карту хранения:

• Файловый сервер (Windows Server 2016): 12 ТБ usable, заполнен на 11.7 ТБ
• Synology NAS DS920+: 8 ТБ (RAID 1), используется для бекапов (заполнен на 70%)
• Synology NAS DS218: 4 ТБ, «архив старых проектов»
• 3 внешних USB HDD по 2 ТБ — без шифрования, без описи содержимого
• Локальные SSD монтажёров — «рабочие копии» проектов, не синхронизированы

# Анализ типов файлов на файловом сервере
# (через PowerShell, данные предоставлены клиентом)

Get-ChildItem -Path "D:\Projects" -Recurse |
  Group-Object Extension |
  Sort-Object Count -Descending |
  Select-Object -First 15 Count, Name, @{N='Size_GB';E={
    [math]::Round(($_.Group | Measure-Object Length -Sum).Sum / 1GB, 2)
  }}

# Count  Name      Size_GB
# -----  ----      -------
# 48210  .jpg       890
# 12847  .psd      2150
# 8432   .mp4      3840
# 5219   .mov      2950
# 4178   .png       420
# 3891   .ai        680
# 2547   .tif       890
# 1893   .cr2       780
# 1204   .prproj     12
# 891    .aep        28
# 645    .indd      180
# ...    прочие     880

# Итого: ~11.7 ТБ, основной объём — видео (6.8 ТБ) и PSD/RAW (3.8 ТБ)

6.8 ТБ видео и 3.8 ТБ растровой графики — это файлы, которые создаются один раз, редактируются и потом хранятся «навечно» как архив проекта. Идеальный сценарий для объектного хранилища.

Мы рассмотрели три варианта масштабирования:

MinIO выиграл по совокупности факторов: полная совместимость с S3 API (дизайнеры могут работать через S3-совместимые клиенты), erasure coding для надёжности, горизонтальное масштабирование (добавить диски или ноды в будущем). При объёме 50+ ТБ облако обходится дороже своего железа уже через год.

# Подготовка дисков — XFS на каждом (MinIO рекомендует)
for i in {b..g}; do
    sudo mkfs.xfs /dev/sd${i}
    sudo mkdir -p /mnt/disk${i}
    UUID=$(sudo blkid -s UUID -o value /dev/sd${i})
    echo "UUID=${UUID} /mnt/disk${i} xfs defaults,noatime 0 2" | sudo tee -a /etc/fstab
done
sudo mount -a

# Проверяем
df -h /mnt/disk*
# /dev/sdb   7.3T  33M  7.3T   1% /mnt/diskb
# /dev/sdc   7.3T  33M  7.3T   1% /mnt/diskc
# /dev/sdd   7.3T  33M  7.3T   1% /mnt/diskd
# /dev/sde   7.3T  33M  7.3T   1% /mnt/diske
# /dev/sdf   7.3T  33M  7.3T   1% /mnt/diskf
# /dev/sdg   7.3T  33M  7.3T   1% /mnt/diskg
# Итого: ~43.8 ТБ raw

# Скачиваем и устанавливаем MinIO
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
sudo mv minio /usr/local/bin/

# Создаём пользователя и группу
sudo groupadd -r minio-user
sudo useradd -r -g minio-user -d /home/minio-user -s /sbin/nologin minio-user
sudo chown -R minio-user:minio-user /mnt/disk{b..g}

# Конфигурация /etc/default/minio
sudo bash -c 'cat > /etc/default/minio << EOF
# MinIO Server Configuration
MINIO_VOLUMES="/mnt/disk{b...g}"
MINIO_OPTS="--console-address :9001"
MINIO_ROOT_USER=minioadmin
MINIO_ROOT_PASSWORD=M1n10Str0ng!P@ss2026
MINIO_SERVER_URL=https://s3.mediaforce.local:9000
MINIO_BROWSER_REDIRECT_URL=https://s3-console.mediaforce.local:9001
EOF'

# Systemd unit
sudo bash -c 'cat > /etc/systemd/system/minio.service << EOF
[Unit]
Description=MinIO Object Storage
Documentation=https://min.io/docs
After=network-online.target
Wants=network-online.target

[Service]
User=minio-user
Group=minio-user
ProtectProc=invisible
EnvironmentFile=-/etc/default/minio
ExecStart=/usr/local/bin/minio server \$MINIO_VOLUMES \$MINIO_OPTS
Restart=always
LimitNOFILE=65536
TasksMax=infinity
TimeoutStopSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target
EOF'

sudo systemctl daemon-reload
sudo systemctl enable minio
sudo systemctl start minio

# Проверяем
sudo systemctl status minio
# ● minio.service - MinIO Object Storage
#   Active: active (running)

curl -s http://localhost:9000/minio/health/live
# MinIO выдаёт HTTP 200 — живой

С 6 дисками MinIO автоматически включает erasure coding EC:3 — данные распределяются так, что 3 из 6 дисков могут выйти из строя одновременно без потери данных. Полезная ёмкость — примерно 50% от raw, то есть ~22 ТБ. Для «МедиаФорс» с 15 ТБ данных это достаточный запас.

MinIO API и Console должны работать через HTTPS, особенно если доступ идёт из локальной сети без VPN:

# Генерируем сертификат (или используем Let's Encrypt)
# Для внутренней сети — самоподписанный с внутренним CA

# Создаём CA
openssl genrsa -out /root/ca/ca-key.pem 4096
openssl req -new -x509 -days 3650 -key /root/ca/ca-key.pem \
  -out /root/ca/ca-cert.pem -subj "/CN=MediaForce Internal CA"

# Сертификат для MinIO
openssl genrsa -out /root/ca/minio-key.pem 2048
openssl req -new -key /root/ca/minio-key.pem \
  -out /root/ca/minio.csr \
  -subj "/CN=s3.mediaforce.local"

# SAN для нескольких имён
cat > /root/ca/minio-ext.cnf << EOF
[v3_req]
subjectAltName = @alt_names
[alt_names]
DNS.1 = s3.mediaforce.local
DNS.2 = s3-console.mediaforce.local
DNS.3 = minio.mediaforce.local
IP.1 = 10.0.1.50
EOF

openssl x509 -req -days 365 -in /root/ca/minio.csr \
  -CA /root/ca/ca-cert.pem -CAkey /root/ca/ca-key.pem \
  -CAcreateserial -out /root/ca/minio-cert.pem \
  -extfile /root/ca/minio-ext.cnf -extensions v3_req

# Копируем сертификаты в директорию MinIO
sudo mkdir -p /home/minio-user/.minio/certs
sudo cp /root/ca/minio-cert.pem /home/minio-user/.minio/certs/public.crt
sudo cp /root/ca/minio-key.pem /home/minio-user/.minio/certs/private.key
sudo cp /root/ca/ca-cert.pem /home/minio-user/.minio/certs/CAs/ca.crt
sudo chown -R minio-user:minio-user /home/minio-user/.minio

# Перезапускаем MinIO
sudo systemctl restart minio

# Проверяем HTTPS
curl -k https://s3.mediaforce.local:9000/minio/health/live
# HTTP 200 OK

# Устанавливаем MinIO Client (mc)
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
sudo mv mc /usr/local/bin/

# Добавляем наш сервер
mc alias set mediaforce https://s3.mediaforce.local:9000 \
  minioadmin 'M1n10Str0ng!P@ss2026' --insecure

# Создаём buckets по типам проектов
mc mb mediaforce/projects-active       # Активные проекты
mc mb mediaforce/projects-archive      # Завершённые проекты
mc mb mediaforce/raw-media             # RAW-фотографии и видеоисходники
mc mb mediaforce/renders               # Финальные рендеры
mc mb mediaforce/shared-assets         # Общие ресурсы (шрифты, текстуры, LUT)
mc mb mediaforce/client-delivery       # Выдача клиентам (временный)

# Проверяем
mc ls mediaforce/
# [2026-02-15 10:30:00 MSK]     0B projects-active/
# [2026-02-15 10:30:01 MSK]     0B projects-archive/
# [2026-02-15 10:30:02 MSK]     0B raw-media/
# [2026-02-15 10:30:03 MSK]     0B renders/
# [2026-02-15 10:30:04 MSK]     0B shared-assets/
# [2026-02-15 10:30:05 MSK]     0B client-delivery/

# Включаем versioning для активных проектов
mc version enable mediaforce/projects-active
mc version enable mediaforce/shared-assets

Мы создали три роли: дизайнеры (полный доступ к проектам), менеджеры (только чтение + client-delivery), стажёры (только shared-assets):

# Политика для дизайнеров — полный доступ ко всему кроме admin
cat > /tmp/policy-designer.json << 'EOF'
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::projects-active/*",
                "arn:aws:s3:::projects-active",
                "arn:aws:s3:::projects-archive/*",
                "arn:aws:s3:::projects-archive",
                "arn:aws:s3:::raw-media/*",
                "arn:aws:s3:::raw-media",
                "arn:aws:s3:::renders/*",
                "arn:aws:s3:::renders",
                "arn:aws:s3:::shared-assets/*",
                "arn:aws:s3:::shared-assets"
            ]
        }
    ]
}
EOF

# Политика для менеджеров — чтение + управление client-delivery
cat > /tmp/policy-manager.json << 'EOF'
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": ["s3:GetObject", "s3:ListBucket"],
            "Resource": [
                "arn:aws:s3:::renders/*",
                "arn:aws:s3:::renders"
            ]
        },
        {
            "Effect": "Allow",
            "Action": ["s3:*"],
            "Resource": [
                "arn:aws:s3:::client-delivery/*",
                "arn:aws:s3:::client-delivery"
            ]
        }
    ]
}
EOF

# Загружаем политики
mc admin policy create mediaforce designer /tmp/policy-designer.json
mc admin policy create mediaforce manager /tmp/policy-manager.json

# Создаём пользователей
mc admin user add mediaforce designer01 'D3s1gn3r!Pass'
mc admin user add mediaforce manager01 'M@n@g3r!Pass'

# Назначаем политики
mc admin policy attach mediaforce designer --user designer01
mc admin policy attach mediaforce manager --user manager01

# Проверяем доступ
mc alias set test-designer https://s3.mediaforce.local:9000 \
  designer01 'D3s1gn3r!Pass' --insecure
mc ls test-designer/projects-active/
# OK — доступ есть

mc ls test-designer/client-delivery/
# ERROR — Access Denied (нет в политике дизайнера)

# mc mirror — аналог rsync для S3
# Переносим активные проекты (3.2 ТБ)
mc mirror --preserve \
  /mnt/old-server/Projects/Active/ \
  mediaforce/projects-active/

# Переносим архив (8.5 ТБ) — в фоне с логированием
nohup mc mirror --preserve \
  /mnt/old-server/Projects/Archive/ \
  mediaforce/projects-archive/ \
  > /var/log/minio-migration-archive.log 2>&1 &

# RAW-медиа (2.1 ТБ)
mc mirror --preserve \
  /mnt/old-server/RAW/ \
  mediaforce/raw-media/

# Общие ресурсы (0.4 ТБ)
mc mirror --preserve \
  /mnt/old-server/Assets/ \
  mediaforce/shared-assets/

# Мониторинг прогресса
mc mirror --watch  # для наблюдения в реальном времени

# Проверяем объём после миграции
mc du mediaforce/
# 3.2 TiB  projects-active/
# 8.5 TiB  projects-archive/
# 2.1 TiB  raw-media/
# 0.4 TiB  shared-assets/
# Total: 14.2 TiB

Миграция 15 ТБ по гигабитной сети заняла ~38 часов. Мы запустили её в пятницу вечером, к понедельнику утру всё было на месте. Параллельно проверяли целостность через mc mirror --diff.

Lifecycle rules автоматически управляют данными по времени — например, удаляют старые версии файлов или перемещают архивные проекты в «холодное» хранилище:

# Правило 1: удалять старые версии файлов через 90 дней
# (versioning включён на projects-active)
mc ilm rule add mediaforce/projects-active \
  --noncurrent-expire-days 90 \
  --prefix ""

# Правило 2: автоматически удалять файлы из client-delivery через 30 дней
# (ссылки для клиентов — временные)
mc ilm rule add mediaforce/client-delivery \
  --expire-days 30 \
  --prefix ""

# Правило 3: удалять incomplete multipart uploads через 7 дней
mc ilm rule add mediaforce/projects-active \
  --expire-delete-marker \
  --prefix "" \
  --tags "cleanup=true"

# Проверяем правила
mc ilm rule ls mediaforce/projects-active
# ID          Prefix  Status   Expiry  Transition  NoncurrentExpiry
# rule-1      -       Enabled  -       -           90 days

mc ilm rule ls mediaforce/client-delivery
# ID          Prefix  Status   Expiry  Transition  NoncurrentExpiry
# rule-2      -       Enabled  30 days -           -

Lifecycle rules экономят место автоматически. Без них bucket client-delivery разросся бы до нескольких ТБ забытых ссылок, а старые версии файлов в projects-active съедали бы двойной-тройной объём.

Дизайнеры работают на macOS и Windows. Мы настроили Cyberduck (macOS) и S3 Browser (Windows) — графические клиенты для S3:

# Cyberduck (macOS) — настройка через CLI-профиль
# ~/.duck/profiles/MinIO.cyberduckprofile
# Protocol: S3
# Hostname: s3.mediaforce.local
# Port: 9000
# Access Key: designer01
# Secret Key: D3s1gn3r!Pass

# S3 Browser (Windows) — Account Settings:
# Account Type: S3 Compatible
# REST Endpoint: s3.mediaforce.local:9000
# Access Key ID: designer01
# Secret Access Key: D3s1gn3r!Pass
# Use secure transfer (SSL/TLS): Yes

# Для выдачи файлов клиентам — presigned URL (временная ссылка)
mc share download --expire 72h \
  mediaforce/client-delivery/brand-x/final-render-v3.mp4
# URL: https://s3.mediaforce.local:9000/client-delivery/brand-x/final-render-v3.mp4?...
# Expire: 3 days

# Клиент скачивает файл по ссылке — без логина и пароля
# Ссылка автоматически истечёт через 72 часа

Монтажёрам нужен доступ к видео через обычный файловый путь (для Adobe Premiere, DaVinci Resolve). Мы настроили s3fs-fuse для монтирования bucket как директории:

# Установка s3fs-fuse
sudo apt install -y s3fs

# Файл с учётными данными
echo "designer01:D3s1gn3r!Pass" > /home/editor/.passwd-s3fs
chmod 600 /home/editor/.passwd-s3fs

# Монтирование bucket
mkdir -p /home/editor/MediaForce
s3fs projects-active /home/editor/MediaForce \
  -o passwd_file=/home/editor/.passwd-s3fs \
  -o url=https://s3.mediaforce.local:9000 \
  -o use_path_request_style \
  -o no_check_certificate \
  -o use_cache=/tmp/s3fs-cache \
  -o max_stat_cache_size=100000 \
  -o multipart_size=64 \
  -o parallel_count=10

# Автомонтирование через /etc/fstab
echo "s3fs#projects-active /home/editor/MediaForce fuse _netdev,passwd_file=/home/editor/.passwd-s3fs,url=https://s3.mediaforce.local:9000,use_path_request_style,no_check_certificate,use_cache=/tmp/s3fs-cache,max_stat_cache_size=100000 0 0" | sudo tee -a /etc/fstab

# Проверяем
ls /home/editor/MediaForce/
# brand-x/  brand-y/  brand-z/  internal/
df -h /home/editor/MediaForce/
# s3fs        22T  14T  8.0T  64% /home/editor/MediaForce

Важно: s3fs монтирует S3 как POSIX-совместимую файловую систему, но производительность ниже, чем у локального диска. Для видеомонтажа рекомендуется сначала скачать проект локально через mc cp, а s3fs использовать для навигации и доступа к отдельным файлам.

# MinIO экспортирует метрики в формате Prometheus
# Эндпоинт: /minio/v2/metrics/cluster

# Генерируем bearer token для Prometheus
mc admin prometheus generate mediaforce
# scrape_configs:
# - job_name: minio
#   bearer_token: eyJhbGciOiJIUzUxMiIsInR...
#   metrics_path: /minio/v2/metrics/cluster
#   scheme: https
#   tls_config:
#     insecure_skip_verify: true
#   static_configs:
#   - targets: ['s3.mediaforce.local:9000']

# Добавляем в /etc/prometheus/prometheus.yml
# (копируем вывод mc admin prometheus generate)

# Ключевые метрики для дашборда:
# minio_node_disk_total_bytes          — общая ёмкость
# minio_node_disk_used_bytes           — использовано
# minio_node_disk_free_bytes           — свободно
# minio_s3_requests_total              — запросы S3 по типам
# minio_s3_traffic_received_bytes      — входящий трафик
# minio_s3_traffic_sent_bytes          — исходящий трафик
# minio_node_drive_errors_total        — ошибки дисков!
# minio_bucket_objects_size_distribution — распределение размеров

# Алерт: диск заполнен на 85%
groups:
  - name: minio-alerts
    rules:
      - alert: MinIO_DiskAlmostFull
        expr: (minio_node_disk_used_bytes / minio_node_disk_total_bytes) > 0.85
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "MinIO: диск заполнен на {{ $value | humanizePercentage }}"
      
      - alert: MinIO_DriveErrors
        expr: increase(minio_node_drive_errors_total[1h]) > 0
        labels:
          severity: critical
        annotations:
          summary: "MinIO: ошибки на диске — проверьте SMART"

Для защиты от потери данных мы настроили репликацию критических buckets на Synology NAS (с MinIO в Docker):

# Устанавливаем MinIO на Synology через Docker
# docker-compose.yml на Synology
version: '3'
services:
  minio-backup:
    image: minio/minio:latest
    command: server /data --console-address ":9001"
    ports:
      - "9000:9000"
      - "9001:9001"
    environment:
      MINIO_ROOT_USER: minioadmin-backup
      MINIO_ROOT_PASSWORD: B@ckup!M1n10!2026
    volumes:
      - /volume1/minio-data:/data

# Добавляем backup-сервер как alias
mc alias set backup https://nas.mediaforce.local:9000 \
  minioadmin-backup 'B@ckup!M1n10!2026' --insecure

# Создаём bucket на backup
mc mb backup/projects-active-replica

# Настраиваем server-side репликацию
mc replicate add mediaforce/projects-active \
  --remote-bucket https://minioadmin-backup:B@ckup!M1n10!2026@nas.mediaforce.local:9000/projects-active-replica \
  --replicate "delete,delete-marker,existing-objects"

# Проверяем статус
mc replicate status mediaforce/projects-active
# Replication status:
# - Target: https://nas.mediaforce.local:9000/projects-active-replica
# - Status: Active
# - Replicated: 98.7%

# Альтернатива — ежедневная синхронизация через cron
# 0 2 * * * mc mirror --overwrite --remove mediaforce/projects-active backup/projects-active-replica >> /var/log/minio-sync.log 2>&1

Репликация работает в реальном времени — каждый новый или изменённый файл автоматически копируется на NAS. При выходе из строя основного сервера данные доступны на резервном.

По итогам проекта мы разработали план масштабирования на 2–3 года:

• Distributed MinIO — при достижении 20 ТБ добавить второй сервер с 6 дисками, превратив single-node в distributed cluster (12 дисков, ~44 ТБ usable)
• Tiering на холодное хранилище — архивные проекты старше 1 года автоматически перемещать на дешёвые HDD-ноды (lifecycle transition rules)
• CDN для client-delivery — подключить Cloudflare R2 или собственный nginx-cache для быстрой выдачи финальных рендеров клиентам
• Интеграция с Adobe Creative Cloud — через S3-плагины для Photoshop и Premiere, позволяющие сохранять файлы прямо в MinIO

MinIO доказал себя как мощная замена файловому серверу для компаний с большими объёмами медиаданных. S3 API обеспечивает совместимость с сотнями инструментов, erasure coding — надёжность на уровне enterprise, а open source — отсутствие лицензионных платежей.