Proxmox VE: гайд по настройке для корпоративной среды

Меня зовут Семёнов Евгений Сергеевич, директор АйТи Фреш. Установить Proxmox — дело часа. Настроить так, чтобы он пережил два года под нагрузкой без сюрпризов — уже искусство. За 15+ лет я собрал набор практик, которые у нас на практике работают на сотнях узлов в самых разных сценариях. Поделюсь.

Настройка сети: bridges, bonds, VLAN

Начинаем с сети. Я всегда рекомендую двухслойную схему: снизу LACP-бонд из двух физических интерфейсов на управляемом коммутаторе, сверху один или несколько бриджей под разные VLAN.

# /etc/network/interfaces
auto bond0
iface bond0 inet manual
  bond-slaves enp1s0f0 enp1s0f1
  bond-miimon 100
  bond-mode 802.3ad
  bond-xmit-hash-policy layer2+3
  mtu 9000

auto vmbr0
iface vmbr0 inet static
  address 192.168.10.11/24
  gateway 192.168.10.1
  bridge-ports bond0
  bridge-stp off
  bridge-fd 0
  bridge-vlan-aware yes
  bridge-vids 2-4094

Хранилища: правильный выбор

Сборка кластера

# На первом узле
pvecm create office-cluster

# На остальных
pvecm add 192.168.10.11
pvecm status
# Quorate должно быть Yes

HA и миграция

High Availability требует общего хранилища (Ceph, NFS, iSCSI) и минимум трёх узлов. В Datacenter → HA добавляем ВМ в группы, задаём приоритеты. При падении узла ВМ автоматически запускаются на другом в течение 60-120 секунд.

Бэкапы: график и ретенция

# Через веб-морду Datacenter → Backup → Add
# Или CLI — /etc/pve/jobs.cfg
vzdump: daily-backup
  schedule mon..sun 02:00
  all 1
  mode snapshot
  storage pbs-main
  prune-backups keep-daily=14,keep-weekly=8,keep-monthly=12
  notification-mode notification-system
  compress zstd
  mailto admin@company.ru

Пользователи и права

Никогда не даю root@pam обычным админам. Создаю отдельного it@pve с ролью PVEAdmin и двухфакторкой.

pveum user add it@pve --email admin@company.ru
pveum passwd it@pve
pveum acl modify / --users it@pve --roles PVEAdmin

# 2FA — через веб-морду Datacenter → Permissions → Two Factor

Firewall PVE

# Datacenter → Firewall → Options → firewall: on
# /etc/pve/firewall/cluster.fw
[OPTIONS]
enable: 1
policy_in: DROP
policy_out: ACCEPT

[RULES]
IN SSH(ACCEPT) -source 192.168.1.0/24
IN Web(ACCEPT) -dport 8006 -source 192.168.1.0/24
IN ACCEPT -p icmp

Мониторинг и уведомления

Подключаем SMTP-релей через Datacenter → Notifications, добавляем Gotify или Telegram-бот. На продакшне я ставлю Zabbix-agent или node_exporter для Prometheus, дашборд в Grafana.

Мини-кейс: сеть гостиниц

Октябрь 2025, клиент — сеть из 7 отелей в Подмосковье. Три узла Dell Xeon Platinum 8280, 384 ГБ RAM, 40G Mellanox до коммутатора в дата-центре МТС, общий Ceph-пул 120 ТБ. HA-кластер, 48 ВМ: PMS, бухгалтерия, видеонаблюдение, VoIP. Стоимость проекта — 9,6 млн руб. железо, 320 000 руб. внедрение, 12 дней работ. Uptime за первые 5 месяцев — 100%, плановое обслуживание узлов без прерывания сервиса.

FAQ — частые вопросы

Сколько узлов нужно для HA-кластера?

Минимум три для кворума. Два узла работают только с устройством кворума QDevice на третьем сервере.

Какой тип бондинга выбрать?

LACP (802.3ad) для продакшна на управляемых коммутаторах, active-backup — если коммутатор без LACP.

Нужно ли отключать SWAP?

Нет, но установите swappiness=10. Полное отключение может привести к OOM-killer в пиках.

Как безопасно обновлять PVE?

Сначала мигрируйте ВМ с узла, обновляйте по одному, перезагружайте. Раз в квартал — минорные, раз в 2 года — мажорные.

Можно ли расширять ZFS-пул онлайн?

Да, добавлением vdev того же типа. Заменять диски на больший объём также можно — после всех замен пул расширится.