Proxmox VE 8 кластер с нуля для офиса 30-50 мест: замена VMware без боли

Семёнов Евгений Сергеевич, директор АйТи Фреш. В 2024–2025 годах мы с командой разгребали одну и ту же историю у каждого второго клиента: Broadcom поглотил VMware и моментально перевёл всё на подписку — цены выросли в 3–5 раз. Типичный заказчик: 40 рабочих мест, 15–20 виртуалок — годовая подписка VMware взлетела с 80–120 тыс до 380–650 тыс руб. Клиенты попросили альтернативу. Рассказываю, как мы собираем Proxmox VE 8 кластер под ключ для малого и среднего бизнеса и на какие грабли уже наступили.

Почему именно Proxmox и когда он не годится

Сразу честно про ограничения. Proxmox — это связка QEMU/KVM + LXC плюс собственный веб-интерфейс и API. Хорошо работает для:

• Офисов 20–100 рабочих мест, где виртуализация — это 1С-сервер, AD DC, файловый, почтовик, мониторинг, пара Linux-серверов.
• Производственных сред с потребностью в HA без космических бюджетов.
• Импортозамещения: Proxmox признан аналогом VMware и спокойно принимается в гос- и около-госсекторе.

Где Proxmox плох:

• Enterprise на 500+ виртуалок с VDI, DRS, vSAN — VMware пока выигрывает по скорости и удобству, пусть и стоит безумных денег.
• Там, где уже стоят вендорские SAN (NetApp, Pure). Proxmox умеет с ними работать, но весь стек интеграции придётся писать самостоятельно.
• Windows-администраторы без Linux-опыта — первые недели будут ныть. Им удобнее Hyper-V, который уже встроен в Windows Server.

Железо под 3-узловой кластер — типовой набор

На практике мы всегда собираем кластер из трёх одинаковых серверов. Два — технически минимум, но без третьего нода (или QDevice) кластер теряет кворум и любой сбой останавливает все VM разом. Типовой конфиг, который я закупаю для среднего бизнеса:

Итого по железу — 600–900 тыс руб за 3 б/у сервера плюс 150–250 тыс руб на сетевое. Новое обходится в 2.5–3 раза дороже, но клиенты на 30–50 мест обычно берут б/у с вендорской гарантией — разумный компромисс, и мы его не осуждаем.

Установка кластера — пошагово

Ставим PVE 8.x с официального ISO на все три узла. Первым делом после установки — правильно настраиваем сеть:

# /etc/network/interfaces
auto vmbr0
iface vmbr0 inet static
    address 10.10.0.11/24
    gateway 10.10.0.1
    bridge-ports enp1s0f0
    bridge-stp off
    bridge-fd 0

# Отдельная подсеть для cluster + Ceph
auto enp2s0f0
iface enp2s0f0 inet static
    address 10.20.0.11/24
    mtu 9000

auto enp2s0f1
iface enp2s0f1 inet static
    address 10.30.0.11/24
    mtu 9000

Создаём кластер на первом узле:

# На pve-01
pvecm create CORPCLUSTER --link0 10.20.0.11 --link1 10.30.0.11

# На pve-02 и pve-03 — присоединение
pvecm add 10.20.0.11 --link0 10.20.0.12 --link1 10.30.0.12
pvecm add 10.20.0.11 --link0 10.20.0.13 --link1 10.30.0.13

pvecm status

Два линка Corosync (10.20 и 10.30) — страховка на случай падения одного свитча. Один свитч в инфраструктуре? Ставьте QDevice на отдельном хосте — иначе при потере свитча кластер встанет.

ZFS с репликацией или Ceph

Выбор хранилища — ключевой архитектурный вопрос. Я пользуюсь простым правилом:

• До 3 узлов и объём VM до 5 ТБ — ZFS на каждом узле с репликацией между ними.
• От 4 узлов или объём больше 5 ТБ — Ceph.

ZFS с replication — быстро и без лишней сложности. На каждом узле создаёте пул:

zpool create -o ashift=12 rpool-vm mirror nvme0n1 nvme1n1 \
                                   mirror nvme2n1 nvme3n1
zfs create rpool-vm/data
zfs set compression=zstd dedup=off atime=off rpool-vm/data

# В PVE GUI: Datacenter → Storage → Add ZFS
# ID: rpool-vm-data, Pool: rpool-vm/data

Для каждой VM включаем replication в GUI: Replication → Add → target node pve-02, interval */15 (каждые 15 минут). Упал первый узел — второй поднимет VM из реплики, потеря данных максимум 15 минут.

Ceph сложнее, зато даёт настоящий распределённый block-storage:

pveceph install --repository no-subscription
pveceph init --network 10.30.0.0/24
pveceph mon create
pveceph osd create /dev/nvme2n1  # на каждом NVMe
pveceph osd create /dev/nvme3n1
pveceph pool create vm-pool --size 3 --min_size 2

Ceph требует минимум 3 узла, сеть от 10G (лучше 25G) и готовности разбираться в диагностике. При size=3 и min_size=2 кластер переживает выход одного узла без простоя.

HA и live migration

High Availability в PVE настраивается буквально парой кликов: Datacenter → HA → Add → выбираете VM, группу узлов, state=started. При падении хозяина PVE самостоятельно перезапустит VM на другом узле.

Live Migration — аналог vMotion из VMware. Жмёте в GUI Migrate, выбираете target — и VM переезжает без остановки сервиса. По 10G-сети 16-гиговая Windows VM перебирается за 90–120 секунд. Одно условие: live migration с локальным хранилищем требует zfs-replication, без неё — только shared storage (Ceph, NFS, iSCSI).

Proxmox Backup Server — отдельно

PBS — выделенный сервер, живущий отдельно от кластера и хранящий дедуплицированные бэкапы. Мы ставим его на отдельную машину — не обязательно серверную, подойдёт i5/i7 с 32 ГБ RAM и 4–8 ТБ SATA SSD.

# На кластере — добавляем PBS как storage
pvesm add pbs backups --server 10.10.0.50 \
  --datastore vmstore --fingerprint AB:CD:EF:...
  --username root@pam

Настраиваем Backup Job: Datacenter → Backup → Add, schedule 23:00 Mon..Sun, storage pbs-backups, mode snapshot. Первая копия — полная, все следующие — инкременты с дедупликацией. Из нашего опыта: 20 VM общим размером 1.8 ТБ укладываются в 280–320 ГБ на PBS при хранении 30 дней.

Миграция с VMware — как это делается

Начиная с PVE 8.2 появился встроенный ESXi-import. Подключаете ESXi к PVE как Storage:

# Datacenter → Storage → Add → ESXi
# Server: 10.10.0.100, Username: root, Password: ...
# После добавления видите список VM на ESXi

Выбираете VM → Import → Target storage/node. Proxmox сам конвертирует VMDK в qcow2 или raw, создаёт VM с аналогичной конфигурацией — CPU, RAM, сеть. По времени: 100 ГБ диска по 10G сети занимает 15–40 минут.

Грабли, на которые мы наступали:

• VMware Tools в госте нужно удалить ДО миграции — иначе после конвертации VM не запустится корректно.
• Гость на UEFI-BIOS — при импорте выбирайте OVMF, иначе не загрузится.
• Сетевая карта меняется (VMXNET3 → VirtIO) — гостевая ОС присваивает новый MAC и теряет IP. Фиксим через netplan apply или ручной reset netsh на Windows.

Кейс: миграция 22 VM для производственной компании

Февраль 2026 года. Клиент — производство мебели в Подмосковье, 42 рабочих места, 22 виртуальные машины на VMware ESXi 7. Счёт за обновление подписки пришёл на 520 тыс руб/год против прежних 95 тыс. Мы закупали железо, проектировали Proxmox-кластер, мигрировали всё.

Хронология проекта (21 рабочий день):

1. Дни 1–3: аудит существующих VM, проектирование кластера, закупка 3× Dell R650 б/у и Mikrotik CRS317.
2. Дни 4–6: монтаж железа в стойку, сетевое (10G LACP между узлами и свитчом), установка PVE 8.2.
3. Дни 7–8: создание кластера, настройка Ceph на 3 узлах (по 4 NVMe каждый, суммарно 11.5 ТБ usable).
4. Дни 9–10: установка отдельного PBS-сервера, настройка backup jobs.
5. Дни 11–18: поэтапная миграция 22 VM с ESXi — по 2–3 в день, каждая с тестом функциональности после.
6. Дни 19–20: настройка HA, мониторинг Zabbix + Grafana для PVE и Ceph, алерты в Telegram.
7. День 21: финальный приёмочный тест — симуляция падения одного узла. HA корректно перезапустил 6 критичных VM на других за 90 секунд.

Бюджет: железо 720 тыс + сеть 180 тыс + наши услуги 320 тыс = 1 220 тыс руб итого. Окупаемость против VMware — 2.5 года на разнице в подписках. Но главное — клиент избавился от санкционно-рискованного вендора и перешёл на Open Source.

Чего ждать от PVE 8 в реальной эксплуатации

• UI на уровне 2015 года — не enterprise, но рабочий.
• Документация хорошая, местами устаревшая — читайте wiki и форум.
• Community-repository работает нормально, многие обходятся без платной Subscription.
• Без Ceph или shared storage нормального live migration не будет — ZFS-replication даёт асинхронный HA с потерей до 15 минут данных.
• Ubuntu 24.04 LTS, Debian 12, Windows Server 2022 — гости работают без проблем. Российские Astra Linux 1.7 и РЕД ОС 8 — тоже без нареканий.

FAQ — Proxmox-кластер

Сколько узлов минимум для Proxmox-кластера?

Три. Два узла формально работают, но для кворума Corosync нужен либо третий узел, либо QDevice (внешний арбитр). Без кворума при падении одного из двух оба останавливают VM. Для офиса 30-50 рабочих мест оптимум — три одинаковых сервера с SSD-пулом ZFS или тремя OSD для Ceph.

Ceph или ZFS в малой инфраструктуре?

До 3 узлов и суммарного объёма VM менее 5 ТБ — ZFS с репликацией между узлами через Proxmox. Проще в администрировании, меньше требований к сети. Ceph оправдан от 5+ узлов и 10+ ТБ, когда нужен распределённый block-storage с отказоустойчивостью к двум одновременным сбоям.

Как мигрировать с VMware ESXi на Proxmox?

Через встроенный ESXi-import (с версии Proxmox VE 8.2) или через vmkfstools-экспорт в VMDK и затем qm importdisk. Типовая миграция одной VM — 15-40 минут на 100 ГБ диска по сети 10G. Мы делаем это на боевых системах с простоем 3-10 минут на каждую VM.

Нужен ли Proxmox Backup Server отдельно?

Да. PBS — это выделенный сервер для дедуплицированных бэкапов VM/LXC. Плотность в 10-30 раз лучше обычных dump-файлов. На офисе 20-30 VM хватает 2-4 ТБ диска PBS. Держим физически отдельно от кластера — чтобы при падении кластера бэкап остался живым.

Сколько стоит Proxmox-кластер под ключ для офиса 40 рабочих мест?

3 сервера Dell R650 / HP DL380 Gen10 б/у с SSD NVMe — 600-900 тыс руб. Сетевое (10G свитч + кабеля) — 150-250 тыс руб. Работа под ключ (установка, кластер, Ceph/ZFS, миграция VM с ESXi, PBS, мониторинг Zabbix) — от 280 тыс руб. Лицензия на Proxmox Subscription Community — бесплатно, Basic — ~12 000 руб/год на узел.