Proxmox VE 8 кластер с нуля для офиса 30-50 мест: замена VMware без боли

Меня зовут Семёнов Евгений Сергеевич, директор АйТи Фреш. В 2024-2025 годах половина моих клиентов столкнулась с одной и той же проблемой: Broadcom купил VMware и перевёл продукт на подписку с ценой в 3-5 раз выше прежней. У моего типичного заказчика — 40 рабочих мест, 15-20 виртуалок — годовая подписка VMware стала стоить 380-650 тыс руб против прежних 80-120 тыс. Клиенты дружно попросили альтернативу. Расскажу, как мы собираем Proxmox VE 8 кластер под ключ для малого и среднего бизнеса и что я уже успел наступить.

Почему именно Proxmox и когда он не годится

Сначала честно про ограничения. Proxmox — это связка QEMU/KVM + LXC + собственный web-интерфейс и API. Он отлично работает для:

• Офисов 20-100 рабочих мест, где виртуализация — это 1С-сервер, AD DC, файловый, почтовик, мониторинг, пара Linux-серверов.
• Производственных сред, где нужна HA без космических бюджетов.
• Импортозамещения: Proxmox признан аналогом VMware и спокойно принимается в гос- и около-госсекторе.

Где Proxmox плох:

• Enterprise на 500+ виртуалок с VDI, DRS, vSAN — VMware пока быстрее и удобнее, хотя и безумно дорогая.
• Там, где уже есть куплены вендорские «стоваттовые» SAN (NetApp, Pure). Proxmox умеет с ними дружить, но весь стек интеграции придётся писать самим.
• Windows-админы без Linux-опыта — первые недели буду ныть. Им комфортнее Hyper-V, который уже внутри Windows Server.

Железо под 3-узловой кластер — типовой набор

Я стараюсь собирать кластеры из трёх одинаковых серверов. Два — теоретический минимум, но без третьего нода (или QDevice) кластер не имеет кворума и любой сбой останавливает все VM. Типовой конфиг, который я закупаю для среднего бизнеса:

Итого железо — 600-900 тыс руб за 3 сервера б/у + 150-250 тыс руб на сетевое. Новое стоит в 2.5-3 раза дороже, но клиенты 30-50 рабочих мест обычно идут на б/у с гарантией вендора — это разумный компромисс.

Установка кластера — пошагово

Ставим PVE 8.x с официального ISO на все три узла. После установки первое — настраиваем сеть правильно:

# /etc/network/interfaces
auto vmbr0
iface vmbr0 inet static
    address 10.10.0.11/24
    gateway 10.10.0.1
    bridge-ports enp1s0f0
    bridge-stp off
    bridge-fd 0

# Отдельная подсеть для cluster + Ceph
auto enp2s0f0
iface enp2s0f0 inet static
    address 10.20.0.11/24
    mtu 9000

auto enp2s0f1
iface enp2s0f1 inet static
    address 10.30.0.11/24
    mtu 9000

Создаём кластер на первом узле:

# На pve-01
pvecm create CORPCLUSTER --link0 10.20.0.11 --link1 10.30.0.11

# На pve-02 и pve-03 — присоединение
pvecm add 10.20.0.11 --link0 10.20.0.12 --link1 10.30.0.12
pvecm add 10.20.0.11 --link0 10.20.0.13 --link1 10.30.0.13

pvecm status

Два линка Corosync (10.20 и 10.30) — страховка от падения одного свитча. Если у вас один свитч — ставьте QDevice на четвёртом хосте для кворума.

ZFS с репликацией или Ceph

Выбор хранилища — главный архитектурный вопрос. Я применяю простое правило:

• До 3 узлов + объём VM до 5 ТБ → ZFS на каждом узле + replication между ними.
• От 4 узлов или объём более 5 ТБ → Ceph.

ZFS с replication — простой и быстрый. На каждом узле создаёте пул:

zpool create -o ashift=12 rpool-vm mirror nvme0n1 nvme1n1 \
                                   mirror nvme2n1 nvme3n1
zfs create rpool-vm/data
zfs set compression=zstd dedup=off atime=off rpool-vm/data

# В PVE GUI: Datacenter → Storage → Add ZFS
# ID: rpool-vm-data, Pool: rpool-vm/data

Для каждой VM включаем replication в GUI: Replication → Add → target node pve-02, interval */15 (каждые 15 минут). При падении первого узла вторая нода стартует VM из реплики, теряется максимум 15 минут данных.

Ceph сложнее, но даёт настоящий распределённый block-storage:

pveceph install --repository no-subscription
pveceph init --network 10.30.0.0/24
pveceph mon create
pveceph osd create /dev/nvme2n1  # на каждом NVMe
pveceph osd create /dev/nvme3n1
pveceph pool create vm-pool --size 3 --min_size 2

Ceph требует 3+ узлов, сеть минимум 10G (лучше 25G) и прозрачной диагностики. С ним можно потерять 1 узел без простоя (при size=3, min_size=2).

HA и live migration

High Availability в PVE делается в пару кликов через GUI: Datacenter → HA → Add → выбираете VM, группу узлов, state=started. При падении хозяина PVE перезапустит VM на другом узле автоматически.

Live Migration — важная фишка, которая у VMware называется vMotion. Нажимаете в GUI Migrate, выбираете target, VM переезжает без остановки сервиса. На 10G сети 16-гиговая Windows VM переезжает за 90-120 секунд. Для использования live migration с локальным хранилищем — нужна zfs-replication, иначе только через shared storage (Ceph, NFS, iSCSI).

Proxmox Backup Server — отдельно

PBS — выделенный сервер, который живёт отдельно от кластера и хранит дедуплицированные бэкапы. Я ставлю его на отдельную машину (не обязательно серверную — можно на i5/i7 с 32 ГБ RAM и 4-8 ТБ SATA SSD).

# На кластере — добавляем PBS как storage
pvesm add pbs backups --server 10.10.0.50 \
  --datastore vmstore --fingerprint AB:CD:EF:...
  --username root@pam

Настраиваем Backup Job: Datacenter → Backup → Add, schedule 23:00 Mon..Sun, storage pbs-backups, mode snapshot. После первой полной копии все последующие — инкременты с дедупом. В моём опыте: 20 VM общим размером 1.8 ТБ укладываются в 280-320 ГБ на PBS с retention 30 дней.

Миграция с VMware — как это делается

С PVE 8.2 появился встроенный ESXi-import. Подключаете ESXi к PVE как Storage:

# Datacenter → Storage → Add → ESXi
# Server: 10.10.0.100, Username: root, Password: ...
# После добавления видите список VM на ESXi

Выбираете VM → Import → Target storage/node. Proxmox автоматически конвертирует VMDK в qcow2 или raw, создаёт VM с аналогичной конфигурацией (CPU, RAM, сеть). Типовое время — 15-40 минут на 100 ГБ диска по 10G сети.

Грабли, на которые я наступал:

• VMware Tools в госте должны быть удалены ПЕРЕД миграцией, иначе после конвертации VM не стартует корректно.
• Гость на UEFI-BIOS — при импорте нужно выбрать OVMF, иначе не загрузится.
• Сетевая карта меняется (VMXNET3 → VirtIO) — гостевая ОС может присвоить новый MAC и потерять IP. Фиксим через netplan apply или ручной reset netsh на Windows.

Кейс: миграция 22 VM для производственной компании

В феврале 2026 клиент — производство мебели в Подмосковье, 42 рабочих места, 22 виртуальные машины на VMware ESXi 7. Счёт за обновление подписки пришёл на 520 тыс руб/год против прежних 95 тыс. Закупали железо, проектировали Proxmox-кластер, мигрировали.

Хронология проекта (21 рабочий день):

1. Дни 1-3: Аудит существующих VM, проектирование кластера, закупка 3× Dell R650 б/у и Mikrotik CRS317.
2. Дни 4-6: Монтаж железа в стойку, сетевое (10G LACP между узлами и свитчом), установка PVE 8.2.
3. Дни 7-8: Создание кластера, настройка Ceph на 3 узлах (по 4 NVMe каждый, суммарно 11.5 ТБ usable).
4. Дни 9-10: Установка отдельного PBS-сервера, настройка backup jobs.
5. Дни 11-18: Поэтапная миграция 22 VM с ESXi. По 2-3 в день, каждая с тестом функциональности после.
6. Дни 19-20: Настройка HA, мониторинг Zabbix + Grafana для PVE и Ceph, алерты в Telegram.
7. День 21: Финальный приёмочный тест — симуляция падения одного узла, HA корректно перезапустил 6 критичных VM на других за 90 секунд.

Бюджет: железо 720 тыс + сеть 180 тыс + наши услуги 320 тыс = 1 220 тыс руб. Окупается против VMware за 2.5 года (разница в подписках). Но главное — клиент ушёл с санкционно-рискованного вендора на Open Source.

Чего ждать от PVE 8 в реальной эксплуатации

• UI на уровне 2015 года — не enterprise, но функциональный.
• Документация хорошая, но местами устаревшая — читайте wiki и форум.
• Community-repository работает нормально — многие обходятся без Subscription.
• Без Ceph или shared storage нет нормального live migration — ZFS-replication даёт asynchronous HA с потерей до 15 минут.
• Ubuntu 24.04 LTS, Debian 12, Windows Server 2022 — гости работают отлично. Российские Astra Linux 1.7 и РЕД ОС 8 — тоже без проблем.

FAQ — Proxmox-кластер

Сколько узлов минимум для Proxmox-кластера?

Три. Два узла формально работают, но для кворума Corosync нужен либо третий узел, либо QDevice (внешний арбитр). Без кворума при падении одного из двух оба останавливают VM. Для офиса 30-50 рабочих мест оптимум — три одинаковых сервера с SSD-пулом ZFS или тремя OSD для Ceph.

Ceph или ZFS в малой инфраструктуре?

До 3 узлов и суммарного объёма VM менее 5 ТБ — ZFS с репликацией между узлами через Proxmox. Проще в администрировании, меньше требований к сети. Ceph оправдан от 5+ узлов и 10+ ТБ, когда нужен распределённый block-storage с отказоустойчивостью к двум одновременным сбоям.

Как мигрировать с VMware ESXi на Proxmox?

Через встроенный ESXi-import (с версии Proxmox VE 8.2) или через vmkfstools-экспорт в VMDK и затем qm importdisk. Типовая миграция одной VM — 15-40 минут на 100 ГБ диска по сети 10G. Мы делаем это на боевых системах с простоем 3-10 минут на каждую VM.

Нужен ли Proxmox Backup Server отдельно?

Да. PBS — это выделенный сервер для дедуплицированных бэкапов VM/LXC. Плотность в 10-30 раз лучше обычных dump-файлов. На офисе 20-30 VM хватает 2-4 ТБ диска PBS. Держим физически отдельно от кластера — чтобы при падении кластера бэкап остался живым.

Сколько стоит Proxmox-кластер под ключ для офиса 40 рабочих мест?

3 сервера Dell R650 / HP DL380 Gen10 б/у с SSD NVMe — 600-900 тыс руб. Сетевое (10G свитч + кабеля) — 150-250 тыс руб. Работа под ключ (установка, кластер, Ceph/ZFS, миграция VM с ESXi, PBS, мониторинг Zabbix) — от 280 тыс руб. Лицензия на Proxmox Subscription Community — бесплатно, Basic — ~12 000 руб/год на узел.