Proxmox VE: кластер виртуализации за один день

Почему Proxmox вместо VMware

Компания «ВиртуалПро» — 3 сервера Dell PowerEdge R740, 40 виртуальных машин на VMware vSphere. После покупки VMware компанией Broadcom лицензии подорожали в 3 раза: с $15,000/год до $45,000/год.

КритерийVMware vSphereProxmox VE
Лицензия$45,000/год (3 хоста)$0 (или $110/CPU/год support)
ГипервизорESXi (проприетарный)KVM (open-source)
КонтейнерыНет (только VM)LXC + VM
ХранилищеvSAN ($$$)Ceph (встроенный, бесплатный)
HAvSphere HAProxmox HA
БэкапVeeam ($$$)PBS (встроенный)
Миграция VMvMotionLive Migration
Web UIvCenter ($$$)Встроенный (бесплатный)

Установка кластера: 3 ноды за 2 часа

# 1. Установить Proxmox VE на каждую ноду (ISO → USB → boot → install)
# Настройки при установке:
# - Filesystem: ZFS RAID1 (для 2 system disks)
# - IP: 10.0.1.1/24, 10.0.1.2/24, 10.0.1.3/24
# - DNS: 10.0.1.1

# 2. На первой ноде: создать кластер
pvecm create production-cluster

# 3. На остальных нодах: присоединиться
pvecm add 10.0.1.1

# 4. Проверка
pvecm status
# Cluster information
# Name:             production-cluster
# Config Version:   3
# Cluster Id:       12345
# Cluster Member List:
#   0  node1 (local)
#   1  node2
#   2  node3

Настройка Ceph для распределённого хранилища (на каждой ноде по 4 SSD):

# Через Web UI: Datacenter → Ceph → Install
# Или через CLI:
pveceph install

# Создание мониторов (на каждой ноде)
pveceph mon create

# Создание OSD (для каждого SSD)
pveceph osd create /dev/sdb
pveceph osd create /dev/sdc
pveceph osd create /dev/sdd
pveceph osd create /dev/sde

# Создание пула для VM
pveceph pool create vm-pool --pg_num 128 --size 3

# Ceph теперь доступен как storage в Proxmox

HA: автоматический перезапуск VM при сбое

Proxmox HA автоматически перезапускает VM на другой ноде, если хост выходит из строя.

# Включить HA для VM (через CLI)
ha-manager add vm:100 --group production --max_restart 3 --max_relocate 2

# Или через Web UI: VM → More → Manage HA

# Группа HA — определяет, на каких нодах может работать VM
ha-manager groupadd production --nodes node1,node2,node3 --nofailback 0

# Статус HA
ha-manager status
# quorum OK
# vm:100  started  node1
# vm:101  started  node2
# vm:102  started  node3

# Тест: отключаем node2
# Через 30 секунд HA manager обнаруживает сбой
# VM 101 автоматически запускается на node1 или node3
Важно: HA работает только с shared storage (Ceph, NFS, iSCSI). На локальных дисках VM не может мигрировать на другую ноду. Для HA обязательно используйте Ceph или внешнее хранилище.

Миграция с VMware: конвертация VM

Миграция 40 VM с VMware за 1 рабочий день:

# Метод 1: qemu-img convert (offline)
# Экспортировать VMDK из VMware (или скопировать с datastore)
scp admin@esxi:/vmfs/volumes/ds1/myvm/myvm-flat.vmdk /tmp/

# Конвертация VMDK → qcow2
qemu-img convert -f vmdk -O qcow2 myvm-flat.vmdk myvm.qcow2

# Импорт в Proxmox
qm importdisk 100 myvm.qcow2 ceph-pool --format raw

# Подключить диск к VM
qm set 100 --scsi0 ceph-pool:vm-100-disk-0

# Метод 2: virt-v2v (автоматический, с драйверами)
virt-v2v -i vmx /path/to/myvm.vmx -o local -os /var/lib/vz/images/100/ \
  --bridge vmbr0

# Метод 3: Для Linux VM — dd через сеть (online, минимальный даунтайм)
# На VMware VM:
dd if=/dev/sda bs=4M | ssh root@proxmox 'dd of=/dev/zvol/rpool/data/vm-100-disk-0 bs=4M'

Конвертация типичных 40 VM заняла 8 часов (ночь + утро):

  • Linux VM: работают сразу после конвертации (только поменять драйверы на virtio)
  • Windows VM: установить VirtIO drivers после конвертации

Бэкап с Proxmox Backup Server

PBS (Proxmox Backup Server) — встроенное решение для бэкапов с дедупликацией и инкрементальностью.

# Установка PBS на отдельный сервер (или VM)
# ISO: https://www.proxmox.com/en/downloads

# В Proxmox VE: добавить PBS как storage
# Datacenter → Storage → Add → Proxmox Backup Server
# Server: 10.0.1.50
# Datastore: vm-backups
# Fingerprint: (из PBS web UI)

# Расписание бэкапов
# Datacenter → Backup → Add
# Schedule: daily 02:00
# Storage: pbs
# Mode: snapshot (без остановки VM)
# Retention: keep-daily=7, keep-weekly=4, keep-monthly=6

Результат миграции «ВиртуалПро»:

МетрикаVMwareProxmox VE
Стоимость лицензий/год$45,000$0
Бэкап (Veeam лицензия)$8,000/год$0 (PBS)
Distributed storage$20,000/год (vSAN)$0 (Ceph)
Время миграции VM между нодами15-30 сек10-20 сек
Поддержка LXC-контейнеровНетДа (1/3 overhead vs VM)
Совет: Используйте LXC-контейнеры вместо VM для Linux-сервисов (nginx, PostgreSQL, Redis) — в 3-5 раз меньше overhead по RAM и CPU по сравнению с полной виртуализацией.

Часто задаваемые вопросы

Да, Proxmox VE — полностью open-source (AGPLv3). Платная подписка ($110-$1000/CPU/год) даёт доступ к enterprise-репозиторию с тестированными обновлениями и поддержку. Без подписки всё работает через no-subscription репозиторий.

Да, Proxmox используется в production тысячами компаний. HA, live migration, Ceph, бэкапы — всё enterprise-grade. Но нет аналогов некоторых VMware-фич: DRS (автоматический балансировщик VM), NSX (SDN). Для 90% компаний Proxmox достаточно.

Практически идентична. KVM использует аппаратную виртуализацию (VT-x/AMD-V) так же, как ESXi. В бенчмарках разница 1-3% в пользу ESXi на некоторых workloads, 1-3% в пользу KVM на других. Для реальных нагрузок разницу не заметите.

Да, Proxmox поддерживает PCI/GPU passthrough для NVIDIA и AMD карт. Используется для ML/AI workloads, remote desktop (Parsec, Moonlight), и графических станций. Настройка: IOMMU включить в BIOS + конфигурация в VM settings.

Добавление ноды: pvecm add — 5 минут. Максимум 32 ноды в кластере. Ceph масштабируется добавлением OSD. Live migration перемещает VM между нодами без даунтайма. Для 100+ VM рекомендуется минимум 3 ноды.

Нужна помощь с внедрением?

Настроим, оптимизируем и возьмём на поддержку вашу инфраструктуру. 15+ лет опыта, 8 серверов Dell Xeon в дата-центре МТС.

📞 Связаться с нами

Комментарии 0

Оставить комментарий

3 + 4 =