Proxmox VE: кластер виртуализации за один день

У компании «ВиртуалПро» была такая ситуация: работали они на 3 серверах Dell PowerEdge R740 и крутили 40 виртуальных машин на VMware vSphere. И тут, как гром среди ясного неба, VMware купила Broadcom. Знаете, что произошло дальше? Лицензии подорожали разом втрое, взлетев с $15,000/год до $45,000/год. Вот такой вот сюрприз.

# 1. Установить Proxmox VE на каждую ноду (ISO → USB → boot → install)
# Настройки при установке:
# - Filesystem: ZFS RAID1 (для 2 system disks)
# - IP: 10.0.1.1/24, 10.0.1.2/24, 10.0.1.3/24
# - DNS: 10.0.1.1

# 2. На первой ноде: создать кластер
pvecm create production-cluster

# 3. На остальных нодах: присоединиться
pvecm add 10.0.1.1

# 4. Проверка
pvecm status
# Cluster information
# Name:             production-cluster
# Config Version:   3
# Cluster Id:       12345
# Cluster Member List:
#   0  node1 (local)
#   1  node2
#   2  node3

Настройка Ceph для распределённого хранилища (на каждой ноде по 4 SSD):

# Через Web UI: Datacenter → Ceph → Install
# Или через CLI:
pveceph install

# Создание мониторов (на каждой ноде)
pveceph mon create

# Создание OSD (для каждого SSD)
pveceph osd create /dev/sdb
pveceph osd create /dev/sdc
pveceph osd create /dev/sdd
pveceph osd create /dev/sde

# Создание пула для VM
pveceph pool create vm-pool --pg_num 128 --size 3

# Ceph теперь доступен как storage в Proxmox

Proxmox HA автоматически перезапускает VM на другой ноде, если хост выходит из строя.

# Включить HA для VM (через CLI)
ha-manager add vm:100 --group production --max_restart 3 --max_relocate 2

# Или через Web UI: VM → More → Manage HA

# Группа HA — определяет, на каких нодах может работать VM
ha-manager groupadd production --nodes node1,node2,node3 --nofailback 0

# Статус HA
ha-manager status
# quorum OK
# vm:100  started  node1
# vm:101  started  node2
# vm:102  started  node3

# Тест: отключаем node2
# Через 30 секунд HA manager обнаруживает сбой
# VM 101 автоматически запускается на node1 или node3

Миграция 40 VM с VMware за 1 рабочий день:

# Метод 1: qemu-img convert (offline)
# Экспортировать VMDK из VMware (или скопировать с datastore)
scp admin@esxi:/vmfs/volumes/ds1/myvm/myvm-flat.vmdk /tmp/

# Конвертация VMDK → qcow2
qemu-img convert -f vmdk -O qcow2 myvm-flat.vmdk myvm.qcow2

# Импорт в Proxmox
qm importdisk 100 myvm.qcow2 ceph-pool --format raw

# Подключить диск к VM
qm set 100 --scsi0 ceph-pool:vm-100-disk-0

# Метод 2: virt-v2v (автоматический, с драйверами)
virt-v2v -i vmx /path/to/myvm.vmx -o local -os /var/lib/vz/images/100/ \
  --bridge vmbr0

# Метод 3: Для Linux VM — dd через сеть (online, минимальный даунтайм)
# На VMware VM:
dd if=/dev/sda bs=4M | ssh root@proxmox 'dd of=/dev/zvol/rpool/data/vm-100-disk-0 bs=4M'

Конвертация типичных 40 VM заняла 8 часов (ночь + утро):

• Linux VM: работают сразу после конвертации (только поменять драйверы на virtio)
• Windows VM: установить VirtIO drivers после конвертации

PBS, или Proxmox Backup Server, — это, по сути, наш встроенный инструмент для бэкапов. Он уже из коробки умеет делать дедупликацию и инкрементальность — очень удобно, если честно.

# Установка PBS на отдельный сервер (или VM)
# ISO: https://www.proxmox.com/en/downloads

# В Proxmox VE: добавить PBS как storage
# Datacenter → Storage → Add → Proxmox Backup Server
# Server: 10.0.1.50
# Datastore: vm-backups
# Fingerprint: (из PBS web UI)

# Расписание бэкапов
# Datacenter → Backup → Add
# Schedule: daily 02:00
# Storage: pbs
# Mode: snapshot (без остановки VM)
# Retention: keep-daily=7, keep-weekly=4, keep-monthly=6

Результат миграции «ВиртуалПро»: