Alternativen zu Proxmox?

Hallo an alle,

ich würde gerne weg von Proxmox und suche mögliche, für den Anwendungsfall sinnvolle, Alternativen. Und genau da bräuchte ich ein wenig Rat und Expertise ob und wo ich auf dem Holzweg sein könnte.

Kurz zum Anwendungsfall: Ich bin System Engineer in einem größeren Softwarehaus und wir verwenden VMware ESXi + vSphere (welches ich nicht verwalte; macht ein anderes Team) als Virtualisierungslösung (Teile der Firma hatten früher Citrix XenServer im Einsatz, nun XCP-NG) was für deren Stabilität spricht (wir garantieren unseren Kunden SLA von zum Teil 99,9-99,99% Verfügbarkeiten). Allerdings bin ich eher auf der Ebene ab OS angesiedelt, was die eigenen Möglichkeiten der Weiterbildung in die Breite einschränkt ohne dass ich das Team wechsel. Daher...
...betreibe ich zur Wissenserweiterung derzeit einen Proxmox Server wo für Clans aber auch Freunde mehrere VMs mit den jeweiligen Services laufen (Teamspeaks, mehrere Mumble Server, Rocketchat, XWikis, Taiga.io als Planungstools, einige eve Tools wie Pathfinder für eine größere Allianz, an die 12 Minecraft Server, einige Steam Source Games und paar Nischenprodukte wie Life is Feudal sowie die Websites (auf django CMS Basis) der Clans mittels RevProxy - derzeit lighttpd - und ACME Cert verfügbar gemacht), also reinweg auf Hobby getrimmt um die Unkosten wenigstens zum Teil wieder reinzuholen. Da ich wiederkehrende Dinge gern wegautomatisiere, läuft zu meiner Entlastung noch ein Gitea, Sonartype Nexus sowie ein Concourse-CI Server welcher täglich via im GIT abgelegtes Ansible-Playbook Upgrades auf die einzelnen VMs pumpt um hier safe zu sein. Sämtliche Server sind ebenfalls via Ansible deployed und können im Zweifel sofort neu deployed werden. Backups werden nächtlich mit Downtime auf einen Storageserver geschoben.
Als Performance-Monitoringlösung kommt bei Hypervisor und den VMs Netdata zur Anwendung.

Tja nun läuft das ganze und ich habe 2 Wochen Urlaub wo ich gern den Hypervisor wechseln würde; einfach um mal was anderes zu haben und zu probieren UND ich gern von Debian weg möchte (bevorzugt stable proprietär [VMware, Hyper-V] oder RHEL basiert [XEN, KVM]). Für die Zeit des Neuaufbaus wird ein weiterer Server gemietet, Proxmox draufgebügelt und die VMs vorher migriert Nachts um die kurze Downtime nicht während der Nutzungszeit zu haben.

Folgende Rahmenbedingungen habe ich:

• 1 Server mit 2*3TB NVMe PCIe SSDs, 128GB ECC RAM, 32 Cores Epyc (64 Threads)
• 1 Storageserver via SSH oder CIFS (leider kein iSCSI oder NFS) für Backups welche nächtlich laufen und eine kleine Downtime je VM bedingen
• Upgrades müssen für Hypervisor auch automatisiert möglich sein; Infomail wenn reboot required damit ich das aufplanen kann
• Guest ausschließlich Linux (einige Debian, die meisten CentOS7, derzeit bin ich dabei stückchenweise auf OracleLinux 8 umzuziehen; ich weiß, ist Oracle aber der UEK und kSplice sind einfach pro Argumente)
• RHEL basiert < Debian < alles andere, einfach weil ich RHEL und RHEL basierte Distributionen seit 13+ Jahren beruflich kenne und bediene (und in der Zeit bei Verwaltung/Benutzung von ~100 Maschinen noch nie Probleme hatte - bis auf 1 Fall wo die Deppen bei RedHat den default Value der Referals im Apache httpd geändert hatten und unsere AD Basic Authentifizierung für die Application nach einem Patch-Update im Eimer war)
• 2 feste IP (Hypervisor + NAT FW IP)

Daraus ergeben sich für mich folgende Voraussetzungen:

• Software Raid 1 zumindest für die VM Daten ist notwendig (local Storage - kein shared Storage), für Hypervisor aber auch bevorzugt aber kein Muss
• dynamische RAM Verwaltung obwohl mehr RAM dazubuchbar wäre
• Backupmöglichkeit auf CIFS, SSH Share möglich kein NFS - notfalls binde ich das am Hypervisor direkt ein
• kostenloser Hypervisor
• Template für VMs müssen möglich sein (ich hatte noch keine Zeit alles mittels Packer und einer eigenen CI Pipeline zu automatisieren) um fix mal eben neue Hosts hochzuziehen und nicht erst ewig zu konfigurieren
• Type 1 Baremetal Hypervisor (klar... VBox und phpVirtualBox kommt nicht drauf zumal ich jede Art von PHP ablehne)
• sollte ich was selbst friemeln müssen, dann alles in Python, yaml, bash. C, Java nur wenn es sein muss
• dynamic Memory: wenn der RAM knapp wird, muss der Hypervisor was freischaufeln können bzw. die VMs sollten nur so viel RAM nutzen, wie sie wirklich benötigen - krasses Beispiel Rocketchat: braucht im Betrieb 5GB RAM, beim Backup über mongodump futtert der seine 16GB verfügbaren RAM weg weil alles in den FSCache geschoben wird -> hier muss der Hypervisor flexibel sein wo ich mit KVM gute Erfahrung gemacht habe durch Kernel samepage merging und memory ballooning

So, was meint ihr? Ich habe mit oVirt ein wenig experimentiert, aber ähnlich wie RedHat's AWX scheint das weniger stable zu laufen wie die "richtigen" Versionen von RedHat Tower und RHV an die ich gratis aber nicht rankomme. Allerdings gibt es da noch das Oracle Linux 7 KVM (hoffentlich dadurch stabiler) welches ja auf dem oVirt Projekt aufsetzt welches ich wohl dem oVirt bevorzugen würde. Durch Proxmox kenne ich mich auch gut mit KVM aus und Backups sind auch ohne Probleme möglich.
Eine weitere Option wäre VMware ESXi allerdings hatte ich in meinem Test vor 1 Jahr keine Möglichkeit gefunden ein VM Template zu erstellen oder eine VM zu einem Template zu migrieren um daraus neue nutzbare VMs zu generieren. Und ich glaube für Backups benötige ich weitere Software wie z.B. Veeam was wieder eine MSSQL DB (gut, die kann auf einer Win Trial laufen) und Win Server voraussetzt (auch Trial dann vermutlich).
XCP-NG hatte ich auch mal ins Auge gefasst, jedoch aus 2 Gründen verworfen: kein dynamic Memory mehr - man gibt dem Host RAM und den braucht der dann auch. Das macht das regelmäßigere Checken und Monitoring für mich zur Pflicht was ich eigentlich vermeiden will. Zweiter Grund ist die an der public IP hängende XAPI Schnittstelle der ich wenig Vertrauen entgegen bringe; das könnte ich allerdings mittels SSH Tunnel ggf. mitigieren wenn ich entweder die XAPI auf localhost lege oder die FW zu mache von Public aus.
Hyper-V Server hatte ich vor längerer Zeit mal probiert, hier würde ich vermutlich auch über einen SSH Tunnel arbeiten, allerdings war das Webpanel bei meinen Versuchen damals noch eine schlechte Beta und der Server anderweitig nicht sinnvoll bedienbar.

Müsste ich mich mit Zeitdruck jetzt sofort entscheiden würde ich wohl zu OL7 KVM greifen, weil ich hier die meisten Erfahrungen habe. Aber vielleicht ist das Szenario ja mit Hyper-V oder ESXi auch umsetzbar? Oder vielleicht habe ich eine weitere Lösung vergessen? OpenStack halte ich für wenig sinnvoll, da es nur eine 1 Server Umgebung ist. Wenn ich die Zeit habe (TM) werde ich auch stückchenweise versuchen die einzelnen VMs zu konsolidieren und zu dockerisieren mittels Ansible. Aber das eher auf dem Jahresplan für 2021/2022.

Viel Text, aber ich wollte so viele Fragen wie möglich bereits im Voraus beantworten und alle notwendigen Informationen mitgeben, um Euch in meine Situation zu versetzen.

Vielen Dank im voraus und viele Grüße,
Stefan


Edit:

Etwas wichtiges habe ich noch vergessen. Bei ESXi muss man "von unten nach oben" skalieren. Sprich: man fängt mit so wenig wie notwendig Kernen an, und geht bei Bedarf hoch. Grund ist, dass der Hypervisor bei der VM zugewiesenen sagen wir 4 Kernen abwartet, bis mal 4 Kerne frei sind um sie dann der VM zur Verfügung zu stellen, selbst wenn die VM nur auf 2 Kernen rechnen würde wollen weil ein Prozess eben nur 2 Kerne nutzt und mal eben was dick rechnen muss. Damit könnte ich leben da Netdata Engpässe auf Dauer dann doch anzeigt. Eine ordentliche Metrik Akkreditierung ist ausstehend - hatte ich weder die Zeit für mir hier Wissen anzueignen.
Ein weiterer Nachteil, wo ich aber nicht weiß, ob man das wegkonfigurieren kann, ist, dass eine VM welche nicht benutzt wird weniger virtuelle MHz bekommt, und dann ne Weile braucht, bis sie wieder Ressourcen hat. Bei einem Service, der nur paar mal die Stunde bissl Power braucht, dann aber richtig, ist dieses Verfahren doof. Das erleben wir auf Arbeit: ungenutzte Testserver sollen plötzlich mal ne Indizierung machen: dauert 10min bis die Leistung auf der CPU haben um fix den Index zu generieren - im vorliegenden Fall Java Apps aus dem Hause Altassian. Solche Leistungsanforderungen müssen Instant anliegen.
Ich weiß nicht, wie sich andere Lösungen verhalten. Meinen Beobachtungen nach gibt KVM zumindest einer 2 Kerne fordernden VM direkt die 2 Kerne wenn nur 2 frei sind, selbst wenn für die VM 4 Kerne konfiguriert sind. Das senkt, sofern es wirklich so ist und nicht nur bauchi-bauchi, die Reaktionszeit wenn mal kurz Leistung angefordert wird, jedoch nicht alle Cores benötigt werden.