marabunta

VM-Host Serverupgrade

Hallo,

ich sammle gerade Informationen und Erfahrungen.
Derzeit sind 6 Hosts mit 2x Intel Xeon Gold 6242 je 16 Cores im Einsatz.
Also 192 Cores insgesamt und bei einer Ratio von etwa 5:1 sind es 960 vCores die beansprucht werden.

Die Überlegung ist, ein Upgrade und gleichzeitig Wechsel auf:
4 Hosts mit 2x AMD EPYC 9845 je 160 Cores. (Kann auch die 128 Core Variante sein, je nach Planung)

2 Hosts müssen natürlich 100% der Last tragen können.

Sollte man nur auf die Core Zahl schauen oder ändert sich die Rechnung, durch performantere Prozessoren?
Nach meinen Informationen, ist lediglich eine Downtime nötig beim Wechsel von Intel auf AMD, ansonsten gibt es für die VMs keine Bedenken. Ist das richtig so?

Danke.
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilen

Content-ID: 672927

Url: https://administrator.de/forum/vm-host-serverupgrade-672927.html

Ausgedruckt am: 10.06.2025 um 12:06 Uhr

Th0mKa
Th0mKa 19.05.2025 um 11:46:08 Uhr
Goto Top
Moin,

mit was wird hier denn virtualisiert?

/Thomas
Marabunta
Marabunta 19.05.2025 um 11:52:17 Uhr
Goto Top
Ganz grob
150 Windows Server
100 Linux

der Großteil ist ruhig und ist irgendein Standard, ca. 20 VMs arbeiten mit hochfrequenten Daten in einer zeitkritischen Umgebung/Datenbank.
StefanKittel
StefanKittel 19.05.2025, aktualisiert am 20.05.2025 um 09:36:35 Uhr
Goto Top
Zitat von @Marabunta:
2 Hosts müssen natürlich 100% der Last tragen können.
Vorher hattest Du 6 Server von denen Du 5 nutzt. Also 1 Spare.
Warum müssen es nunr 2 Spares sein?

Was für eine Virtualisierung?
Was für ein Storage und wie ist der angebunden?

Die AMDs haben deutlich mehr IO-Kapazität.

Rein rechnerisch würde ich die 5 aktiven Server mit 5x2x16=160 Kerne nicht gegen einen aktive AMD 9845 tauschen. Auch wenn des von den Kernen her passt.

Aber die 6 Server gegen 3 Server zu tauschen (2 mit je 80 Kernen genutzt (50% Auslastung)) und einen Spare fände ich OK.

Beachte bitte die Lizenzkosten! Ich hatte schon denen einen oder anderen Kunden die sich einen tollen Server mit vielen AMD-Kernen angeschafft hatten (war ja so günstig). Die sind dann bei den Lizenzkosten für VMWare und Microsoft gegen eine kahle Wand mit dem Gesicht geklatscht.

Stefan
Penny.Cilin
Penny.Cilin 19.05.2025 um 12:14:04 Uhr
Goto Top
Mahlzeit,

also mit den spärlichen Informationen eine zielführende Empfehlung zu geben, ist Kaffeesatzleserei.

Gruss Penny.
Marabunta
Marabunta 19.05.2025 um 12:24:23 Uhr
Goto Top
Dorado Storage ist derzeit bei 2x 25Gbit/s, Backup ist genauso schnell.
Der Plan ist beides auf mindestens 100 Gbit/s hochzurüsten.

VMWare wird für die Virtualisierung eingesetzt, wobei alternativen in Zukunft nicht ausgeschlossen sind.
Es sind alle 6 in einem Cluster gleichzeitig aktiv. 3 pro Seite, kein Spare.
Automatisches vMotion nach Bedarf.

Beantwortet das die Fragen?

Gruß
Marabunta
Marabunta 19.05.2025 um 12:25:40 Uhr
Goto Top
Offensichtlich ist es kein regelmäßiges Projekt, kannst gerne relevante Fragen stellen mit denen ich dir helfen kann.
DerMaddin
DerMaddin 19.05.2025 um 13:08:01 Uhr
Goto Top
Moin,

unsere Migration ist schon paar Tage her und auch etwas weniger Hosts/Cores aber es war in etwa vergleichbar. VMware, Intel Gold 6xxx zu VMware AMD Epyc 7002. Downtime für einzelne VMs hielt sich in Grenzen, da wir auch viel "altes" Zeug wie Windows Server 2008, 2012 und 2016, gleich mit 2019 ersetzt haben. Also Infrastruktur VMs wie DC, File&Print, NPS (lokale CA), WSUS etc. Das konnte man parallel machen zum produktiven Betrieb.

Alles andere und kritische wie ERP, SQL, RDP etc. wurde nach Bürozeiten oder am Wochenende über Veeam migriert. Also Snapshot-Backup und wiederherstellen auf neuem Cluster.
Spirit-of-Eli
Spirit-of-Eli 19.05.2025 um 16:31:08 Uhr
Goto Top
Moin,

bei 6 Hosts habt ihr doch eh ein VCenter. Da sollte die MIgration an sich kein Thema sein.
Was da dann für Lizenz nötig sein, keine Ahnung. Um die Enterprise kommt ihr wohl nicht herum wenn ich tatsächlich vMotion haben wollt.

Gruß
Spirit
DerMaddin
DerMaddin 19.05.2025 um 16:54:34 Uhr
Goto Top
Klar, dass hier wohl kaum eine vSphere Essentials Lizenz benutzt wird. Standard ist mindestens vorhanden. Eine Enterprise ist, wenn die Features nicht benötigt, nicht notwendig.

Ich verstehe das Argument nicht wegen vMotion. Das ist selbst in der kleinsten Edition drin. Storage vMotion ab Standard, DRS ab Enterprise, Cross-vCenter vMotion ab Enterprise...
Spirit-of-Eli
Spirit-of-Eli 19.05.2025 um 18:09:26 Uhr
Goto Top
ich bin da kein Profi drin. Ich weiß nur das unsere Server Jungs da nicht so die Probleme mit der Migration hatten.
MysticFoxDE
MysticFoxDE 19.05.2025 um 23:18:34 Uhr
Goto Top
Moin @Marabunta:

Derzeit sind 6 Hosts mit 2x Intel Xeon Gold 6242 je 16 Cores im Einsatz.
Also 192 Cores insgesamt und bei einer Ratio von etwa 5:1 sind es 960 vCores die beansprucht werden.

Ich breche das mal auf einen Node runter, das macht die Sache etwas einfacher. 🙃
Wenn die Kühlung deiner Server gut ist, dann sollten die Kerne der Xeon Gold 6242 CPU’s dauerhaft mit um die 3,5 GHz laufen. Somit hast du aktuell pro Host in Summe etwa 2*16*3,5GHz = 112 GHz zur Verfügung.

Die Überlegung ist, ein Upgrade und gleichzeitig Wechsel auf:
4 Hosts mit 2x AMD EPYC 9845 je 160 Cores. (Kann auch die 128 Core Variante sein, je nach Planung)

Ein einziges System mit 2 x AMD EPYC 9845 stellt in Summe mit etwa 2x160x3,0GHz = 960 GHz zur Verfügung, was mehr als das 8,5 fache dessen ist, was du heute per Node hast. 🙃

2 Hosts müssen natürlich 100% der Last tragen können.

Also ja, zwei dieser Nodes können zumindest CPU-technisch, definitiv die Last von deinen vorherigen 3 Nodes tragen.

Sollte man nur auf die Core Zahl schauen oder ändert sich die Rechnung, durch performantere Prozessoren?

Der Tackt ist bei den meisten Anwendungen die ich kennen, entscheidender als die Anzahl der Kerne. 😉

Mal im Ernst, bei dem was ihr bisher an Leistung hattet, sollten euch auch die folgenden CPU’s …

https://www.amd.com/de/products/processors/server/epyc/9005-series/amd-e ...
https://www.amd.com/de/products/processors/server/epyc/9005-series/amd-e ...

… mehr als reichen und ihr spart zudem auch noch eine ganze Menge an Lizenzkosten. 😁

Denn, ich will glaube ich nicht wirklich wissen, was die in Summe 1280 Cores der 9845 EPYC’s dich aktuell bei VMware kosten würden und dann eventuell auch noch Datacenter dazu. 😬

Gruss Alex
ukulele-7
ukulele-7 20.05.2025 aktualisiert um 09:13:56 Uhr
Goto Top
Also gut das wir nicht über Essentials reden denn da ist ja 32 Cores per Socket das Limit. Ich weiß nicht, ob es da bei Standard eine Einschränkung gibt aber die verwendete Edition zu kennen wäre sicher nicht verkehrt. Teuer wird es bestimmt face-smile

Habt ihr euch einen Projektpreis anbieten lassen für die neue Hardware? Ansonsten könnte man überlegen, erstmal eine Hardware anzuschaffen und die Performance selbst bestimmen.
Marabunta
Marabunta 20.05.2025 um 10:08:33 Uhr
Goto Top
Nein, gerade nur Anfang der Informationsbeschaffung und erste Schätzungen.
Das Projekt darf noch nicht wirklich anfangen, solange eine Förderung gefunden werden könnte. Die Genehmigung gibt es meistens nur, wenn das Projekt zum Antragszeitpunkt noch nicht angefangen hat.

Broadcom mit Lizensierung pro Kern ist unfassbar teuer, da wäre ein Wechsel wahrscheinlich alternativlos.
Wegen CPU-Ready Time würde ich ungerne die pCore:vCore Ratio an die Grenze bringen, auch wenn die GHz ausreichend sind. Einen Mittelweg müssen wir finden.
ukulele-7
ukulele-7 20.05.2025 um 10:33:47 Uhr
Goto Top
Die pCore:vCore-Ratio ist ja nicht in Stein gemeißelt und hängt vom Workload der VMs ab. Das macht es schwer, das vorher zu "kalkulieren". Wir haben einige VMs die konstant Workload haben aber auch viele, die einfach fast gar nichts tun müssen.

Um eine gute Vergleichbarkeit der Systeme zu bekommen lohnt sich auch ein Blick auf Benchmarks im SPEC 2017:
https://www.spec.org/cpu2017/results/
Die großen Hersteller testen da ihre Plattformen und die Ergebnisse sind über viele Servergenerationen vergleichbar. Idealerweise gibt es da sowohl euer bisheriges System (Plattform + CPU) sowie dein geplantes System.
Th0mKa
Th0mKa 20.05.2025 um 10:48:14 Uhr
Goto Top
Zitat von @Marabunta:
Broadcom mit Lizensierung pro Kern ist unfassbar teuer, da wäre ein Wechsel wahrscheinlich alternativlos.

Die Windows Lizenzen schlagen hier aber auch ganz schön rein, die brauchst du ja für deine 150VMs unabhängig vom Virtualisierungslayer. In dem Zusammenhang mal über Hyper-V nachgedacht?
DerMaddin
DerMaddin 20.05.2025 um 11:26:39 Uhr
Goto Top
Wenn Hyper-V, dann in der Enterprise Edition. Alles andere (Core und Server) ist sehr eingeschränkt. Bei 150 VMs ist Core ein Pain-in-the-ass und selbst mit dem Hyper-V-Manager ziemlich aufwendig. HA- und Cluster-Features erst sinnvoll mit der Enterprise. Aber auch hier hohe Lizenzkosten wg. CPU-Core Anzahl.
Th0mKa
Th0mKa 20.05.2025 aktualisiert um 12:50:06 Uhr
Goto Top
Zitat von @DerMaddin:

Wenn Hyper-V, dann in der Enterprise Edition. Alles andere (Core und Server) ist sehr eingeschränkt. Bei 150 VMs ist Core ein Pain-in-the-ass und selbst mit dem Hyper-V-Manager ziemlich aufwendig. HA- und Cluster-Features erst sinnvoll mit der Enterprise. Aber auch hier hohe Lizenzkosten wg. CPU-Core Anzahl.

Wovon redest du? Es gibt schon seit Server 2012 keine Enterprise Edition mehr. Ansonsten kann man Core sehr gut einsetzen wenn man für die Verwaltung nicht wie ein Äffchen von Server zu Server klettert, sondern die vorgesehenen Verwaltungstools nutzt. Ob man Datacenter oder Standard Edition nutzen möchte ist idR eine reine Feature- oder Matheaufgabe.

/Thomas
DerMaddin
DerMaddin 20.05.2025 aktualisiert um 13:18:43 Uhr
Goto Top
@Th0mKa mit Enterprise ist Windows Server DC gemeint, da nur hier alle "Enterprise" Funktionen vorhanden sind wie z.B. Storage Space Direct oder Netzwerkvirtualisierung.

Ja, mach mal eine Core Umgebung, die HA und Failover kann. Da bin ich mal auf deine Ausführung gespannt. Welche Tools genau sollen das sein? Hyper-V-Manager? WAC? PowerShell?

Und btw. weil mir das gerade ins Auge gefallen ist, Hyper-V Server ist Mainstream EOL und extended in 2029.
Th0mKa
Th0mKa 20.05.2025 um 14:38:55 Uhr
Goto Top
Zitat von @DerMaddin:
@Th0mKa mit Enterprise ist Windows Server DC gemeint, da nur hier alle "Enterprise" Funktionen vorhanden sind wie z.B. Storage Space Direct oder Netzwerkvirtualisierung.
Das der TO S2D machen möchte konnte ich jetzt nicht entnehmen, ich sehe in dem skizzierten Szenario eher die unlimited OSE als Grund für Datacenter.
Ja, mach mal eine Core Umgebung, die HA und Failover kann. Da bin ich mal auf deine Ausführung gespannt. Welche Tools genau sollen das sein? Hyper-V-Manager? WAC? PowerShell?
Oder alle drei? Wo genau ist denn da dein Problem?
Und btw. weil mir das gerade ins Auge gefallen ist, Hyper-V Server ist Mainstream EOL und extended in 2029.
Ja und? Wie kommt der kostenlose Hyper-V Server 2019 jetzt hier ins Spiel? Du hast doch gerade gesagt du siehst hier wegen der Features eh nur Datacenter als Option? Ich gehe auch nicht davon aus das der TO hier noch auf 2019 setzten würde wenn er eh alles neu macht.

/Thomas
DerMaddin
DerMaddin 20.05.2025 um 14:57:28 Uhr
Goto Top
Habe ich davon was geschrieben, dass der TO S2D (oder ähnliche Technologie) benötigt?

Oder alle drei? Wo genau ist denn da dein Problem?
Frickel, frickel, frickel... na da kann der To gleich Proxmox nehmen.

Ja und? Wie kommt der kostenlose Hyper-V Server 2019 jetzt hier ins Spiel?
Du hast das ins Spiel gebracht

Ich gehe auch nicht davon aus das der TO hier noch auf 2019 setzten würde wenn er eh alles neu macht.
Also wenn du gleicher Meinung bist, wozu der Aufriss hier? Hast du irgendwie ein Aufmerksamkeitsdefizit?
Marabunta
Marabunta 20.05.2025 um 15:15:53 Uhr
Goto Top
Ja. Hyper v war ein thema.
Problem 1: benötigt mehr Ressourcen als vmware
Problem 2: Migration -läuft alles oder hat man plötzlich vmware und hyperv und kommt nicht weiter?
Problem 3: features wie automatisches balancing etc.
Problem 4: know how
Problem 5: Personal Ressourcen für Migration und Fehlerbehebung
Problem 6: Risiko fatalen scheiterns
Th0mKa
Th0mKa 20.05.2025 um 16:14:59 Uhr
Goto Top
Zitat von @DerMaddin:
Frickel, frickel, frickel... na da kann der To gleich Proxmox nehmen.
Verwaltungswerkzeuge nutzen ist für dich also frickeln? Spannende Einstellung.

Du hast das ins Spiel gebracht
Ach ich dachte das hier warst du:
Zitat von @DerMaddin:
Und btw. weil mir das gerade ins Auge gefallen ist, Hyper-V Server ist Mainstream EOL und extended in 2029.

Zitat von @DerMaddin:
Also wenn du gleicher Meinung bist, wozu der Aufriss hier?
Sind wir ganz offensichtlich nicht.
Hast du irgendwie ein Aufmerksamkeitsdefizit?
Nein, aber du hast keine Ahnung wovon du schreibst.
Th0mKa
Th0mKa 20.05.2025 um 16:19:09 Uhr
Goto Top
Zitat von @Marabunta:

Ja. Hyper v war ein thema.
Problem 1: benötigt mehr Ressourcen als vmware
Kann sein, muß nicht. Kommt auf den Workload an.
Problem 2: Migration -läuft alles oder hat man plötzlich vmware und hyperv und kommt nicht weiter?
Valider Punkt
Problem 3: features wie automatisches balancing etc.
Dieses Feature gibts mit Hyper-V auch. Es gibt tatsächlich so ziemlich alle Features auch im Hyper-V, heißt manchmal nur anders.
Problem 4: know how
Problem 5: Personal Ressourcen für Migration und Fehlerbehebung
Problem 6: Risiko fatalen scheiterns
Ja, typische Projektrisiken. Muß man wirklich nicht eingehen, wenn man sich die VMWare Lizenzen leisten kann und will.

/Thomas
MysticFoxDE
MysticFoxDE 24.05.2025 um 08:31:08 Uhr
Goto Top
Moin @Marabunta,

Ja. Hyper v war ein thema.
Problem 1: benötigt mehr Ressourcen als vmware

wenn richtig konfiguriert, dann definitiv nein.

Problem 2: Migration -läuft alles oder hat man plötzlich vmware und hyperv und kommt nicht weiter?

Ich habe selber schon hunderte von VM's migriert und hatte bisher nur in den seltensten Fällen Probleme bei der Migration. Vor allem Windows VM's, lassen sich sehr einfach migrieren.

Problem 3: features wie automatisches balancing etc.

Kann der Hyper-V auch alles ... habe ich aber bei VMware schon nicht wirklich gemocht. 🙃

Problem 4: know how

Die Verwaltung des Hyper-V's, ist zumindest was die meisten Alltagsaufgaben angeht, auch nicht viel anders wie bei VMware.

Bei den meisten Umstellungen, habe ich bisher keine Stunde gebraucht, bis die entsprechenden Admins auch einen Hyper-V bedienen konnten.

Problem 5: Personal Ressourcen für Migration und Fehlerbehebung

Lässt sich auch extern einkaufen und bei dem was ihr wahrscheinlich alleine an den Lizenzkosten einsparren würdet,
wären diese Kosten sogar eher lächerlich.

Problem 6: Risiko fatalen scheiterns

Wenn im Vorfeld richtig geplannt, dann eher nicht gegeben.

Gruss Alex