mysticfoxde
Goto Top

Windows Server 2025 - Xeon Gold 6144 - Installationsdesaster

Moin Zusammen,

dieses Wochenende hatten wir bei einem unserer Kunden ein eher „gemütliches“ Upgrade eines Hyper-V 2022 Clusters auf Server 2025 geplant gehabt, daraus ist jedoch eher ein ausgewachsenes Horror-Abenteuer geworden. 😔😭

Ich versuche mal die wichtigsten Dinge zusammenzufassen und würde das was ich heute aufgrund so gut wie aufgebrauchter Akkus vergessen habe, die Tage noch nachliefern. 🥱

Die beiden Server des Kunden basieren auf den folgenden Intel Chassis …

https://www.intel.de/content/www/de/de/products/sku/89010/intel-server-s ...

… und wie man in deren Download-Bereich erkennen kann …

https://www.intel.de/content/www/de/de/products/sku/89010/intel-server-s ...

… gibt es für dieses System bereits auch schon explizit Treiber für Server 2025.

Pro Server stecken zwei der folgenden CPU’s.

https://www.intel.com/content/www/us/en/products/sku/124943/intel-xeon-g ...

Dann sind noch je 512 GB RAM und je ein Broadcom 9400-8E SAS HBA in diesen verbaut.
Zusätzlich zu den 4 OnBoard X722 NIC Ports des Boards, ist pro Server zudem noch eine zusätzliche Dualport I350 NIC drin und das wars, sprich, absolut nichts besonders Wildes.

Vor der Installation des Server 2025, haben wir selbstverständlich zuerst das BIOS des Servers auf den aktuellsten Stand gebracht.

Für die Installation des Systems haben wird zudem kurz vorher die aktuellste Microsoftians-Server-2025 ISO, sprich, eine inclusive CU25-02 gezogen.

Als wir dann die Installation des Server 2025 auf einem der Hosts begannen, mussten wir gleich eine böse Überraschung erleben, denn das Setup des Server 2025 blieb nach einigen Sekunden direkt hängen.

Daraufhin folgte eine längere Fehlersuche, die ich jetzt im Detail aufgrund mangelnder Akku-Ladung nicht komplett wiedergeben kann.

Auf jeden Fall haben wir nach unzähligen Versuchen, dann irgendwann mal herausgefunden, dass sich der Server 2025 sehr wohl auf diesem System installieren lässt, aber nur dann, wenn wir vorher im BIOS das VT-d Feature deaktivieren. 🙃

Leider ist ein Hyper-V Node ohne ein aktiviertes VT-d genauso brauchbar wie ein viereckiges Rad. 😭

Wer mehr über VT-d wissen möchte siehe.
https://cdrdv2-public.intel.com/774206/vt-directed-io-spec%20.pdf

Zusammenfassend:
Wer demnächst geplant hat ein ähnlich bestückten Hyper-V, sprich, Intel C6X Chipsatz & Skylake CPU auf Server 2025 anzuheben, sollte besser noch etwas warten.

Ich werde als nächstes nun ein Support-Ticket bei Intel diesbezüglich öffnen und auch mal ein zuständiges Ohr bei MS suchen.

By the way, laut den folgenden Vorgaben …

https://learn.microsoft.com/en-us/windows-server/get-started/hardware-re ...

… erfüllt die Hardware auch locker die Mindestvoraussetzungen von Server 2025.

Update folgt.

Gruss Alex

P.S. Und ja, wir haben natürlich auch mal versucht die Installation ohne VT-d auszuführen und VT-d nachträglich zu aktivieren … dann bleibt das System dennoch beim nächsten Booten hängen. 😔

Content-ID: 672004

Url: https://administrator.de/report/windows-server-2025-xeon-gold-6144-installationsdesaster-672004.html

Ausgedruckt am: 18.03.2025 um 01:03 Uhr

Avoton
Avoton 17.03.2025 um 21:30:08 Uhr
Goto Top
Moin,

Laut der Seite für das Board
https://www.intel.com/content/www/us/en/products/sku/89015/intel-server- ...

Ist weder Server 2022 noch Server 2025 freigegeben.

Dass es Chipsatztreiber für Server 2025 gibt, heißt ja noch nicht, dass jedes Board mit dem neuen OS läuft.

Gruß,
Avoton
Kuemmel
Kuemmel 17.03.2025 um 21:40:25 Uhr
Goto Top
Ein Server 2025 auf der Skylake-Plattform aus dem Jahr 2016/2017? Solche Experimente fange ich gar nicht mehr erst an.
MysticFoxDE
MysticFoxDE 17.03.2025 um 21:56:11 Uhr
Goto Top
Moin @Avoton,

Laut der Seite für das Board
https://www.intel.com/content/www/us/en/products/sku/89015/intel-server- ...

Ist weder Server 2022 noch Server 2025 freigegeben.

Also zumindest für 2022 ist die Hardware nicht nur freigegeben, ...

https://www.windowsservercatalog.com/product/e683850a-026a-b4da-da20-198 ...

... sonder sogar Certifiziert.

Dass es Chipsatztreiber für Server 2025 gibt, heißt ja noch nicht, dass jedes Board mit dem neuen OS läuft.

Die Treiber sind nicht nur für den Chipsatz bestimmt, sondern explizit für bestimmte Intel Systeme.
Siehe ... "This download is valid for the product(s) listed below."

Zudem sind die Treiber explizit auch für Server 2025 WHQL signiert. 😉

https://learn.microsoft.com/de-de/windows-hardware/drivers/install/whql- ...

Sprich, die Treiber haben den HLK Test der Microsoftians wohl ihrgendwie bestanden und sind somit von deren Seite quasi auch mit abgesegnet.

Gruss Alex
Th0mKa
Th0mKa 17.03.2025 um 21:58:19 Uhr
Goto Top
Wenn man ein vom Hersteller nicht unterrstütztes Betriebssystem verwendet kann das schonmal vorkommen, ist ärgerlich aber passiert halt.

/Thomas
Kuemmel
Kuemmel 17.03.2025 aktualisiert um 22:09:32 Uhr
Goto Top
Wie kommst du darauf?
Hier die offizielle Support-Liste:
https://learn.microsoft.com/en-us/windows-hardware/design/minimum/window ...

Zitat:
Windows Server 2025: Second through Fifth Gen Xeon SP processors (x2xx, x3xx, x4xx, x5xx);..

Du nennst eine CPU (Xeon® Gold 6144 Processor) der First through Fifth Gen! (x1xx, x2xx, x3xx, x4xx, x5xx). Findest du unter den Minimalanforderungen für Server 2022. Mit 2025 wars das. Das kann nicht funktionieren.
Avoton
Avoton 17.03.2025 um 22:08:34 Uhr
Goto Top
Moin,

Also zumindest für 2022 ist die Hardware nicht nur freigegeben, ..

Das stimmt tatsächlich. Deckt sich mit folgender Liste:
https://www.intel.com/content/dam/support/us/en/documents/server-product ...

Server 2025 fehlt da trotzdem.

Zudem sind die Treiber explizit auch für Server 2025 WHQL signiert. 😉

Was ja nur heißt, dass die Treiber unter 2025 funktionieren. Bedeutet aber nicht zwangsläufig, dass jede BIOS Konfiguration oder Board Feature supported werden (wie es ja scheinbar bei dir der Fall ist).

dieses Wochenende hatten wir bei einem unserer Kunden ein eher „gemütliches“ Upgrade eines Hyper-V 2022 Clusters auf Server 2025 geplant gehabt

Ich mag mich irren, aber gibt es Support seitens Microsoft, wenn der Cluster zwar alle Tests des Clusterassistenten besteht, aber auf nicht freigegebener Hardware für das OS läuft?

Gruß,
Avoton
Avoton
Avoton 17.03.2025 um 22:12:26 Uhr
Goto Top
Du hast eine CPU der First through Fifth Gen (x1xx, x2xx, x3xx, x4xx, x5xx). Findest du unter den Minimalanforderungen für Server 2022. Mit 2025 wars das. Das kann nicht funktionieren.

Wobei das nur als Voraussetzung für die Zertifizierung gilt, nicht als technische Minimalanforderung. Erklärt aber die fehlende Freigabe seitens Intel.
Denke auch nicht, dass die bei einem Ticket groß was machen werden.
Werden auf Unsupported OS verweisen und fertig.

Gruß,
Avoton
kreuzberger
kreuzberger 17.03.2025 um 22:12:44 Uhr
Goto Top
Also . . . die Idee war ja, dass der Einsatz von Technik es den Menschen an sich einfacher macht und das Leben erleichtert. (Zum „Erleichtern“ komme ich später.

Tatsache ist leider, es wird, sofern man es mit IT zu tun hat immer komplizierter und schwieriger. So ist hier wohl klar, vor einem Upgrade von grundsätzlicher Systemsoftware - hier MS Windows Server 2025 - muss zwingen eine grundlegende Recherche erfolgen, bevor man überhaupt an ein Upgrade denkt. Und am Anfang bereits wird man feststellen: man kann gar nicht komplett recherchieren. Schon allein die Kosten für eine annähernd vollständigen Recherche kann man kaum absehen, wer soll das denn noch bezahlen?
Kann man das Microsoft oder dem Boardherstller in Rechnung stellen?
Muss man eine Versicherung haben wenn es schief geht und was kann diese kosten?
Was sagen dann die Versicherer dazu (wenn ein Betrieb/Unternehmen Konkurs geht weil es ein IT Desaster gab)?


Ein Server 2025 auf der Skylake-Plattform aus dem Jahr 2016/2017? Solche Experimente fange ich gar nicht mehr erst an.

Nunja, ich hab mal spasseshalber auf einem uralten ITX-ATOM-330 Board mit 2GB RAM einen Server Core 2019 HyperV installieren können. Ich weiß nicht von wann das board ist, aber vermutlich aus dem Jahr 1820, oder?

Wenn die Hardware-Voraussetzungen klar erfüllt sind, die die Hersteller angeben, sollte man eine Rechnung schreiben.

Kreuzberger
MysticFoxDE
MysticFoxDE 17.03.2025 um 22:13:15 Uhr
Goto Top
Moin @Kuemmel,

Ein Server 2025 auf der Skylake-Plattform aus dem Jahr 2016/2017? Solche Experimente fange ich gar nicht mehr erst an.

und warum sollte der entsprechende Kunde, vor allem in der jetzigen Zeit wo es vielen Branchen nicht wirklich gut geht, unbedingt ~30K für neue HV-Nodes investieren, wenn die bisherigen noch mehr wie genug Leistung bringen und vor allem bei neuer Hardware nicht wirklich ein Mehrwert garantiert ist?

Wir Upgraden die Server Systeme unserer Kunden übrigens deshalb auf möglichst die neuste Kernelversion, auch ältere Hardware, weil diese Microsoftians mittlerweile nach dem erscheinen einer neuen Version, in den vorherigen nur noch das allernötigste an Murks und Sicherheitslücken beseitigen. 😔

Ausserdem unerstützt selbst ein Server 2025, nicht wirklich alle Ressourcen der angesprochenen Hardware, vor allem im Hinblick auf deren VMQ Ressourcen. 🙃

Gruss Alex
Th0mKa
Th0mKa 17.03.2025 um 22:16:42 Uhr
Goto Top
Zitat von @kreuzberger:
Kann man das Microsoft oder dem Boardherstller in Rechnung stellen?
Was wäre denn deine theoretische Grundlage? Die Lauffähigkeit von Server 2025 war zum Zeitpunkt des Kaufs sicher keine zugesicherte Eigenschaft des Servers.

/Thomas
Kuemmel
Kuemmel 17.03.2025 aktualisiert um 22:20:27 Uhr
Goto Top
Einfach mal meinen zweiten Kommentar lesen.
Wie @Avoton bereits zusätzlich angemerkt hat, ist das zwar "nur" die Zertifizierungsliste, aber auf diese Liste sollte man bauen. Nur weil es Treiber für das Board gibt, heißt das noch lange nicht, das es auch offiziell supported wird von allen Instanzen.
Avoton
Avoton 17.03.2025 um 22:34:02 Uhr
Goto Top
und warum sollte der entsprechende Kunde, vor allem in der jetzigen Zeit wo es vielen Branchen nicht wirklich gut geht, unbedingt ~30K für neue HV-Nodes investieren, wenn die bisherigen noch mehr wie genug Leistung bringen und vor allem bei neuer Hardware nicht wirklich ein Mehrwert garantiert ist?

Garantie auf die Hardware, offizieller Support für neue OS's und neue Hardware etc.

Das Board ist 2019 EOL gegangen, das heißt die Nodes sind mindestens knapp 6 Jahre alt. Da kann man durchaus an neue Hardware denken.

in den vorherigen nur noch das allernötigste an Murks und Sicherheitslücken beseitigen.

Interessante Behauptung, gibt's da Belege für?
Soweit ich es mitbekomme, erhalten alle im Support befindlichen Versionen die gleichen Patches für Sicherheitslücken.

Gruß,
Avoton
MysticFoxDE
MysticFoxDE 17.03.2025 aktualisiert um 22:37:00 Uhr
Goto Top
Moin @Kuemmel,

Wie kommst du darauf?
Hier die offizielle Support-Liste:
https://learn.microsoft.com/en-us/windows-hardware/design/minimum/window ...

Zitat:
Windows Server 2025: Second through Fifth Gen Xeon SP processors (x2xx, x3xx, x4xx, x5xx);..

was soll ich den bitte mit dieser bescheuerten Marketing- & Vertriebswunschliste anfangen?
Wenn dann möchte ich den schon den technischen Grund für das beschriebene Problem wissen.

Du nennst eine CPU (Xeon® Gold 6144 Processor) der First through Fifth Gen! (x1xx, x2xx, x3xx, x4xx, x5xx). Findest du unter den Minimalanforderungen für Server 2022. Mit 2025 wars das. Das kann nicht funktionieren.

server 2025 e5-2690

Du glaubst duch nicht ernsthaft, dass wir eine solche Aktion starten, ohne es vorher auf einem ähnlichen oder gar noch älterem System anständig durchgetestet zu haben. 😉

Gruss Alex
Kuemmel
Kuemmel 17.03.2025 aktualisiert um 22:51:44 Uhr
Goto Top
Was willst du uns damit sagen?
Auch deine jetzt genannte CPU wird von Windows Server 2025 nicht gelistet. Das ist Fakt. Wenns geht, gut, wenns nicht geht, dein/unser Pech. Support wirst du dafür aber in dieser Konstellation eher nicht bekommen. Microsoft muss auch keinen technischen Hintergrund nennen, warum sollten sie dir eine solche Info schuldig sein?
Lochkartenstanzer
Lochkartenstanzer 17.03.2025 um 22:47:35 Uhr
Goto Top
Zitat von @Avoton:

Das Board ist 2019 EOL gegangen, das heißt die Nodes sind mindestens knapp 6 Jahre alt. Da kann man durchaus an neue Hardware denken.



Moin,

Ja, da kann man an neue Hardware denken, aber ob der Kunde das auch bezahlen kann (und will) steht auf einem ganz anderen Blatt. Natürlich würde mN als Dienstleister am liebsten mit frischer Hardware dem Kunden neu Systeme hinstellen. Nicht nur, weil man daran verdient, sondern, weil modernere Hardware oft weniger Probleme macht, wenn sie nicht gerade der allerneueste Zeug frisch aus der Entwicklung ist (ich nehme immer gern Systeme, die sich schon mindestens ein Bus zwei Jahre auf dem Markt bewährt haben).

Aber leider kann man sich nicht immer über die Gegebenheiten hinwegsetzen und muß halt auch manchmal "alte Hardware" weiterverwenden. Dabei ist allerdings 6 Jahre kein wirklich hohes Alter für Server, auch wenn die meisten früher getauscht werden.

lks
MysticFoxDE
MysticFoxDE 17.03.2025 um 22:47:40 Uhr
Goto Top
Moin @Avoton,

Denke auch nicht, dass die bei einem Ticket groß was machen werden.
Werden auf Unsupported OS verweisen und fertig.

na ja, ich habe schon seit einiger Zeit ein Ticket bei Intel wegen eines Problems in Verbindung mit Server 2025 und X710/E810 NIC's offen, welches übrigens schon mindestens seit Server 2019 besteht und bisher hat Intel noch mit keiner Silbe über das darunterliegende Grizzly Pass System gemeckert, auch welchem ich den Fehler nachgestellt habe. 🙃

Gruss Alex
Kuemmel
Kuemmel 17.03.2025 aktualisiert um 23:08:56 Uhr
Goto Top
Und noch was: Wenn es dem Kunde finanziell nicht gut gehen sollte und die HW ja wie bestätigt genügt, würde ich auch jetzt nicht auf die Idee kommen ihn von einem Server 2022 (der noch einige Jahre Support hat!) auf einen 2025 hochzuziehen. Da kann er sich jetzt Lizenzen und Dienstleistung sparen und kurz vor Oktober 2031 bekommt er dann einen neuen Host mit neuem OS. Geld gespart, beide Seiten glücklich. Und VMs sollten sich ja auch als Server 2025 auf diesem Host erstellen lassen falls man jetzt mit dem Argument "Der Kunde braucht das wegen Software-Hersteller xy!" um die Ecke kommt.
MysticFoxDE
MysticFoxDE 17.03.2025 um 23:15:43 Uhr
Goto Top
Moin @Avoton,

Das Board ist 2019 EOL gegangen, das heißt die Nodes sind mindestens knapp 6 Jahre alt. Da kann man durchaus an neue Hardware denken.

also, dass diese Platform 2019 EOL gegangen ist, ist so nicht wirklich richtig,
Denn die "R2208WFTZS" Chassis wurden lediglich einem minimalen Facelift unterzogen und wurden danach noch bis Anfang 2023 als "R2208WFTZSR" Systeme verkauft.

Und auch die Vermarktung der entsprechenden CPU, wurde seitens Intel ebenfalls erst Ende 2023 eingestellt.

Sprich, so wirklich alt ist die verwendete Hardware-Plattform nun auch nicht wirklich. 😉

in den vorherigen nur noch das allernötigste an Murks und Sicherheitslücken beseitigen.

Interessante Behauptung, gibt's da Belege für?

Bist gerne auf ein Bier eingeladen. 😉

Soweit ich es mitbekomme, erhalten alle im Support befindlichen Versionen die gleichen Patches für Sicherheitslücken.

Ja ... vor einiger Zeit habe ich bei Microsoft an solche Dinge auch noch geglaubt. 😔

Gruss Alex
kreuzberger
kreuzberger 17.03.2025 um 23:20:53 Uhr
Goto Top
Bist gerne auf ein Bier eingeladen.

Ich will auch ein Bier!
🙄
Kuemmel
Kuemmel 17.03.2025 um 23:24:04 Uhr
Goto Top
Du beziehst dich hier viel zu sehr auf die Technik. Die technischen Voraussetzungen möge deine alte Hardware zwar erfüllen, das zweifelt auch keiner an, aber wenn Microsoft nein dazu sagt wirst du die auch nicht damit umstimmen können oder was erhoffst du dir dadurch?
dertowa
dertowa 17.03.2025 aktualisiert um 23:34:13 Uhr
Goto Top
Salut,
spannend, aber eine Frage stellt sich mir, unabhängig des technischen Hintergrunds:
  • Aus welchem Grund sollen/müssen die Geräte denn mit Server 2025 ausgerüstet werden?

Ganz davon ab, wir nutzen Supermicro Server mit Epyc Prozessoren.
Server 2019 war/ist als letztes seitens Supermicro freigegeben, 2022 läuft problemlos und die jeweiligen Hersteller liefern die passenden Treiber.
Aber auf die Idee 2025 darauf zu installieren käme ich nicht, mir ist 2025 noch zu "frisch", dazu zählt auch der Basiswechsel auf Win 11, das darf für mich gern auch im Serverbereich noch eine Generation reifen.

Zitat von @Kuemmel:

...Die technischen Voraussetzungen möge deine alte Hardware zwar erfüllen, ... aber wenn Microsoft nein dazu sagt wirst du die auch nicht damit umstimmen können...

Ich lese hier nicht, dass Microsoft "nein" sagt, denn es gibt keine Fehlermeldung dazu.
Ein "hängendes" Setup oder System ist sicherlich nicht beabsichtigt, um eine Nutzung zu unterbinden, da schießt vermutlich eher softwaretechnisch/treibertechnisch etwas quer.
Ob das nun eine Microsoft-Baustelle wäre, sei mal dahingestellt.

Ist zwar Off-topic, aber ich hatte gestern noch eine Workstation mit Windows 11 Pro und Hyper-V vor der Nase, auf der keine Windows 11 VMs mit TPM starten wollten (Fehlermeldung von Hyper-V direkt bei der Ausführung der VM), obwohl alle Voraussetzungen erfüllt waren.
Die Lösung war dort fTPM der AMD CPU (Ryzen 5 5500) anstelle des diskreten TPM zu nutzen.


Grüße
ToWa
MysticFoxDE
MysticFoxDE 17.03.2025 um 23:32:55 Uhr
Goto Top
Moin @Kuemmel,

Und VMs sollten sich ja auch als Server 2025 auf diesem Host erstellen lassen falls man jetzt mit dem Argument "Der Kunde braucht das wegen Software-Hersteller xy!" um die Ecke kommt.

aha und wie kommst du nun auf die Idee, dass für eine Server 2025 VM, andere Hardwareanforderungen gelten sollten, als für ein Bare-Metale System?

Da kann er sich jetzt Lizenzen und Dienstleistung sparen

Die entsprechenden Lizenzen besitzt dieser Kunde schon unabhängig der hier angesprochenen Aktion.
Ausserdem stand eh ein grösseres Update der Nodes aus und da im Normallfall ein Upgrade der HV's, nur etwa +20% mehr Aufwand wie ein Update verursacht, hat sich der Kunde eben gleich für das Upgrade entschieden. 😉

Gruss Alex
MysticFoxDE
MysticFoxDE 17.03.2025 um 23:34:30 Uhr
Goto Top
Moin @kreuzberger,

Bist gerne auf ein Bier eingeladen.

Ich will auch ein Bier!
🙄

habe gerade nachgesehen, ein paar sind noch da. 😉

Gruss Alex
Kuemmel
Kuemmel 17.03.2025 um 23:39:09 Uhr
Goto Top
Probier es doch mal aus auf der HW.. Server 2022 Host mit 2025 VMs..
MysticFoxDE
MysticFoxDE 18.03.2025 um 00:03:59 Uhr
Goto Top
Moin @dertowa,

Aber auf die Idee 2025 darauf zu installieren käme ich nicht, mir ist 2025 noch zu "frisch", dazu zählt auch der Basiswechsel auf Win 11, das darf für mich gern auch im Serverbereich noch eine Generation reifen.

na ja, der Kunde hat ja auch X722, sprich, 10G NIC's in dem System im Einsatz und hierfür benötigt man ja so Dinge wie VM(M)Q und oder SR-IOV, damit man diese auch nur halbwegs effizient in einem Hypervisor betreiben kann.

Und bei einem Server 2025 sind die zuletzt genannten Features, OS-Seitig bisher eben am fehlerfreisten implementiert, jedoch noch nicht wirklich optimal, obwohl diese eigentlich schon seit mindestens Server 2016 sauber funktionieren sollten. 😭

Sprich, mitunter wollten wir das Upgrade auch deshalb machen, damit der Kunde die Leistung die er damals hardwaretechnisch bezahlt hat, heute OS-technisch auch etwas besser ausreizen kann. 🙃

Denn mal abgesehen von diesem verfluchten VT-d Problem, bringt dieselbe Hardware mit Server 2025 nun deutlich mehr Leistung, zumindest laut Passmark. 😀

So, jetzt muss ich aber ganz schnell in meinen Fuchsbau kriechen und mal ein 🦊-Quick-Charge machen.

Wünsche allen eine gute Nacht, bis morgen.

Gruss Alex
MysticFoxDE
MysticFoxDE 18.03.2025 um 00:38:09 Uhr
Goto Top
Moin @Kuemmel,

Probier es doch mal aus auf der HW.. Server 2022 Host mit 2025 VMs..

passmark desul hv 02

die oberen vier Baselines, also CPU technisch die schnellsten bei Passmark gemeldeten Systeme mit derselben CPU, kommen von dem System über das wir hier sprechen und wurden unter Server 2025 (ohne VT-d) erstellt. 😉

Gruss Alex