Windows Server 2025 - RDMA - Folge 02 - Der Intel-BIOS-Wirrgarten

Windows Server 2025 - RDMA - Folge 02 – Der Intel-BIOS-Wirrgarten

Moin Zusammen,

wie im vorhergehenden Beitrag/vorhergehenden Folge …

Windows Server 2025 - RDMA - Folge 01 - Der Anfang des Grauens

… angekündigt, möchte ich diese Folge der zusätzlichen Verwirrung durch Intel widmen.

Denn wie im oberen Artikel schon erwähnt, gibt es neben den „Komplikationen“ die diese Microsoftianer in ihrem OS seit längerem betreffend RDMA & Co verbauen, auch seitens Intel nicht nur positive Überraschungen. 😔

Denn damit RDMA aber auch SR-IOV oder VMQ bei einem Intel System wirklich funktioniert, müssen bereits im BIOS des Mainboards und auch je nach NIC in deren BIOS, einige Eistellungen korrekt gesetzt sein!

Zum einen muss im Mainbord-BIOS SR-IOV aktiviert werden, was oft mit „Global SR-IOV“ bezeichnet wird.

Folgend ein Beispiel von Thomas Kren, wie man es im Mainboard-BIOS aktivieren kann.
https://www.thomas-krenn.com/de/wiki/Virtualisierungsfunktion_SR-IOV_akt ...

Je nach Hersteller kann sich diese Eistellung in unterschiedlichen Menüpunkten befinden und auch anders heissen, wie z.B. nur „SR-IOV“ oder „SR-IOV Support“ oder „Global SR-IOV“ u.s.w. und Per Default ist diese mal aktiviert oder auch deaktiviert, sprich mal so mal so. 😔😭
Und wie ich schon zuvor erwähnt habe, die Option steuert nicht nur die (globale) Verfügbarkeit von SR-IOV, sondern auch VMQ und auch RDMA. 😉

Ähm ja, damit sind wir mit dem Mainboard-BIOS aber noch nicht ganz durch, denn was Intel selbst in z.B. der folgenden Doku komplett vergisst …

https://edc.intel.com/content/www/xl/es/design/products/ethernet/adapter ...

… ist zu erwähnen, dass neben dem „Global SR-IOV“ auch noch VTd …


… sprich, „Intel VT for Directed I/O“ aktiviert sein muss. 😔

Na ja, zumindest erwähnt zum Glück Broadcom das …

https://techdocs.broadcom.com/us/en/storage-and-ethernet-connectivity/et ...

… in seiner Doku, obwohl VTd ja eigentlich von Intel selbst kommt. 🙃🙈

Ja, OK, das Intel das in seinen Dokus nicht erwähnt ist so jetzt auch nicht richtig, denn in der folgenden Doku …

https://www.intel.com/content/www/us/en/content-details/613875/intel-eth ...

… steht das auch drin.

Und jetzt bitte jeder mal selbst in dieser danach suchen und ja, es sind gerade mal 2750 Seiten.

Ja, ist ja gut, bin ja kein Unfuchs … 🤪 … also, bitte in der oben verlinkten Doku mal auf Seite 1366 oder 1367 gehen und schaut mal nach „Translated DMA Accesses“.

Sprich, VT-d (Translated DMA Accesses) ist, zumindest bei Intel Systemen, eine der Basistechnologien die hinter SR-IOV, VMQ, RDMA & Co stecken.

Seitens Intel gibt es zu VT-d auch die folgende, recht umfangreiche Doku.

https://www.intel.com/content/www/us/en/content-details/831418/intel-vir ...

Was jedoch in dieser nicht erwähnt wird, ist eben die enge „Verwandtschaft/Verbindung“ zu Dingen wie SR-IOV, VMQ, RDMA & Co, zumindest nicht so, dass es auch ein Normalsterblicher verstehen würde. 😔

Folgend noch ein Artikel von TK, der etwas detaillierter beschreibt, wie man VT-d im BIOS aktivieren kann.
https://www.thomas-krenn.com/en/wiki/Activating_the_Intel_VT-d_Virtualiz ...

Und wie schon mehrfach erwähnt, ich spreche hier nur über Intel Systeme, weil ich auf diese spezialisiert bin, wie es diesbezüglich bei AMD aussieht, könnte eventuell jemand anderes mal rausfuchsen, danke. 😉

Nun gut, nachdem wir kurz geklärt haben, was Mainboard-BIOS seitig bei einem Intel System für RDMA (& SR-IOV & VMQ & …) alles eingestellt werden sollte/muss, würde ich nun als nächstes zu den BIOS-Einstellungen einer Intel NIC rüber springen.

Und hierbei kann ich zumindest für alle Besitzer einer Intel X5xx oder X7xx NIC eine „Entwarnung“ geben, denn ihr könnt das Folgende auch überspringen, da es bei diesen NIC’s im BIOS nichts einzustellen gibt, zumindest bei denen, die ich bisher in den Fingern hatte.
Sprich, bei diesen NIC’s muss für SR-IOV und VMQ und falls unterstützt auch RDMA, nichts Zusätzliches im NIC-BIOS eingestellt werden. 😁

Aber nicht zu sehr entspannen, die nächste Folge, wo es dann um die entsprechenden Treibereinstellungen in Windows geht, betrifft euch dann doch wieder. 😔
Ups, kleiner Spoiler. 🙃

So nun zu den Intel E8xxer, also der >= 25G Kategorie.
Ab dieser NIC-Chipsatz-Reihe muss man leider unbedingt auch in das NIC-BIOS (UEFI) reinschauen und mindestens eine Einstellung kontrollieren und zwar die folgende.


Denn wie in dem vorhergehenden Artikel auch schon erwähnt, kann diese Option bei der einen E8xx NIC korrekt, sprich, auf „SR-IOV“ eingestellt sein und bei einer anderen auf „None“.

Damit RDMA, aber auch SR-IOV, VMQ und auch diverse andere NIC-Virtualisierungsfeatures funktionieren, muss diese Option auf „SR-IOV“ stehen!

Und falls sich der eine oder andere an dieser Stelle fragen sollte „was ist dieses „Scalable IOV““ und warum das nicht.

Ähm, ja, das ist bereits die quasi Nachfolgetechnologie von SR-IOV und bereits 2022 hat Intel diesbezüglich eine Zusammenarbeit mit Microsoft verkündet, …

https://www.intel.com/content/www/us/en/newsroom/opinion/new-specificati ...

… so wie es jedoch aussieht …

https://edc.intel.com/content/www/us/en/design/products/ethernet/adapter ...

… wird diese bisher nur von den Pinguinen ab Kernelversion 5.12 adaptiert. 🙃

Und mal ganz ehrlich, da Microsoft die Vorgängertechnologie, noch nicht wirklich gut beherrscht, die es übriges seit 2008 gibt, ist es glaube ich auch ganz gut, dass diese Microsoftians, nicht auch noch das schon angefasst haben. 😮‍💨

Weitere Infos zu SIOV:
https://www.servethehome.com/microsoft-and-intel-scalable-io-virtualizat ...

So, was die BIOS-Einstellungen angeht müssten wir nun das wesentliche durchgekaut haben. 😩

Ach so ja, Falls der eine oder andere jetzt schon Kopfschmerzen hat … ähm … genau deshalb habe ich bisher auch nur eine RDMA Direktverbindung (DAC) angesprochen, sprich, nix noch Switch dazwischen, was spätestens bei RoCe noch einige eigene Zusatzkapitel benötigen würde. Und auch das Thema vSwitch habe ich ebenfalls mit Absicht bisher ausgelassen, da spätestens ab da, die Wahrscheinlichkeit für eine Migräne exponentiell ansteigen würde. 😔
Zumindest wenn ich das alles in nur einem Artikel durchkaue.

Im nächsten Artikel würde ich wie schon gespoilert, das Thema korrekte Einstellungen der Treiber ansprechen, zumindest was die Intel E8xx angeht, die per Default leider auch nicht wirklich gegeben sind. 😭

By the Way, wem dieses Kapitel zu den BIOS-Einstellungen der Intel NIC’s schon zu viel Stress ist, ähm, ja, ich hoffe derjenige hat dann hoffentlich keine Broadcom NIC’s in seinem System verbaut. 🙃

@broadcom
Nun solltet ihr schon eher ahnen, wo der im vorherigen Artikel versprochene Schuss in eure Richtung, in eurem Tor landen wird und zwar nicht so wie das hier, sondern richtig mich Schmackes. 😉😎

Ohh, nun sind auch endlich meine beiden Hausdrachen wach … ähm, wünsche allen noch einen schönen Sonntag.

Gruss Alex