mysticfoxde
Goto Top

NVIDIA L40S - Die erste Erfahrung ist etwas bescheiden

Moin Zusammen,

diese Woche sind bei uns für ein Kundenprojekt 4 neue Server für ein Hyper-V Cluster eingetrudelt, in denen je eine NVIDIA L40S, sprich, eine GPU der 10K Klasse verbaut ist.

Und natürlich wollte ich als Erstes mal wissen, was die GPU so alles draufhat, vor allem nachdem NVIDIA selbst auf der Produkthomepage das folgende schreibt …

https://www.nvidia.com/de-de/data-center/l40s/

Der leistungsstärkste Universal-Grafikprozessor
+
„Der L40S-Grafikprozessor vereint leistungsstarke KI-Rechenleistung und erstklassige Grafik- und Medienbeschleunigung

Daher habe ich gestern früh einen der Server schon mal ausgepackt, habe Server 2022 und sämtliche benötigten Treiber drauf geschmissen, habe die GPU mit der „displaymodeselector.exe“ in den „gpumode“ und auch die Treiber noch geschwind mit „nvidia-smi.exe“ auf WDDM umgestellt und schon war dem Gerättle für den ersten Test fertig.

Sprich, als nächstes habe ich den Passmark Performance Test drauf geschmissen und alle Tests mal laufen lassen.

Als erstes kam der CPU Test und die Ergebnisse dieses sahen dank der beiden in dem Server verbauten INTEL Xeon Gold 6544Y schon mal nicht schlecht aus und als nächstes waren auch schon die 2D Tests dran und als ich die Ergebnisse der ersten gesehen habe … habe ich die Idee mit der Schampus-Flasche leider gleich wieder verwerfen müssen und bin statt dessen an meine Workstation gegangen und habe auf dieser ebenfalls den Passmarkt Performance Test angeschmissen, weil ich das was ich bei dem neuen und mit einer L40S bestückten Server an Ergebnissen zu sehen bekommen habe, nicht wirklich glauben konnte. 😬

Bevor ich jedoch zu den Ergebnissen selbst komme, folgend noch ein paar wesentliche Details, sowohl zu einem der neuen Server als auch zu meiner etwas älteren, aber noch nach wie vor ganz flinken Workstation.

Workstation:
CPU --> i9-9820X
RAM --> 128 GB
GPU --> NVIDIA RTX 2080 Ti

Server:
CPU --> 2 x INTEL Xeon Gold 6544Y
RAM --> 1,5 TB
GPU --> NVIDIA L40S

Von der Hardware gesehen, ist meine ältere Workstation der neuen Serverhardware somit in jeglicher Hinsicht absolut hoffnungslos unterlegen.

Daher hat es mich auch sehr gewundert, als ich bei den Grafiktests auf einem der neuen Server die folgenden Ergebnisse zu sehen bekommen habe.

2D:
l40s - 2d

3D:
l40s - 3d

Und hier zum Vergleich die Bewertung der RTX 2080 Ti in meiner Workstation.

2D:
rtx 2080 ti - 2d

3D:
rtx 2080 ti - 3d
(Und nein, die Screenshots/Ergebnisse sind nicht vertauscht. 🙃)

Wie ihr sehen könnt, hat die L40S gerade mal bei zwei Tests, dem „GPU Compute“ und dem „DirectX 12“ die Oberhand und bei allen anderen, ist sie der älteren und viel viel günstigeren RTX 2080 Ti, jedoch zum Teil extrem unterlegen. 😖

Nun zu den Fragen an die Runde:

Habe ich damit, dass eine L40S eine etwas bessere Grafikleistung bringen sollte, irgendwie eine falsche Erwartungshaltung?
Die RTX 2080 Ti ist immerhin schon etwa 5 Jahre alt und hat auch nur einen Bruchteil der L40S gekostet.

Habe ich noch irgendwo vielleicht eine wesentliche Handbremse übersehen?

Kann es sein, dass die L40S im „gpumode“ nur mit einem Bruchteil ihrer Ressourcen läuft?

Gruss Alex

Content-ID: 73401773944

Url: https://administrator.de/contentid/73401773944

Ausgedruckt am: 21.11.2024 um 13:11 Uhr

LordGurke
LordGurke 14.07.2024 um 19:10:00 Uhr
Goto Top
Ich weiß nicht, was und wie der Benchmark genau misst. Aber du kannst dir mal "Mandelbulber" besorgen und 3D-Fraktale in schön hoher Auflösung mit allen möglichen Effekten aktiviert rendern lassen — dann siehst du wahrscheinlich deutlichere Unterschiede (du musst allerdings händisch in den Einstellungen CUDA explizit aktivieren).
MysticFoxDE
MysticFoxDE 14.07.2024 aktualisiert um 22:31:39 Uhr
Goto Top
Moin @LordGurke,

Ich weiß nicht, was und wie der Benchmark genau misst.

der Passmark-Performancetest misst mitunter GPU typische Dinge die auch so bei Browsen, CAD Bearbeitung, Word, Excel und Co. vorkommen. Wir haben diesen schon sehr oft verwendet um z.B. CAD-Workstations zu optimieren.
Und die Ergebnisse davon, liessen sich bisher bei den entsprechenden Kunden auch weitestgehend 1:1 auf deren Anwendungen, respektiver deren Performance übertragen. 😁

Aber du kannst dir mal "Mandelbulber" besorgen und 3D-Fraktale in schön hoher Auflösung mit allen möglichen Effekten aktiviert rendern lassen — dann siehst du wahrscheinlich deutlichere Unterschiede (du musst allerdings händisch in den Einstellungen CUDA explizit aktivieren).

Die GPU's sollen aber nicht besonderes machen, sondern lediglich die GPU-Last von ca. 20 Terminal-Server auf denen > 250 User ackern, übernehmen, damit die CPU-Ressourcen der HV's nicht zu sehr mit dem GPU Kramm geschruppt werden.

Gruss Alex

P.S.: Ich habe schon so eine Befürchtung ... und zwar, dass ich wahrscheinlich auch bei dem Server 2022 dieselben Tweaks machen muss wie auch die Gamer bei Windows 11 damit ihre GraKa's wieder halbwegs Leistung bringen. 😔
MysticFoxDE
MysticFoxDE 15.07.2024 aktualisiert um 17:07:51 Uhr
Goto Top
Moin Zusammen,

folgend ein kleines Update und eines gleich im Vorweg ... ik hab en höllischen Puls und zwar ganz bestimmt nicht wegen der Hitze, da ich neben einer Klimaanlage sitze, sondern wegen ...

Zwischenstand:

2D:
l40s - 2d - teiloptimiert
!!! + ~200% !!!

3D:
l40s - 3d - teiloptimiert
!!! + ~100% !!!

😭🤢🤮😡🤬

Mal ganz ehrlich, welcher Schlaumeier ist herstellerseitig den bitte auf die Idee gekommen, selbst High-Performance Enterprise Systeme in einem beschissenen ECO Mode auszuliefern, bei dem man unter Volllast, stellenweise gerade mal ~20-25% der möglichen Leistung bekommt? 🤨

Und nein, die Frage geht nicht nur einen einen bestimmten Server-Hersteller, denn dieser Zustand betrifft mittlerweile so gut wie alle davon. 😡

Was soll dieser ganze ECO Bull-Shit?!?

Die Frage geht übrigens auch an Microsoft, denn euere Standard Performanceeistellungen eines modernen Serverbetriebssystems, sind nicht wirklich besser. 🤮
Ja, OK, wenn man es auf einem Notebook installiert, dann vielleicht schon. 😭

So, jetzt muss ich weiter tweaken, denn der Kunden benötigt seine Hardware so Schnell wie möglich und ich muss neben den GPU's auch noch ein U.2 SAN konfigurieren und vor allem auch dieses noch anständig durchtesten.

Gruss Alex
schwob93
schwob93 15.07.2024 um 17:59:47 Uhr
Goto Top
Hallo Alex,

Kannst du beschreiben was du geändert hast, nächste Woche sollen meine bestellten Server auch mit NVIDIA GPU kommen.

Danke
Patrick
MysticFoxDE
MysticFoxDE 15.07.2024 aktualisiert um 19:17:55 Uhr
Goto Top
Moin @schwob93,

Kannst du beschreiben was du geändert hast, nächste Woche sollen meine bestellten Server auch mit NVIDIA GPU kommen.

das was ich bisher schon verändert habe, kann ich dir und auch allen anderen natürlich schon verraten.

OS Technisch:
Energiesparplan von Ausbalanciert auf Höchstleistung geändert.

BIOS Technisch:
C6 State - deaktiviert
C1E State - deaktiviert
Package C State auf C0/C1 eingestellt
PP Tuning - auf BIOS umgestellt
CFG Mode - auf "Performance" gestellt

Das war bisher glaube ich das Gröbste, ich bin jedoch noch nicht gang fertig. 😔

Übrigens, die Einstellungen können je nach Serverhersteller etwas unterschiedlich heissen. 😬

Welche Server bekommst du den genau?

Gruss Alex
MysticFoxDE
MysticFoxDE 16.07.2024 um 10:08:31 Uhr
Goto Top
Moin @schwob93,

Kannst du beschreiben was du geändert hast, nächste Woche sollen meine bestellten Server auch mit NVIDIA GPU kommen.

noch ein kleiner Nachtrag.

Nur die Energieoptionen im OS auf Hochleistung zu stellen, ohne auch das BIOS zu optimieren, bringt genau 0 ... zumindest bei einem Server 2022. 😔😭

Sprich, ohne die korrekte Optimierung des entsprechenden Server-BIOS, gibt nur ein Bruchteil der GPU Performance. 🤢🤮

Ich hänge bei meinen Optimierungen gerade jedoch etwas fest, denn wenn ich die entsprechenden Einstellungen setze, dass die GPU anständig läuft, geht beim "Prime Numbers-CPU-Benchmark" die Performance um ~50% runter und beim "Physics-CPU-Benchmark" sogar um ~70%. 😬

Aber ja, das werde ich auch noch vollends rausfuchsen. 🤪

Gruss Alex
MysticFoxDE
MysticFoxDE 16.07.2024 um 10:41:51 Uhr
Goto Top
Moin Zusammen,

von NVIDIA selbst habe ich bisher nur die folgende Dokumentation zu der GPU gefunden ...

https://docs.nvidia.com/certification-programs/nvidia-certified-configur ...

pasted image 20240716103756

... die jedoch mit keiner Silbe die Einstellungen erwähnt, die ich bereits setzen musst, damit die L40S auch halbwegs performant läuft. 😔

Gruss Alex
schwob93
schwob93 16.07.2024 um 11:04:42 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin @schwob93,

Kannst du beschreiben was du geändert hast, nächste Woche sollen meine bestellten Server auch mit NVIDIA GPU kommen.

das was ich bisher schon verändert habe, kann ich dir und auch allen anderen natürlich schon verraten.

OS Technisch:
Energiesparplan von Ausbalanciert auf Höchstleistung geändert.

BIOS Technisch:
C6 State - deaktiviert
C1E State - deaktiviert
Package C State auf C0/C1 eingestellt
PP Tuning - auf BIOS umgestellt
CFG Mode - auf "Performance" gestellt

Das war bisher glaube ich das Gröbste, ich bin jedoch noch nicht gang fertig. 😔

Übrigens, die Einstellungen können je nach Serverhersteller etwas unterschiedlich heissen. 😬

Welche Server bekommst du den genau?

Gruss Alex

Nächste Woche müsste der kleine Lenovo SR630v3 mit a2 oder l4 kommen, ich kann’s leider nicht mehr genau sagen.
Das wird ein hart installierter 2022 RDS, bin ich mal gespannt wie die Performance ist aber ich hab ja nun ein paar Anhaltspunkte, vielen Dank.

Die HyperV Cluster habe ich bisher immer ohne GPU gemacht, wie reichst du die GPU über HyperV durch? Ich war bis jetzt auf dem stand, soll erst mit Hyp2025 richtig gehen, daher hab ich hier immer esx mit NVIDIA Grid eingesetzt.
MysticFoxDE
MysticFoxDE 16.07.2024 aktualisiert um 17:10:28 Uhr
Goto Top
Moin @schwob93,

Das wird ein hart installierter 2022 RDS, bin ich mal gespannt wie die Performance ist aber ich hab ja nun ein paar Anhaltspunkte, vielen Dank.

Den Bare-Metale-RDS kann ich gut verstehen, vor allem wenn man die Lizenzkosten für vGPU's noch mitberücksichtigt.
Der Kunde der die Systeme gekauft hat, musste schon ordentlich für die GPU's zahlen und über 50% davon, musste er nochmals oben drauf legen, damit er die 4 GPU's in 20 Häppchen aufteilen und an die VM's weiterreichen darf.
Und wenn er 40 VM's mit GPU zu bedienen hätte, würde er alleine für die Lizenzen mehr bezahlen müssen als für die GPU Hardware und das bei einer L40S. Bei günstigeren GPU's wird die Sache noch dramatischer, da die vGPU Lizenzen für alle GPU's gleich kosten. 🤢
Sprich, wenn du deine L4 auch als vGPU nutzen und diese an 20 VM's weitergeben möchtest, dann musst du über 5 Jahre ~25K an Lizenzkosten noch zu deiner etwa 3K teuren GPU mit dazurechnen und nein, das ist kein Scherz. 😔

Die HyperV Cluster habe ich bisher immer ohne GPU gemacht,

Wir auch, aber so langsam kommt die Zeit, wo die Kunden selbst aktiv nach GPU's fragen, da diese mittlerweile auch von immer mehr, selbst 0815-Software benötigt werden.

wie reichst du die GPU über HyperV durch?

Aufteilen und dann die Häppchen an die VM's mounten, ähnlich wie auch bei VMware.

Ich war bis jetzt auf dem stand, soll erst mit Hyp2025 richtig gehen, daher hab ich hier immer esx mit NVIDIA Grid eingesetzt.

Technisch geht das auch schon beim 2022er, das hatten wir schon vorher sichergestellt.
Die Verwaltung ist jedoch nicht wirklich sehr sexy, da nur per Power-Shell.
Der Kunde benötigt jedoch ASAP neue Ressourcen, daher auch jetzt der Zwischenschritt über den 2022er
und sobald der 2025er draussen ist und auch stabil läuft, heben wir das Cluster natürlich auf 2025 hoch.

Gruss Alex
MysticFoxDE
MysticFoxDE 30.07.2024 aktualisiert um 09:07:15 Uhr
Goto Top
Moin Zusammen,

folgend ein kleines Update.
Ich habe nun die optimale BIOS Konfiguration herausgefuchst, doch das war schon eine mindestens mittelschwere Geburt und wenn es dabei gehen würde, irgendwelche 2-3% herauszuholen, dann hätte ich diese auch schon längst abgebrochen. 🙃
Am Ende des Tages konnte ich jedoch durch eine massive BIOS Optimierung und lediglich der Umstellung der Energieoptionen des OS von "Ausbalanciert" auf "Höchstleistung", vor allem bei der GPU, eine Mehrleistung von bis zu !!! 388,37% !!! erzielen. 😔
Sprich, per Default wäre die L40S, stellenweise mit gerade mal ~20% ihrer möglichen Leistung gelaufen. 🤢🤮

NVIDIA selber hat mit diesem Problem aber nicht wirklich etwas zu tun, da ich nicht die GPU selber optimiert habe, sondern eigentlich nur die CPU's, den RAM und die PCIe-Schnittstellen aber nicht die GPU selber. 🙃

Folgend kann sich jeder von dem Unterschied selber überzeugen.

Default:
https://www.passmark.com/baselines/V11/display.php?id=214549715971

Optimiert:
https://www.passmark.com/baselines/V11/display.php?id=215683007142

@ Heise
So viel zu dem Thema, dass Optimierungen heutzutage so gut wie keine spürbare Verbesserungen bringen.
Und ja, ich habe euren Artikel zu dem Nutzen eines optimieren Windows gelesen ... 😔 ... und finde, dass ihr die letzten Jahre und vor allem beim Thema Systemperformance, ganz schön nachgelassen habt.

Ich musste bei der Optimierung des BIOS der entsprechenden Server jedoch einige Überraschungen erleben, wie z.B. die Tatsache, dass ich nun das BIOS in einer bestimmten Reihenfolge konfigurieren muss, damit die Parameter die ich gesetzt habe, auch wirklich so übernommen werden ... 😬 ... mehr Details versuche ich im Lauf der Woche oder wahrscheinlich eher Richtung WE hier zu posten, sprich, sobald ich etwas mehr Luft habe.

So und jetzt muss ich auch schon weiterflitzen.

Gruss Alex