mysticfoxde
Goto Top

RAM-Zugriff auf einem neuen High-Performance Server, teilweise um Welten langsamer als auf einer Workstation

Moin Zusammen,

mir ist gestern beim Optimieren eines neuen Servers eine Sonderheit aufgefallen, die ich mir so beim besten Willen, momentan absolut nicht erklären kann.

Und zwar ist die RAM Performance meiner fast zwei Jahre alten Workstation, teilweise um Faktoren besser, als die eines neuen High-Performance Servers. 🤔

Zu den Hardwaredetails.
Workstation (W10 21H1 ENT):
CPU: i9-9820X
RAM: 128GB DDR4 3200 (Quad Chanel Betrieb)
cpuz_workstation

Server (WS2019 1809 DATACENTER):
CPU: 2 x Xeon Gold 6254
RAM:1536GB DDR4 2999 (!!Hexa Chanel Betrieb!!)
cpuz_server

Zum Ermitteln der „Over All“ Performance habe ich einen PassMark Performance Test genommen.
Mir ist bewusst, dass es für Einzeldisziplinen noch bessere Benchmakprogramme gibt, mit dem Performance Test von PassMark bekomme ich jedoch aus einem Programm schnell eine Performanceübersicht über viele Bereiche (CPU/GPU/RAM/DISK) ohne dafür duzend von Einzelanwendungen laufen lassen zu müssen.

Das ich den Server gegen eine Workstation benchmarke war übrigens ein reiner Zufall, ich habe zuerst das Benchmarking gegen eine andere Baseline gemacht, die ich schon vor Monaten bei der Optimierung eines anderen Systems erstellt habe. Dabei ist mir jedoch aufgefallen, dass die RAM Performance an einigen Stellen viel geringer aussieht, als das was ich dem Letzt beim Benchmarken meiner Workstation gesehen habe. So habe ich kurzerhand den Benchmark auf der Workstation wiederholt, habe die Ergebnisse exportiert und diese zum besseren Vergleichen auf dem PerformanceTest, der auf dem Server läuft, wieder importiert.

Und die beiden folgende Ergebnisse bereiten mir das Kopfzerbrechen.

RAM Lesen ungepuffert:
read
Wie Ihr sehen könnt, kommt meine Workstation bei diesem Test auf 13755MB/s und der Server auf gerade mal 5366 MB/s. 😬

RAM Schreiben ungepuffert:
write
Bei Schreiben sieht es nicht besser aus. Die Workstation kommt bei diesem Test auf 15663MB/s, der Server kommt im Default auf 5772 MB/s. 🤢

Es ist beides Mal 1:1 derselbe Workload, daher verstehe ich absolut nicht, warum dieser auf der Workstation derart viel schneller ist, obwohl der RAM im Server, zwar technisch etwas langsamer ist (ca. 10%), dafür aber über eine 50% höhere Bandbreite angebunden ist (über beide CPU’s gesehen sind es sogar 200% mehr).

Hat jemand eine Idee warum das so ist?
Und vielleicht noch eine, wie man diesen Murks beseitigen kann?

Beste Grüsse aus BaWü

Alex

Content-ID: 1082958739

Url: https://administrator.de/contentid/1082958739

Ausgedruckt am: 21.11.2024 um 18:11 Uhr

Mystery-at-min
Mystery-at-min 24.07.2021 aktualisiert um 09:55:03 Uhr
Goto Top
Grundlagen der wissenschaftlichen Arbeit, Vergleichbarkeit so gut es geht herstellen. Mein Mathelehrer vor Dekaden nannte das mal Äpfel mit Birnen.

a) Beide Betriebssysteme auf einem Level halten -W10 vs W10 oder WS19 vs WS19
b) Kann das Benchmarktool mit den Leistungsfunktionen des Servers klar kommen oder gibt es ggf. sogar ein Problem mit "zu viel" Ram?
c) verzerrt zu viel Speicher das Ergebnis?
d) ECC vs non ECC?

... aber das sollte man eigentlich beim tunen wissen?
Vision2015
Vision2015 24.07.2021 um 10:00:36 Uhr
Goto Top
Guten Morgen,

was ist das für ein Server?
ich sehe du hast 1,5 TB Ram verbaut, bestücke mal nur mit 128 GB RAM und teste bitte!
je nach Server und RAM Modus bist du bei vollausbau bis zu 25 % langsamer...
ich hatte ähnliches Problem, was mit einm Bios Update behoben werde konnte...

Frank
MysticFoxDE
MysticFoxDE 24.07.2021 um 10:32:11 Uhr
Goto Top
Moin Mystery-at-min,

Grundlagen der wissenschaftlichen Arbeit, Vergleichbarkeit so gut es geht herstellen. Mein Mathelehrer vor Dekaden nannte das mal Äpfel mit Birnen.

Ein guter Wissenschaftler kann und sollte aus zwei Umgebungen die ähnlich aber nicht ganz gleich sind, aber auch Rückschlüsse ziehen können. 😉

a) Beide Betriebssysteme auf einem Level halten -W10 vs W10 oder WS19 vs WS19

Und warum sollte ein Client OS einen speicherintensiven Workload schneller händeln als ein Server OS, die auch noch zu >99% im Kernel identisch sind?

b) Kann das Benchmarktool mit den Leistungsfunktionen des Servers klar kommen oder gibt es ggf. sogar ein Problem mit "zu viel" Ram?

Theoretisch ja, praktisch kann der PerformanceTest den RAM jedoch zu 100% sehen und ich bin auch nicht der erste der einen Server mit 1,5TB RAM damit benchmarkt.

c) verzerrt zu viel Speicher das Ergebnis?
Theoretisch ja, praktisch dürfte das nicht sein.
Vor allem wegen Quad Chanel zu Hexa Chanel.

d) ECC vs non ECC?
Ja, ECC klaut etwas Performance, aber das sind +-5% und keine 60-70%.

... aber das sollte man eigentlich beim tunen wissen?

Ja, sollte man und noch vieles vieles mehr.
Unser System ist jetzt schon das Schnellste unter allen öffentlichen PassMark Baselines (selbe CPU Bestückung). 😎

Beste Grüsse aus BaWü

Alex
Mystery-at-min
Mystery-at-min 24.07.2021 aktualisiert um 10:42:28 Uhr
Goto Top
Ein guter Wissenschaftler kann und sollte aus zwei Umgebungen die ähnlich aber nicht ganz gleich sind, aber auch Rückschlüsse ziehen können. 😉

Inwiefern du die Vergleichbarkeit steigern kannst wurde oben durch mehrere Parteien genannt.

Wage es, installier auf der Workstation ein WS2019, pass den Speicher an.

Theoretisch ja, praktisch kann der PerformanceTest den RAM jedoch zu 100% sehen und ich bin auch nicht der erste der einen Server mit 1,5TB RAM damit benchmarkt.

Theoretisch konnten wir früher auch 4TB+ Festplatten sehen, nur einbinden war über eine gewisse Zeit ein massives Problem.

Theoretisch ja, praktisch dürfte das nicht sein.

wie falsifizierst du das theoretische ja?

Unser System ist jetzt schon das Schnellste unter allen öffentlichen PassMark Baselines (selbe CPU Bestückung). 😎

Das ist schön, aber irrelevant. Denn dir geht es schliesslich nicht darum ob es das schnellste ist, sondern warum es in Relation zur Workstation proportional langsam ist. Also wenn es dir nicht darum geht den "Dicken" zu markieren, sondern wirklich ums wissenschaftliche Ergebnis, warum ist es langsamer führt das zu obigen Kommentaren die du in die Prüfung/Testkonstellation überführen musst.

PS: Noch dazu sei angemerkt, dass auch fraglich ist, wer alles seine Testergebnisse in die öffentlichen Baselines schiebt. Den meisten geht es dann doch eher um den Effekt auf die Abarbeitung der Tätigkeiten als darauf die Rangliste anzuführen.
MysticFoxDE
MysticFoxDE 24.07.2021 um 10:44:29 Uhr
Goto Top
Moin Frank,

was ist das für ein Server?

ist ein Intel R2208WFTZSR, sprich A++ Brand. 😜

ich sehe du hast 1,5 TB Ram verbaut, bestücke mal nur mit 128 GB RAM und teste bitte!

Habe zuvor schon mit 1 TB (Quad Chanel) getestet und das brachte auch keine nenenswerte Veränderung ausser das die Werte noch grottiger geworden sind.
Wenn ich den Server mit 128GB bestücke, dass sind das ein Riegel pro CPU und dann läuft der RAM im Single Chanel.
Warum sollte das den besser sein?
Das widerspricht allem was ich bisher selbst gesehen und darüber auch gelesen habe.

je nach Server und RAM Modus bist du bei vollausbau bis zu 25 % langsamer...
ich hatte ähnliches Problem, was mit einm Bios Update behoben werde konnte...

Aufgrund eines BUG ja, ansonsten sollte mir bei einer Vollbestückung der Speicherbänke auch 100% der möglichen RAM-Bandbreite der CPU zur Verfügung stehen.

Siehe auch.
https://www.thomas-krenn.com/en/wiki/Optimize_memory_performance_of_Inte ...
ram_belegung

Beste Grüsse aus BaWü

Alex
Lochkartenstanzer
Lochkartenstanzer 24.07.2021 um 10:55:58 Uhr
Goto Top
Moin,

mehr Speicher, insbesondere 1,5TB verhält sich anders als 128GB. da treten dann Effekte auf, die man mit wenig Speicher gar nicht hat.

Auch ist es auf Server so, daß man ggf die volle Bandbreite erst nutzen kann, wenn man entsprechend viele Zugrifffe parallel macht und nicht nur als Einzelthread. Du solltet prüfen, ob Dein Benchmark auch alle Cores auslastet. Das ist wie mit 500PS unter der Haube. Sowohl ein Porsche Taycan als auch ein Fendt 1050 Vario haben 500PS. Aber je nachdem, welche Disziplin Du nimmst, hat mal der eine und mal der andere "bessere Werte".

lks
MysticFoxDE
MysticFoxDE 24.07.2021 aktualisiert um 10:58:55 Uhr
Goto Top
Moin Mystery-at-min,

Ein guter Wissenschaftler kann und sollte aus zwei Umgebungen die ähnlich aber nicht ganz gleich sind, aber auch Rückschlüsse ziehen können. 😉

Inwiefern du die Vergleichbarkeit steigern kannst wurde oben durch mehrere Parteien genannt.

Wage es, installier auf der Workstation ein WS2019, pass den Speicher an.

Und was soll sich deiner Ansicht nach danach verändern und vor allem das WARUM würde mich auf der technischen Ebene schon sehr interessieren?

Theoretisch ja, praktisch kann der PerformanceTest den RAM jedoch zu 100% sehen und ich bin auch nicht der erste der einen Server mit 1,5TB RAM damit benchmarkt.

Theoretisch konnten wir früher auch 4TB+ Festplatten sehen, nur einbinden war über eine gewisse Zeit ein massives Problem.

Ich habe mit der IT übrigens noch um einiges früher angefangen. 😉

Theoretisch ja, praktisch dürfte das nicht sein.

wie falsifizierst du das theoretische ja?

Wenn dein Auto theoretisch 200PS hätte und du praktisch nur 50 abrufen könntest, dann würdest du das also nicht hinterfragen? 🤨

Unser System ist jetzt schon das Schnellste unter allen öffentlichen PassMark Baselines (selbe CPU Bestückung). 😎

Das ist schön, aber irrelevant. Denn dir geht es schliesslich nicht darum ob es das schnellste ist, sondern warum es in Relation zur Workstation proportional langsam ist.

👍👍👍
Aber bitte auf der technischen und nicht der philosophischen Ebene. 😉

Also wenn es dir nicht darum geht den "Dicken" zu markieren, sondern wirklich ums wissenschaftliche Ergebnis, warum ist es langsamer führt das zu obigen Kommentaren die du in die Prüfung/Testkonstellation überführen musst.

PS: Noch dazu sei angemerkt, dass auch fraglich ist, wer alles seine Testergebnisse in die öffentlichen Baselines schiebt. Den meisten geht es dann doch eher um den Effekt auf die Abarbeitung der Tätigkeiten als darauf die Rangliste anzuführen.

Mir gings es bei der Aussage nicht darum den Dicken zu markieren, sondern eher darum, dass auch die anderen vergleichbaren Serversysteme deren Benchmarkergebnisse ich zum Vergleich online abrufen kann, an dieser Ecke warum auch immer auch nicht besser sind.

Beste Grüsse aus BaWü

Alex
Lochkartenstanzer
Lochkartenstanzer 24.07.2021 um 11:09:47 Uhr
Goto Top
Zitat von @MysticFoxDE:

Mir gings es bei der Aussage nicht darum den Dicken zu markieren, sondern eher darum, dass auch die anderen vergleichbaren Serversysteme deren Benchmarkergebnisse ich zum Vergleich online abrufen kann, an dieser Ecke warum auch immer auch nicht besser sind.


Es gibt da einen Spruch aus der Elektrotechnik: "Wer mißt, mißt Mist!" (gesprochen kommt das besser rüber).

Man sollte erst schauen, ob die Meßmethode geeignet ist, das zu messen, was man beabsichtigt. In Deinem fall wäre Erstmal zu schauen, welche Speicherperformance der Benchmark denn genau mißt und wie diese zusammenkommt. Erst dann kann man die Meßergebnisse bewerten. Ansonsten sind alle Benchmarks nur Schätzeisen, die zwar einen Anhaltspunkt liefern können, aber auch manchmal komplett danebenliegen.

Um mal meinen vergleiche von oben zu nehmen: Wenn Du Geschwindigtkeit alleine mißt, ist der Porsche eindeutig schneller, selbst einer mit deutlich geringeren Leistung, weil der Fendt nur 8060km/h schafft. Aber wenn Du die dabei transportierte Last mitberücksichtigst, sieht der Taycan plötzlich sehr schlecht aus, selbst mit 500PS.

So ähnlich ist es auch mit dem Speicher. Solange Du nur wenige GB durch die Gegend schiebst ist Deine Workstation schneller, Aber die Vorteile Deines Servers kommen vermutich erst dann zu tragen, wenn Du sehr viele Threads mit sehr viel GB-Schaufelei hast.

Deswegen solltest Du vielleicht mal schauen, ob es einen geeigneteren Benchmark gibt.

lks
Mystery-at-min
Mystery-at-min 24.07.2021 um 11:10:23 Uhr
Goto Top
Wenn dein Auto theoretisch 200PS hätte und du praktisch nur 50 abrufen könntest, dann würdest du das also nicht hinterfragen?

wenn meines Nachbars identisches bei 200PS die 200PS abrufen kann und ich nicht, ja. Wenn es sich wie beim Fendt Vergleich verhält gilt es entsprechende Anpassungen vorzunehmen oder es eben stehen zu lassen. Nicht jeder Test Algorhythmus eignet sich für jedes zu bewertende Szenario.

Eine Workstation hat im Zweifel andere Anwendungsfälle als ein Server und darauf ist dessen Leistung optimiert.
MysticFoxDE
MysticFoxDE 24.07.2021 um 11:13:04 Uhr
Goto Top
Moin Lks,

mehr Speicher, insbesondere 1,5TB verhält sich anders als 128GB. da treten dann Effekte auf, die man mit wenig Speicher gar nicht hat.

😧, OK ist ja gut, ich sehe schon, ich komme nicht drumherum etwas praktisches RAM-Domino zu spielen um mal wieder die Theorie auch wirklich durch harte Praxis zu belegen.

Auch ist es auf Server so, daß man ggf die volle Bandbreite erst nutzen kann, wenn man entsprechend viele Zugrifffe parallel macht und nicht nur als Einzelthread. Du solltet prüfen, ob Dein Benchmark auch alle Cores auslastet. Das ist wie mit 500PS unter der Haube. Sowohl ein Porsche Taycan als auch ein Fendt 1050 Vario haben 500PS. Aber je nachdem, welche Disziplin Du nimmst, hat mal der eine und mal der andere "bessere Werte".

Ich weis, dass die Server erst bei parallelen Zugriffen ihre volle Leistung entfalten können, aber darum geht es mir nicht.
Der PassMark PerformanceTest macht bei RAM Test etwas absolut simples. Bei lesen liest dieser 512 MB grosse Blöcke aus dem RAM und bei schreiben geht's eben in die umgekehrte Richtung. Nicht spannendes, einfach nur Daten in RAM rein und wieder raus lesen, ist jetzt auch keine Hexenwissenschaft.

Und genau dieser einfache Prozess/Workload (Single Thread), wird von meiner Workstation viel schneller abgearbeitet als von dem Server, obwohl weder dessen RAM noch CPU, der der Workstation sonderlich unterlegen sind. 🤔

Beste Grüsse aus BaWü

Alex
Vision2015
Vision2015 24.07.2021 um 11:19:13 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Frank,

was ist das für ein Server?

ist ein Intel R2208WFTZSR, sprich A++ Brand. 😜

ich sehe du hast 1,5 TB Ram verbaut, bestücke mal nur mit 128 GB RAM und teste bitte!

Habe zuvor schon mit 1 TB (Quad Chanel) getestet und das brachte auch keine nenenswerte Veränderung ausser das die Werte noch grottiger geworden sind.
Wenn ich den Server mit 128GB bestücke, dass sind das ein Riegel pro CPU und dann läuft der RAM im Single Chanel.
Warum sollte das den besser sein?
nicht besser, sondern anders.... dann natürlich mit 265 usw...
Das widerspricht allem was ich bisher selbst gesehen und darüber auch gelesen habe.
ich glaube nur, was ich selber getestet habe, und nicht was ich irgendwo gelesen habe.....

je nach Server und RAM Modus bist du bei vollausbau bis zu 25 % langsamer...
ich hatte ähnliches Problem, was mit einm Bios Update behoben werde konnte...

Aufgrund eines BUG ja, ansonsten sollte mir bei einer Vollbestückung der Speicherbänke auch 100% der möglichen RAM-Bandbreite der CPU zur Verfügung stehen.
kannst du mit sicherheit einen BUG ausschließen?
ich bin mir nicht mal sicher ob CPU-Z gescheit 1,5 TB messen kann.... ich würde zum vergleich unter Linux Testen.


Beste Grüsse aus BaWü

Alex

Frank
Vision2015
Vision2015 24.07.2021 aktualisiert um 11:28:12 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Lks,

mehr Speicher, insbesondere 1,5TB verhält sich anders als 128GB. da treten dann Effekte auf, die man mit wenig Speicher gar nicht hat.

😧, OK ist ja gut, ich sehe schon, ich komme nicht drumherum etwas praktisches RAM-Domino zu spielen um mal wieder die Theorie auch wirklich durch harte Praxis zu belegen.
sach ich doch face-smile
es wird schon unterschiede geben, ob du 8,16, 32,oder 64 GB Module nutzt!

Auch ist es auf Server so, daß man ggf die volle Bandbreite erst nutzen kann, wenn man entsprechend viele Zugrifffe parallel macht und nicht nur als Einzelthread. Du solltet prüfen, ob Dein Benchmark auch alle Cores auslastet. Das ist wie mit 500PS unter der Haube. Sowohl ein Porsche Taycan als auch ein Fendt 1050 Vario haben 500PS. Aber je nachdem, welche Disziplin Du nimmst, hat mal der eine und mal der andere "bessere Werte".

Ich weis, dass die Server erst bei parallelen Zugriffen ihre volle Leistung entfalten können, aber darum geht es mir nicht.
Der PassMark PerformanceTest macht bei RAM Test etwas absolut simples. Bei lesen liest dieser 512 MB grosse Blöcke aus dem RAM und bei schreiben geht's eben in die umgekehrte Richtung. Nicht spannendes, einfach nur Daten in RAM rein und wieder raus lesen, ist jetzt auch keine Hexenwissenschaft.
richtig.... und ich bin überzeugt das du sogar unter Linux andere werte bekommen wirst!

Und genau dieser einfache Prozess/Workload (Single Thread), wird von meiner Workstation viel schneller abgearbeitet als von dem Server, obwohl weder dessen RAM noch CPU, der der Workstation sonderlich unterlegen sind. 🤔

Beste Grüsse aus BaWü

Alex

Frank
MysticFoxDE
MysticFoxDE 24.07.2021 aktualisiert um 11:57:25 Uhr
Goto Top
Moin Frank,

nicht besser, sondern anders.... dann natürlich mit 265 usw...
kommt, habe noch etwas Geduld. 😉

Das widerspricht allem was ich bisher selbst gesehen und darüber auch gelesen habe.
ich glaube nur, was ich selber getestet habe, und nicht was ich irgendwo gelesen habe.....

Ich auch nicht, daher habe ich auch schon mit Dual-Chanel getestet und das hat auch nichts gebracht.
Aber wie schon geschrieben, ich werde gleich, wenn der aktuelle Testlauf durch ist, einen exzessiven RAM Chanel Test machen. 🤪

je nach Server und RAM Modus bist du bei vollausbau bis zu 25 % langsamer...
ich hatte ähnliches Problem, was mit einm Bios Update behoben werde konnte...

Aufgrund eines BUG ja, ansonsten sollte mir bei einer Vollbestückung der Speicherbänke auch 100% der möglichen RAM-Bandbreite der CPU zur Verfügung stehen.
kannst du mit sicherheit einen BUG ausschließen?

Jain 😁

ich bin mir nicht mal sicher ob CPU-Z gescheit 1,5 TB messen kann.... ich würde zum vergleich unter Linux Testen.

Hier geht es um PassMark und ja, ich teste nebenher noch mit CPU-Z (nur CPU) und auch mit AIDA64 (CPU & RAM).
Die letzteren Beiden gehen jedoch eher per Multithreading auf die Maximallast und PassMark ermittelt +- die SingleTread Leistung und um genau diese, geht es mir hier im Wesentlichen auch auch.

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 24.07.2021 um 11:54:15 Uhr
Goto Top
Moin Mystery-at-min,

Ein guter Wissenschaftler kann und sollte aus zwei Umgebungen die ähnlich aber nicht ganz gleich sind, aber auch Rückschlüsse ziehen können. 😉

Inwiefern du die Vergleichbarkeit steigern kannst wurde oben durch mehrere Parteien genannt.

Wage es, installier auf der Workstation ein WS2019, pass den Speicher an.

Theoretisch ja, praktisch kann der PerformanceTest den RAM jedoch zu 100% sehen und ich bin auch nicht der erste der einen Server mit 1,5TB RAM damit benchmarkt.

Theoretisch konnten wir früher auch 4TB+ Festplatten sehen, nur einbinden war über eine gewisse Zeit ein massives Problem.

Theoretisch ja, praktisch dürfte das nicht sein.

wie falsifizierst du das theoretische ja?

Unser System ist jetzt schon das Schnellste unter allen öffentlichen PassMark Baselines (selbe CPU Bestückung). 😎

Das ist schön, aber irrelevant. Denn dir geht es schliesslich nicht darum ob es das schnellste ist, sondern warum es in Relation zur Workstation proportional langsam ist. Also wenn es dir nicht darum geht den "Dicken" zu markieren, sondern wirklich ums wissenschaftliche Ergebnis, warum ist es langsamer führt das zu obigen Kommentaren die du in die Prüfung/Testkonstellation überführen musst.

PS: Noch dazu sei angemerkt, dass auch fraglich ist, wer alles seine Testergebnisse in die öffentlichen Baselines schiebt. Den meisten geht es dann doch eher um den Effekt auf die Abarbeitung der Tätigkeiten als darauf die Rangliste anzuführen.

Zur Info:

https://community.spiceworks.com/topic/2225989-server-2019-network-perfo ...
bis aktuell
https://community.spiceworks.com/topic/2225989-server-2019-network-perfo ...
+
Hyper V Server 2019, Gast Server 2016, Intel X722, langsame ext. Netzwerkanbindung

Somit weis ich hoffentlich schon was ich da tue. 🙃
Meistens zumindest. 🤪


Beste Grüsse aus BaWü

Alex
StefanKittel
StefanKittel 24.07.2021 um 11:55:16 Uhr
Goto Top
Zitat von @MysticFoxDE:
😧, OK ist ja gut, ich sehe schon, ich komme nicht drumherum etwas praktisches RAM-Domino zu spielen um mal wieder die Theorie auch wirklich durch harte Praxis zu belegen.
Du solltest auch mal einen Test mir nur 1 CPU durchführen.
Wenn Dein Test Single-Threaded ist, kann er auf die andere Hälte des RAMs nur über Umwege zugreifen.
Vieleicht ist das schon Dein Problem.

Stefan
MysticFoxDE
MysticFoxDE 24.07.2021 um 12:00:48 Uhr
Goto Top
Moin Stefan,

😧, OK ist ja gut, ich sehe schon, ich komme nicht drumherum etwas praktisches RAM-Domino zu spielen um mal wieder die Theorie auch wirklich durch harte Praxis zu belegen.
Du solltest auch mal einen Test mir nur 1 CPU durchführen.
Wenn Dein Test Single-Threaded ist, kann er auf die andere Hälte des RAMs nur über Umwege zugreifen.
Vieleicht ist das schon Dein Problem.

habe ich auch schon in Betracht gezogen.
Ich kann beim PassMark Performance Test jedoch auch einen erweiterten RAM Test machen und hierbei explizit auf NUMA einschränken. Mach die Sache leider auch nicht besser.

Gruss Alex
Mystery-at-min
Mystery-at-min 24.07.2021 um 13:51:03 Uhr
Goto Top
hat doch mit dem Problem nun wenig zu tun? Du stehst vor einem Problem, willst du die Anmerkung aufgreifen? Dann tus, wirf die Ergebnisse rein, wenn nicht, dann nicht. Sorry, aber das klingt doch schon ein wenig danach den "dicken" raushängen zu lassen. Musst das...?
Vision2015
Vision2015 24.07.2021 um 14:01:26 Uhr
Goto Top
Zitat von @Mystery-at-min:

hat doch mit dem Problem nun wenig zu tun? Du stehst vor einem Problem, willst du die Anmerkung aufgreifen? Dann tus, wirf die Ergebnisse rein, wenn nicht, dann nicht. Sorry, aber das klingt doch schon ein wenig danach den "dicken" raushängen zu lassen. Musst das...?

wiso den "dicken" raushängen lassen? und vor allem wobei?

Frank
MysticFoxDE
MysticFoxDE 24.07.2021 aktualisiert um 14:47:25 Uhr
Goto Top
Moin Frank,
Moin Lks,

Auch ist es auf Server so, daß man ggf die volle Bandbreite erst nutzen kann, wenn man entsprechend viele Zugrifffe parallel macht und nicht nur als Einzelthread. Du solltet prüfen, ob Dein Benchmark auch alle Cores auslastet. Das ist wie mit 500PS unter der Haube. Sowohl ein Porsche Taycan als auch ein Fendt 1050 Vario haben 500PS. Aber je nachdem, welche Disziplin Du nimmst, hat mal der eine und mal der andere "bessere Werte".

Ich weis, dass die Server erst bei parallelen Zugriffen ihre volle Leistung entfalten können, aber darum geht es mir nicht.
Der PassMark PerformanceTest macht bei RAM Test etwas absolut simples. Bei lesen liest dieser 512 MB grosse Blöcke aus dem RAM und bei schreiben geht's eben in die umgekehrte Richtung. Nicht spannendes, einfach nur Daten in RAM rein und wieder raus lesen, ist jetzt auch keine Hexenwissenschaft.
richtig.... und ich bin überzeugt das du sogar unter Linux andere werte bekommen wirst!

noch eine kleine Anmerkung zu dieser Passage.

Die Multithread-Leistung ist beim Server selbstverständlich auch wichtig, die Singlethread Leistung bleibt in den meisten Anwendungsfällen jedoch das Wesentlichere.

Einen normalen User interessiert es absolut nicht, ob das neue System welches sich sein Arbeitgeber angeschafft hat, theoretisch nun die doppelte Anzahl Tasks parallel fahren kann, bevor die CPU die 100% erreicht.

Wenn die eine Singlethread Applikation, die er täglich hauptsächlich benutzt, auf dem neuen System auf einmal doppelt so lange benötigt, weil dessen Singlethreadleistung geringer ist als die des vorherigen Systems, dann hopft er dir als Admin trotz deines neuen Multithreading Monsters, dennoch ordentlich mit Anlauf ins Genick. Und kurze Zeit später auch die GL.

Daher, parallel heisst noch lange nicht schneller.

Beste Grüsse aus BaWü

Alex
Mystery-at-min
Mystery-at-min 24.07.2021 um 16:23:59 Uhr
Goto Top
Ich weiß nicht wieso du deinen eigenen Beitrag so auf Abwegen führst. Einen solchen Server kauft man normal nicht für Single Thread Handling. Schon deswegen weil doppelte CPU und viele cores. Da lohnen sich weniger Cores und Single CPU mehr p/l.

Zu dem du möchtest zig Tonnen von a nach b bringen, Kauf einen Truck. Du möchtest in für Geschwindigkeit von a nach b, Kauf dir einen Sportwagen.

Was machen die Ergebnisse?
Lochkartenstanzer
Lochkartenstanzer 24.07.2021 aktualisiert um 16:56:07 Uhr
Goto Top
Zitat von @MysticFoxDE:

noch eine kleine Anmerkung zu dieser Passage.

Die Multithread-Leistung ist beim Server selbstverständlich auch wichtig, die Singlethread Leistung bleibt in den meisten Anwendungsfällen jedoch das Wesentlichere.

Einen normalen User interessiert es absolut nicht, ob das neue System welches sich sein Arbeitgeber angeschafft hat, theoretisch nun die doppelte Anzahl Tasks parallel fahren kann, bevor die CPU die 100% erreicht.

Wenn die eine Singlethread Applikation, die er täglich hauptsächlich benutzt, auf dem neuen System auf einmal doppelt so lange benötigt, weil dessen Singlethreadleistung geringer ist als die des vorherigen Systems, dann hopft er dir als Admin trotz deines neuen Multithreading Monsters, dennoch ordentlich mit Anlauf ins Genick. Und kurze Zeit später auch die GL.

Daher, parallel heisst noch lange nicht schneller.

Nun machst Du aber ein ganz anders Faß auf. Die meisten Server die ich kenne, werden nicht wegen der Singlethreaded-Leistung gekauft, sondern weil da viele Leute gleichzeitig Ihre Arbeit in annehmbarer Zeit erledigen können (z.B. Terminalserver). Wenn man einzelnen User viel Leistun geben will, stellt man denen Workstations hin oder wenn das ganz doch auf dem Server passieren soll, dann andere Serverarchitektur, die auf Singlethreaded-Leistung statt auf Multithreaded optimiert ist.

Es ist wie mit dem (hinkenden) Autobeispiel. Wenn viele Leute gleichzeitig von A nach B kommen sollen nimmt man Busse. Wenn dies aber zeitkritisch ist, also sehr schnell gehen muß, nimmt man Kleinbusse oder gar PKW, die aber weil man mehr davon braucht, teurer sind als der ganz große Bus.


Die frage ist doch, für welchen Einsatzzweck der Server gedacht ist? Virtualisierungserver für ganz viele VMs, die sich in den 1,5TB RAM austoben dürfen oder als Datenbankserver der alles im Speicher hält oder als "Numbercruncher" (oder gar was ganz anderes). Dementsprechend wäre zu eruieren, ob der Server das passende für die Anwendung ist.

lks
Grinskeks
Grinskeks 24.07.2021 um 18:44:55 Uhr
Goto Top
Moin,

vielleicht hilft es ja, mit dem Intel Memory Latency Checker etwas tiefer zu graben.
Beispiele:

Bandbreite
  • mlc –max_bandwidth
  • mlc –peak_injection_bandwidth

Latenz
  • mlc –idle_latency
  • mlc –loaded_latency

Burn-In Tests wie Prime95 Torture Test wurden gemacht?

Rein rechnerisch sollte die Bandbreite deutlich höher sein. Der Verdacht eines Speicherkonfliktes liegt nahe.

Gruß Grinskeks


Gruß
Grinskeks
MysticFoxDE
MysticFoxDE 24.07.2021 um 18:49:30 Uhr
Goto Top
Ich weiß nicht wieso du deinen eigenen Beitrag so auf Abwegen führst.

Ich bin nicht auf Abwegen, vielleicht kannst du meinem Weg einfach nur (noch) nicht richtig folgen.

Einen solchen Server kauft man normal nicht für Single Thread Handling. Schon deswegen weil doppelte CPU und viele cores. Da lohnen sich weniger Cores und Single CPU mehr p/l.

Du kannst deine Server von mir aus nur für Multi-Thread-Handling kaufen, ich baue für meine Kunden hingegen welche, die beides sehr gut beherrschen müssen. Und das mache ich übrigens nicht nur aus Lust und Laune oder um den "dicken" zu markieren, sondern weil ich einige dieser Kunden und somit auch deren Anforderungen, seit über 20 Jahren kenne. 😉

Zu dem du möchtest zig Tonnen von a nach b bringen, Kauf einen Truck. Du möchtest in für Geschwindigkeit von a nach b, Kauf dir einen Sportwagen.

Und deswegen habe ich früher auch viel lieber an Computer geschraubt und nicht an Autos, da muss man unter anderem z.B. keinen Luftwiderstand beim Fahren berücksichtigen. 😜

Was machen die Ergebnisse?

Geduld du musst haben. 😉
MysticFoxDE
MysticFoxDE 24.07.2021 um 19:00:30 Uhr
Goto Top
Moin Grinskeks,

vielleicht hilft es ja, mit dem Intel Memory Latency Checker etwas tiefer zu graben.
Beispiele:

Bandbreite
  • mlc –max_bandwidth
  • mlc –peak_injection_bandwidth

Latenz
  • mlc –idle_latency
  • mlc –loaded_latency

Danke für den Tip, den Intel Memory Latency Checker hatte ich bisher noch nicht auf dem Schirm.

Burn-In Tests wie Prime95 Torture Test wurden gemacht?

Einen Prime Test hat PassMark bereits onboard.

Rein rechnerisch sollte die Bandbreite deutlich höher sein. Der Verdacht eines Speicherkonfliktes liegt nahe.

Genau das ist auch mein Problem, rein rechnerisch/datenblattechnisch müsste die Leistung des Servers-RAM’s, deutlich höher sein.

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 24.07.2021 aktualisiert um 19:30:25 Uhr
Goto Top
Moin Lks,
Nun machst Du aber ein ganz anders Faß auf.

Warum?
Ich bin eigentlich immer noch bei der RAM-Single-Thread-Leistung meines Servers und erkläre gerade nur, warum mir diese auch sehr wichtig ist.

Die meisten Server die ich kenne, werden nicht wegen der Singlethreaded-Leistung gekauft.

Das glaube ich dir aufs Wort.
Dazu hätte ich ne kleine Frage.

Welche der folgenden CPU’s würdest du für einen Server (Hypervisor/Mixbetrieb) eher bevorzugen?
A: 6 Cores mit a 4 GHz
B: 12 Cores mit a 2 GHz

Bitte die Auswahl auch kurz begründen, danke

Wenn man einzelnen User viel Leistun geben will, stellt man denen Workstations hin

Ja, und diese Workstations basieren ab einer bestimmten Leistungsklassen auf genau welchen Komponenten?

Es ist wie mit dem (hinkenden) Autobeispiel. Wenn viele Leute gleichzeitig von A nach B kommen sollen nimmt man Busse. Wenn dies aber zeitkritisch ist, also sehr schnell gehen muß, nimmt man Kleinbusse oder gar PKW, die aber weil man mehr davon braucht, teurer sind als der ganz große Bus.

Der Vergleich passt nicht so ganz.
Folgender ist vielleicht etwas besser.
Ich habe auf der rechten Seite (Server) eine sechsspurige Autobahn (Hexa Chanel) und möchte auf dieser mit einem bestimmten Fahrzeug (bestimmter Workload) schauen wie schnell dieses auf dieser fahren kann und erreiche hierbei ein V-Max. von 200 km/h. Nach der Testfahrt muss ich irgendwie zum Ausgangspunkt zurück, und nehme dazu natürlich die andere Autobahnseite (Workstation). Diese ist jedoch nur mit vier Spuren (Quad Chanel) ausgebaut und so wundere ich mich halt dann schon, dass dasselbe Fahrzeug auf dieser nun auf einmal ein V-Max von fast 450 km/h erreichen kann. (Die Autobahn ist in diesem Beispiel übrigens der RAM-Bus)


Die frage ist doch, für welchen Einsatzzweck der Server gedacht ist? Virtualisierungserver für ganz viele VMs, die sich in den 1,5TB RAM austoben dürfen oder als Datenbankserver der alles im Speicher hält oder als "Numbercruncher" (oder gar was ganz anderes). Dementsprechend wäre zu eruieren, ob der Server das passende für die Anwendung ist.

Der Server hat noch zwei Brüder und gemeinsam bilden diese eine nette Hyper-V-Cluster-Family für ca. 120 VM’s (Oracle, SQL, ERP, DMS, CRM, RDS & Co.).

Beste Grüsse aus BaWü

Alex
Mystery-at-min
Mystery-at-min 24.07.2021 um 19:40:25 Uhr
Goto Top
Jetzt spinnen wir die tollen Vergleiche nach und praktisch hast du in der IT Technik auch nur Physik.

In deinem Vergleich hast du mir weniger Breite auch weniger Luftwiderstand. Denn dein Vergleich hinkt, du fährst hin mit einem sechs spuren Breiten (und längeren!) Und gesicherten Kfz und zurück mit einem vierspuren breitem. Nennen wir es (Bus)Management Overhead. Aber das ist dir zu theoretisch ;)

Und nein du kannst ein System eben nicht für Multi und Single Thread Anwendung ohne Kompromisse optimieren. Das das gewünscht oder fehlgelaufen sein soll ist dein Problem.

Versteh auch nicht, dass du hier den input brauchst wenn du das doch so gut kannst.;)

Bei 120vms hast du am ende die Multi Thread Anforderungen. Also macht das Benchmark vermutlich keinen Sinn, ist am Ende also Spielerei. Würde sagen du erarbeitest jetzt mal die Zahlen :D.

Wer misst....
MysticFoxDE
MysticFoxDE 24.07.2021 aktualisiert um 20:08:44 Uhr
Goto Top
In deinem Vergleich hast du mir weniger Breite auch weniger Luftwiderstand. Denn dein Vergleich hinkt, du fährst hin mit einem sechs spuren Breiten (und längeren!) Und gesicherten Kfz und zurück mit einem vierspuren breitem. Nennen wir es (Bus)Management Overhead. Aber das ist dir zu theoretisch ;)

Nein, eher zu unlogisch.
Ich habe doch schon X Mal gesagt, dass es mir explizit um einen bestimmten Workload geht, und dieser wechselt zwischen den Autobahnseiten nicht mal so seine "Kerneigenschaften". 😉

Und nein du kannst ein System eben nicht für Multi und Single Thread Anwendung ohne Kompromisse optimieren. Das das gewünscht oder fehlgelaufen sein soll ist dein Problem.

Urteile bitte nicht über Dinge, die du weder kennst noch zu verstehen vermagst, danke.

Versteh auch nicht, dass du hier den input brauchst wenn du das doch so gut kannst.;)

Weil ich vielleicht etwas übersehen habe, aber so wie es aussieht hats du auch keine bessere Brille.

Bei 120vms hast du am ende die Multi Thread Anforderungen. Also macht das Benchmark vermutlich keinen Sinn, ist am Ende also Spielerei. Würde sagen du erarbeitest jetzt mal die Zahlen :D.

Wenn du in deinem Leben solche Benchmarks schon mal wissenschaftlich und gewissenhaft erstellt hättest, dann würdest du jetzt nicht die ganze Zeit hetzen. 😉
Mystery-at-min
Mystery-at-min 24.07.2021 um 20:13:24 Uhr
Goto Top
Ich habe doch schon X Mal gesagt, dass es mir explizit um einen bestimmten Workload geht, und dieser wechselt zwischen den Autobahnseiten nicht mal so seine "Kerneigenschaften". 😉

Dann ist dein KFZ vielleicht einfach das falsche und das wurde oben schon von mehreren angeführt.

Wenn du in deinem Leben solche Benchmarks schon mal wissenschaftlich und gewissenhaft erstellt hättest, dann würdest du jetzt nicht die ganze Zeit hetzen. 😉

Hetzen? Ich hinterfrage einfach nur, was das mehr und mehr widersprüchliche (merkten auch mehrere an) soll. Aber dann klär uns auf, DU solltest doch wissen, was das Ziel ist, durch Äpfel vs Birnen Vergleiche wird das aber nicht klar.

Also, du erwartest, dass ein LKW mit größerer Last die gleiche Vmax erreicht wie ein Sportwagen? face-wink Wie unlogisch das ist, dürfte klar sein.

Und wenn das Bild mies ist wird es nicht besser durch eine bessere Brille.
Vision2015
Vision2015 24.07.2021 aktualisiert um 20:16:46 Uhr
Goto Top
Zitat von @MysticFoxDE:


Dazu hätte ich ne kleine Frage.

Welche der folgenden CPU’s würdest du für einen Server (Hypervisor/Mixbetrieb) eher bevorzugen?
A: 6 Cores mit a 4 GHz
B: 12 Cores mit a 2 GHz
also nur aus der sicht von Oracle, würde ich A: 6 Cores mit a 4 GHz wählen wollen!
jetzt verstehe ich auch dein Problem mit dem speicher durchsatz...
für den Rest natürlich B:
haben alle 3 Server die gleichen werte?


Beste Grüsse aus BaWü

Alex
Frank
MysticFoxDE
MysticFoxDE 24.07.2021 aktualisiert um 21:06:54 Uhr
Goto Top
Moin Frank,

Welche der folgenden CPU’s würdest du für einen Server (Hypervisor/Mixbetrieb) eher bevorzugen?
A: 6 Cores mit a 4 GHz
B: 12 Cores mit a 2 GHz
also nur aus der sicht von Oracle, würde ich A: 6 Cores mit a 4 GHz wählen wollen!
jetzt verstehe ich auch dein Problem mit dem speicher durchsatz...

👍👍👍

Aber auch ein MS-SQL oder ein MySQL oder ein Exchange und selbst eine RDS Umgebung würde von A mehr profitieren wie von B.

Das ist auch der Grund, warum ein Xeon Gold 6338 (32C/2GHz) 2612,- $ Liste kostet und ein Xeon Gold 6346 (16C/3,1GHz) mit 2300,- $ Liste nicht viel günstiger ist.
Rein rechnerisch bezahlst du beim 6338 40,41 $/GHz und beim 6346 sind es 46,37 $/GHz und das obwohl der 6338 von der Architektur her, komplexer ist. 😉

haben alle 3 Server die gleichen werte?

Aber klar, sind Cluster-Nodes für dasselbe Cluster und ich hasse aus diversesten Gründen eine ungleiche Nodebestückung.

Beste Grüsse aus BaWü

Alex
C.R.S.
C.R.S. 24.07.2021 um 21:22:39 Uhr
Goto Top
Hi,

um die Vergleichbarkeit herzustellen, müssten bei Windows 10 zumindest die Speicherkompression abgeschaltet und das Prozessortiming auf Hintergrunddienste gestellt werden. Da es dann immernoch zwei verschiedene Kernel-Versionen sind, könnte sich eine Server-Installation auf der Workstation schon lohnen.

Grüße
Richard
StefanKittel
StefanKittel 24.07.2021 um 23:06:56 Uhr
Goto Top
Hallo,

mal eine gemeine Frage: Kann die Antwort auf diese Frage Dir helfen?

A) Es ist ein "Anzeigeproblem" aufgrund der Art wie dieser Test funktioniert und der Server ist im Betrieb normal schnell.
Dann musst Du nix machen.

B1) Es ist kein Anzeigeproblem, aber es hat auf den Betrieb keine Auswirkung
Dann musst Du nix machen.

B2) Es ist kein Anzeigeproblem und es hat Auswirkungen weil der Server langsammer ist als der alte Server.
Was tun? Außer ärgern?
Den Server zurückgeben wirst Du vermutlich nicht können.
Es ist auch nicht wahrscheinlich, dass es eine Bios/Windows/Treiber-Einstellung giebt die solch dramatische Auswirkungen hat.

Stefan
MysticFoxDE
MysticFoxDE 24.07.2021 um 23:31:47 Uhr
Goto Top
Moin Richard,

um die Vergleichbarkeit herzustellen, müssten bei Windows 10 zumindest die Speicherkompression abgeschaltet

jup, habe ich schon gemacht bring aber keine wesentliche Leistungsveränderung.

und das Prozessortiming auf Hintergrunddienste gestellt werden.

nicht ganz, der Performance Test läuft ja nicht als Dienst, daher habe ich auf dem Server die Priorisierung auch auf Programme gestellt, so wie es bei W10 auch der Fall ist.

Da es dann immernoch zwei verschiedene Kernel-Versionen sind, könnte sich eine Server-Installation auf der Workstation schon lohnen.

Der Kernel vom Server 2019 ist zu > 99% identisch mit dem Kernel von Windows 10 1809, auf W10 ist dieser lediglich etwas kastriert(😬). 🙃

Beste Grüsse aus BaWü

Alex
StefanKittel
StefanKittel 24.07.2021 um 23:47:30 Uhr
Goto Top
Zitat von @MysticFoxDE:
Moin Frank,
Welche der folgenden CPU’s würdest du für einen Server (Hypervisor/Mixbetrieb) eher bevorzugen?
A: 6 Cores mit a 4 GHz
B: 12 Cores mit a 2 GHz
also nur aus der sicht von Oracle, würde ich A: 6 Cores mit a 4 GHz wählen wollen!
jetzt verstehe ich auch dein Problem mit dem speicher durchsatz...
Aber auch ein MS-SQL oder ein MySQL oder ein Exchange und selbst eine RDS Umgebung würde von A mehr profitieren wie von B.
Nicht unbedingt.
Wenn Du 64 User auf einem RDS hast, bist Du mit mehr Kernen langsammen besser dran. Auch bei einem My/MSSQL Server mit vielen Verbindungen. Due skalierst viel besser die Leistung zwischen den Kernen.

Aber es gibt natürlich auch Anwendungen die selber nicht gut skalieren wo mehr GHz dann helfen.

Es kommt immer darauf an.

Btw. Weniger schnelle Kerne sind deutlich günstiger bei den MS Lizenzen.

Stefan
StefanKittel
StefanKittel 24.07.2021 um 23:51:48 Uhr
Goto Top
Auch gibt es immer mal wieder "lustige" Probleme wenn man an das Performance-Maximum geht.
https://www.youtube.com/watch?v=xWjOh0Ph8uM

Und nicht jeder hat die Kontakte und Zeit diesen Problemen auf den Grund zu gehen.

Stefan
MysticFoxDE
MysticFoxDE 24.07.2021 aktualisiert um 23:56:37 Uhr
Goto Top
Moin Stefan,

mal eine gemeine Frage:

das ist jetzt aber fies von dir. 😮

Kann die Antwort auf diese Frage Dir helfen?

Jup, und zwar insoweit, dass ich an der Antwort sehr gut erkenne, ob mein Gegenüber überhaupt über das nötige Grundwissen/Erfahrung verfügt, um mir bei diesem doch etwas komplexen Problem, richtig helfen zu können. 😉

Nicht nur Fragen können gemein sein, auch die Antworten, aber so ist das mir der Wahrheit eben. 😎

A) Es ist ein "Anzeigeproblem" aufgrund der Art wie dieser Test funktioniert und der Server ist im Betrieb normal schnell.
Dann musst Du nix machen.

Nein, ist er leider nicht. Jede Oracle, SQL, oder was auch immer VM, läuft auf der Workstation deutlich schneller.

B1) Es ist kein Anzeigeproblem, aber es hat auf den Betrieb keine Auswirkung
Dann musst Du nix machen.

Gleiche Antwort wie bei B.

B2) Es ist kein Anzeigeproblem und es hat Auswirkungen weil der Server langsammer ist als der alte Server.
Was tun? Außer ärgern?

Oder etwas Forschen und im Admin Forum nach Hilfe fragen. 😉

Den Server zurückgeben wirst Du vermutlich nicht können.

Können schon wollen nicht, weil es eben nicht an der Hardware liegt.
Die ist so auch in > 90% der vergleichbaren Server, egal welchen Herstellers verbaut.

Es ist auch nicht wahrscheinlich, dass es eine Bios/Windows/Treiber-Einstellung giebt die solch dramatische Auswirkungen hat.

Doch, vor allem das BIOS mit seinen fragwürdigen Standardeinstellungen, ist mir momentan quasi das grösste Dorn im Auge.

Beste Grüsse aus BaWü

Alex
StefanKittel
StefanKittel 25.07.2021 um 00:05:29 Uhr
Goto Top
Zitat von @MysticFoxDE:
Doch, vor allem das BIOS mit seinen fragwürdigen Standardeinstellungen, ist mir momentan quasi das grösste Dorn im Auge.
Ich bin gespannt ob oder welche Lösung am Ende dabei rauskommt und ich drücke Dir alle 3 Daumen.
MysticFoxDE
MysticFoxDE 25.07.2021 um 00:08:19 Uhr
Goto Top
Moin Stefan,

Auch gibt es immer mal wieder "lustige" Probleme wenn man an das Performance-Maximum geht.
https://www.youtube.com/watch?v=xWjOh0Ph8uM

Ja, das kommt davon wenn man die falsche Hardware nimmt. 😂🤣😂🤣

Das geht deutlich besser.
https://www.youtube.com/watch?v=nYMSy-mGc-E 😎
(Ich sehe in dem Filmchen aber echt etwas geschruppt aus. Hatte die Wochen davor fast ununterbrochen an der Beseitigung eines Incidents gearbeitet und hatte die Nacht vor dem Dreh auch 0 geschlafen gehabt. 🙃)


Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 25.07.2021 um 00:10:24 Uhr
Goto Top
Ich bin gespannt ob oder welche Lösung am Ende dabei rauskommt und ich drücke Dir alle 3 Daumen.
Bist du ein Alien oder muss ich einfach etwas versauter denken? 😜
StefanKittel
StefanKittel 25.07.2021 um 01:19:59 Uhr
Goto Top
Zitat von @MysticFoxDE:
Ich bin gespannt ob oder welche Lösung am Ende dabei rauskommt und ich drücke Dir alle 3 Daumen.
Bist du ein Alien oder muss ich einfach etwas versauter denken? 😜
3 headed monkey behind your back...
MysticFoxDE
MysticFoxDE 25.07.2021 um 01:43:44 Uhr
Goto Top
Zitat von @StefanKittel:

Zitat von @MysticFoxDE:
Ich bin gespannt ob oder welche Lösung am Ende dabei rauskommt und ich drücke Dir alle 3 Daumen.
Bist du ein Alien oder muss ich einfach etwas versauter denken? 😜
3 headed monkey behind your back...

Das gute alte Monkey Island. 😁
Aber der "3 headed monkey" hat trotzdem nur zwei Hände und somit nur zwei Daumen. 😉
MysticFoxDE
MysticFoxDE 25.07.2021 um 02:27:00 Uhr
Goto Top
Moin Zusammen,

folgend die "Chanel-Belegung-Gegenüberstellung" Ergebnisse.

chanel_analysis01

chanel_analysis02

SC = Single Chanel
DC = Dual Chanel
QC = Quad Chanel
HC = Hexa Chanel
--
SR = Single Rank
DR = Dual Rank

Detailkommentierung gibt's nachdem ich etwas gepennt habe. 🙃

In diesem Sinne wünsch ich allen a guts Nächte, bis spätter.

Beste Grüsse aus dem pennenden BaWü

Alex
C.R.S.
C.R.S. 25.07.2021 um 02:53:36 Uhr
Goto Top
Zitat von @MysticFoxDE:

Der Kernel vom Server 2019 ist zu > 99% identisch mit dem Kernel von Windows 10 1809, auf W10 ist dieser lediglich etwas kastriert(😬). 🙃

Das stimmt, aber Du hast doch 21H1 auf der Workstation.
Vision2015
Vision2015 25.07.2021 aktualisiert um 09:03:45 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Stefan,


Es ist auch nicht wahrscheinlich, dass es eine Bios/Windows/Treiber-Einstellung giebt die solch dramatische Auswirkungen hat.

Doch, vor allem das BIOS mit seinen fragwürdigen Standardeinstellungen, ist mir momentan quasi das grösste Dorn im Auge.
hm...ich hatte gestern ja schon mein verdacht auf das Bios sinniert!
ich bin natürlich davon ausgegangen, das du das Bios Optimiert hast, und dein Blech nicht mit Standard einstellungen rennt!
nüchtern betrachtet (also nur mit restalkohol) denke ich das deine Bleche nur auf 50% laufen!
was mir eben aufgefallen ist, das deine Uncore-Frequenz ist sehr niedrig!
schau mal im Bios nach "Uncore Frequency" sollte auf Dynamic stehen! bzw. Uncore Frequency Scaling = Disabled!
jegliches Power Management sollte "disabled" sein, besonders der "CPU Interconnect Bus Link"
CPU Performance auf MAX....


Beste Grüsse aus BaWü

Frank
Alex
MysticFoxDE
MysticFoxDE 25.07.2021 aktualisiert um 09:43:42 Uhr
Goto Top
Moin Frank,

Doch, vor allem das BIOS mit seinen fragwürdigen Standardeinstellungen, ist mir momentan quasi das grösste Dorn im Auge.

hm...ich hatte gestern ja schon mein verdacht auf das Bios sinniert!
ich bin natürlich davon ausgegangen, das du das Bios Optimiert hast, und dein Blech nicht mit Standard einstellungen rennt!

Ich hatte es schon optimiert gehabt. Leider hat das an dem besagten Problem nichts verändert.
Um zu prüfen, ob ich mir mit den vorherigen Optimierungen nicht leicht selbst ins Knie geschossen habe, habe ich das BIOS daher testweise wieder auf default gestellt. Stand jetzt ist nur das PerformanceProfile im BIOS auf Performance gestellt und das OS läuft auf "Ultimative Leistung".

nüchtern betrachtet (also nur mit restalkohol) denke ich das deine Bleche nur auf 50% laufen!
Die CPU bring schon die volle Leistung, nur die RAM-Performance ist beim Singlethreading alles andere als zufriedenstellend.

was mir eben aufgefallen ist, das deine Uncore-Frequenz ist sehr niedrig!
schau mal im Bios nach "Uncore Frequency" sollte auf Dynamic stehen! bzw. Uncore Frequency Scaling = Disabled!
jegliches Power Management sollte "disabled" sein, besonders der "CPU Interconnect Bus Link"
CPU Performance auf MAX....

Genau die Dinge wollte ich gestern eigentlich Schritt für Schritt durchgehen, wurde aber durch mehrere Personen auf Chaneling Abwege gebracht. 🙃

Ist aber nicht so wild, es stand eh schon lange auf der ToDo Liste, der RAM Performance eines Servers, unter unterschiedlichen Chanelbelegungen mal etwas genauer auf den Zahn zu füllen und nicht nur der Theorie zu vertrauen und seit gestern ist dieser Punkt nun erledigt. 😀

Beste Grüsse aus BaWü

Alex
Vision2015
Vision2015 25.07.2021 um 10:50:36 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Frank,

Doch, vor allem das BIOS mit seinen fragwürdigen Standardeinstellungen, ist mir momentan quasi das grösste Dorn im Auge.

hm...ich hatte gestern ja schon mein verdacht auf das Bios sinniert!
ich bin natürlich davon ausgegangen, das du das Bios Optimiert hast, und dein Blech nicht mit Standard einstellungen rennt!

Ich hatte es schon optimiert gehabt. Leider hat das an dem besagten Problem nichts verändert.
Um zu prüfen, ob ich mir mit den vorherigen Optimierungen nicht leicht selbst ins Knie geschossen habe, habe ich das BIOS daher testweise wieder auf default gestellt. Stand jetzt ist nur das PerformanceProfile im BIOS auf Performance gestellt und das OS läuft auf "Ultimative Leistung".
ich denke da muss mehr gemacht werden, ich hatte ja geschrieben worauf du achten sollst!

nüchtern betrachtet (also nur mit restalkohol) denke ich das deine Bleche nur auf 50% laufen!
Die CPU bring schon die volle Leistung, nur die RAM-Performance ist beim Singlethreading alles andere als zufriedenstellend.
ich denke da bist du auf dem Holzweg.... die cpu bringt volle leistung, der rest aber nicht!

was mir eben aufgefallen ist, das deine Uncore-Frequenz ist sehr niedrig!
schau mal im Bios nach "Uncore Frequency" sollte auf Dynamic stehen! bzw. Uncore Frequency Scaling = Disabled!
jegliches Power Management sollte "disabled" sein, besonders der "CPU Interconnect Bus Link"
CPU Performance auf MAX....
hast du nun diese einstellungen geprüft?
deine Uncore-Frequenz ist viel zu langsam, da sollte meines wissens 2999 stehen!
das system läuft asynchron!

Genau die Dinge wollte ich gestern eigentlich Schritt für Schritt durchgehen, wurde aber durch mehrere Personen auf Chaneling Abwege gebracht. 🙃
😹

Ist aber nicht so wild, es stand eh schon lange auf der ToDo Liste, der RAM Performance eines Servers, unter unterschiedlichen Chanelbelegungen mal etwas genauer auf den Zahn zu füllen und nicht nur der Theorie zu vertrauen und seit gestern ist dieser Punkt nun erledigt. 😀

Beste Grüsse aus BaWü

Alex

Frank
Vision2015
Vision2015 25.07.2021 um 11:07:46 Uhr
Goto Top
moin...

und die CPU-Z SPD werte hätte ich gerne gesehen 😺

Frank
MysticFoxDE
MysticFoxDE 25.07.2021 um 12:34:22 Uhr
Goto Top
Moin Zusammen,

kaboom, das erste grösserer Performancebremsbötle mit der Bugbeschriftung „ADDDC Sparing“ ist versenkt. 😃

Wenn ich den bisherigen Ergebnissen der noch laufenden Performance Tests glauben kann, dann hatte das Ding bisher die grösste Bremswirkung. 🤢

Technische Details/Theorie siehe hier:
https://software.intel.com/content/www/us/en/develop/articles/new-reliab ...

https://www.cisco.com/c/en/us/products/collateral/servers-unified-comput ...

Und erste praktische Empfehlungen siehe hier:

https://support.lenovo.com/de/de/solutions/ht512044-how-to-enable-adapti ...

ThinkSystem im vierten Quartal 2020 veröffentlichte ThinkSystem UEFI-Firmware hat die Standard-UEFI-Einstellung für die adaptive Doppelgerätedatenkorrektur (ADDDC) von aktiviert auf deaktiviert geändert. Dies wurde durchgeführt, um ein Problem mit der Speicherfehlerkorrektur unter bestimmten Workloads im virtuellen Lockstep (VLS) zu beheben.

Und noch mehr praktische Details kommen gleich, sobald die Benchmarks durch sind. 😎

Beste Grüsse aus BaWü

Alex
Vision2015
Vision2015 25.07.2021 um 12:52:36 Uhr
Goto Top
moin...
war ich ja fast nach dran...

Und noch mehr praktische Details kommen gleich, sobald die Benchmarks durch sind. 😎

bin gespannt 🤓
Frank
MysticFoxDE
MysticFoxDE 25.07.2021 um 14:05:36 Uhr
Goto Top
Moin Frank,

war ich ja fast nach dran...

jup, auch.

Ich denke jedoch nicht, dass das das einzige "Performancebremsbötle" war, welches ich noch versenken muss, bevor ich mit dem Ding richtig glücklich werde. 🤪

Und noch mehr praktische Details kommen gleich, sobald die Benchmarks durch sind. 😎

bin gespannt 🤓

adddc_sparing_passmark

adddc_sparing_aida

Ich denke die Bilder sprechen für sich. 😀

Wie schon oben erwähnt, damit bin ich noch lange nicht glücklich, die Performancejagt geht somit munter weiter. 😎

@ Intel und HP
Warum macht ihr den bitte so performancepöse Dinge und das auch noch beim "Performance" Profile?

Beste Grüsse aus BaWü

Alex
AndreasHoster
AndreasHoster 25.07.2021 um 18:44:43 Uhr
Goto Top
Das ist relativ sicher das Problem und das Stichwort zum Nachlesen was das genau ist etc. lautet
NUMA = Non Uniform Memory Access
https://de.wikipedia.org/wiki/Non-Uniform_Memory_Access

Die Hälfte des RAMs hängt an jeweils einer CPU, die andere kann zwar darauf zugreifen, aber das ist langsam(er).
Wenn die Applikation nicht NUMA Aware ist, dann passiert sowas halt.
Und bei solchen Benchmarkprogrammen wage ich zu bezweifeln, daß die Entwickler an 1,5 TB Maschinen mit NUMA auch nur gedacht haben, die werden meistens ja nur für overclocked Gaming PCs verwendet.
MysticFoxDE
MysticFoxDE 25.07.2021 um 19:30:29 Uhr
Goto Top
Moin Andreas,

Das ist relativ sicher das Problem und das Stichwort zum Nachlesen was das genau ist etc. lautet
NUMA = Non Uniform Memory Access
https://de.wikipedia.org/wiki/Non-Uniform_Memory_Access

Die Hälfte des RAMs hängt an jeweils einer CPU, die andere kann zwar darauf zugreifen, aber das ist langsam(er).
Wenn die Applikation nicht NUMA Aware ist, dann passiert sowas halt.
Und bei solchen Benchmarkprogrammen wage ich zu bezweifeln, daß die Entwickler an 1,5 TB Maschinen mit NUMA auch nur gedacht haben, die werden meistens ja nur für overclocked Gaming PCs verwendet.

Das Thema wurde schon angesprochen.

RAM-Zugriff auf einem neuen High-Performance Server, teilweise um Welten langsamer als auf einer Workstation

Und ja, PassMark kann durchaus mit mehreren NUMA's und auch mit 1,5TB RAM umgehen.

Gruss Alex
MysticFoxDE
MysticFoxDE 25.07.2021 um 22:59:55 Uhr
Goto Top
Moin zusammen,

kleines Update.
Nachdem ich mit dem Abschalten von „ADDDC Sparing“ erfolgreich eines der Performancebremsbötle versenkt habe, habe ich mir mit der jüngsten Aktion, ein viel Schlimmeres selbst an mein Flitzerchen angebunden. 😭

Und zwar habe ich gerade als die „Hardware P-States“ im BIOS auf Deaktiviert gestellt, so wie es auch in diversesten Optimierungsdokus der Serverhersteller mitunter auch empfohlen wird. Dann habe ich die Benchmarks durchlaufen lassen, um die Auswirkungen zu sehen und konnte bei den meisten Werten meinen Augen nicht so ganz trauen.

Folgend eine kleine Zusammenfassung:

no_pstate_pmpt_cpu

no_pstate_pmpt_2d

no_pstate_pmpt_memory

no_pstate_pmpt_disk

no_pstate_aida

Und nun zu meiner Frage. 🤔

Warum um Himmels Willen, hat das Abschalten der „Hardware P-States“ eine derartige Bremswirkung?

Eigentlich sollte es doch genau umgekehrt sein. 😡

Beste Grüsse aus BaWü

Alex
Grinskeks
Grinskeks 26.07.2021 aktualisiert um 14:47:48 Uhr
Goto Top
Moin,

hast du schon geprüft, wie die Cores im Vergleich takten und welche Spannung anliegt, wenn Hardware P-States off sind? Welcher "Default"-State greift dann überhaupt (P0?).

Das ist alles irgendwo Teil der Intel Speedstep Geschichte und wird doch munter (d.h. sehr schnell und oft) zwischen Hardware und Software ausgehandelt - macht das eventuell keinen Sinn, dies "einseitig" zu deaktivieren und muss dafür was auf OS-Ebene getan werden?
Gibt es noch andere ACPI-Schalter, die hier zu setzen sind?


Echt interessant, was da gerade passiert.
MysticFoxDE
MysticFoxDE 26.07.2021 aktualisiert um 20:14:56 Uhr
Goto Top
Moin Grinskeks,

ich habe das Problem bereits Behoben aber zuerst zu deinen Fragen. 😀

hast du schon geprüft, wie die Cores im Vergleich takten und welche Spannung anliegt, wenn Hardware P-States off sind?

Wenn die C-States nur auf „C0/C1“ (im BIOS) gestellt sind und die P-States sind aus, dann bleibt die CPU-Frequenz immer oben an der Decke (und auch darüber (siehe Kommentar zu SpeedStep)) kleben. Sprich 👍👍👍, zumindest was meine Anforderungen angeht.

Wenn die P-States an sind, dann eiert je nach P-State Konfiguration, die CPU-Frequenz mal mehr mal weniger nachvollziehbar, quer durch die Gegend und verbrät dadurch wertvolle CPU-Zeit, da jeder Wechsel zwischen den P-States, mit einer Wartezeit verbunden ist. Ist bei den C-States übrigens auch so, und hier ist die Wartezeit zwischen den C-State Wechsel, noch grösser.

Welcher "Default"-State greift dann überhaupt (P0?).

Bei ausgeschalteten P-States ist es P0, sprich Vollgas.
Ansonsten je nach Gusto des OS oder der CPU selbst, je nachdem wem das Entscheidungsmützchen per BIOS-Konfiguration aufgesetzt wurde.

Das ist alles irgendwo Teil der Intel Speedstep Geschichte

Nein, Speedstep hat mit den Powerstates nicht wirklich etwas direkt zu tun. Dieses sorgt hauptsächlich dafür, dass deine CPU frequenztechnisch, je nach Kühlung und Umgebung, deutlich und auch dauerhaft über dem Nominaltackt laufen kann. Sprich, als Performance-Junkie ist es eines meiner Lieblinge. 😜

und wird doch munter (d.h. sehr schnell und oft) zwischen Hardware und Software ausgehandelt - macht das eventuell keinen Sinn, dies "einseitig" zu deaktivieren und muss dafür was auf OS-Ebene getan werden?

Normalerweise werden die P-States und auch C-States heutzutage, mal mehr mal weniger gut, über das OS gesteuert. Du kannst jedoch je nach Board einstellen, ob du das Powermanagement lieber vollständig oder etwas eingeschränkt dem OS überlässt, oder es komplett durch die Hardware selbst regeln lässt. Das letztere bevorzuge ich selbst am liebsten, da es aus meiner Erfahrung heraus, hardwareseitig am besten und zuverlässigsten Funktioniert. 😉

Gibt es noch andere ACPI-Schalter, die hier zu setzen sind?

Du kannst OS seitig noch um einiges Mehr im Powermanagement rumfummeln als es dir dies per default erlaubt. Die meisten erweiterten performancerelevanten Einstellungen der CPU sind von Haus aus versteckt (und das ist auch gut so, da soll auch nicht jeder dran rumfummeln können), lassen sich bei Bedarf jedoch mit etwas Registryhacking wieder zutage bringen. 😎

Echt interessant, was da gerade passiert.

Dann bin ich schon Mal sehr gespannt, was du zu meiner Versenkung des zweiten Performancebremsbötles sagst. 😜

---
So, jetzt aber zu der Lösung die ich anfangs schon angesprochen habe.

Diese negative Performanceanomalie kam dadurch zustande, das ich im BIOS zwar die P-States deaktiviert/optimiert habe, aber nicht gleichzeitig auch das C-State Handling. Das C-State Handling erlaubte dem OS weiterhin sich zwischen C0 und C6(Retention) auszutoben. So wie es aussieht, tut der Server 2019 (und eventuell auch W10, da gleiches Powermanagement) wohl die C-States nicht korrekt ansteuern, sobald die P-States per BIOS deaktiviert wurden.

Ich habe dann als nächstes, das C-State Handling dem OS ebenfalls entzogen und die möglichen C-States noch zusätzlich mit nur „C0/C1“ vorgegeben und schwups wwar die Performance auch wieder da, sogar noch eine kleine Schippe besser. 😁

Beste Grüsse aus BaWü

Alex
Lochkartenstanzer
Lochkartenstanzer 26.07.2021 um 20:16:21 Uhr
Goto Top
Zitat von @MysticFoxDE:

Diese negative Performanceanomalie kam dadurch zustande, das ich im BIOS zwar die P-States deaktiviert/optimiert habe, aber nicht gleichzeitig auch das C-State Handling. Das C-State Handling erlaubte dem OS weiterhin sich zwischen C0 und C6(Retention) auszutoben. So wie es aussieht, tut der Server 2019 (und eventuell auch W10, da gleiches Powermanagement) wohl die C-States nicht korrekt ansteuern, sobald die P-States per BIOS deaktiviert wurden.

Genaugennommen als durch falsche Rumfummelei. face-smile

Aber Du hättest in der Eröffnungsfrage wenigstens dazusagen können, welche rumfummeleien Du gemacht hast und was die Werte in den Defaulteinstellungen gewesen wären geworden sein. face-smile

Dann hätten wir nicht darüber philosophoieren müssen, was denn nun die Kristallkugel sagen würden.

Aber gut, wenn Du Du das rausgefunden hast. Hilft uns vielleicht bei der nächsten Serverinstallation.

lks
Vision2015
Vision2015 26.07.2021 um 20:22:56 Uhr
Goto Top
Zitat von @MysticFoxDE:


Ich habe dann als nächstes, das C-State Handling dem OS ebenfalls entzogen und die möglichen C-States noch zusätzlich mit nur „C0/C1“ vorgegeben und schwups wwar die Performance auch wieder da, sogar noch eine kleine Schippe besser. 😁

Beste Grüsse aus BaWü

Alex
was hast du den jetzt an mehrleistung?
ist dein Problem jetzt behoben?
wie hoch ist jetzt deine Uncore-Frequenz?

Frank
MysticFoxDE
MysticFoxDE 26.07.2021 um 20:26:03 Uhr
Goto Top
Moin Lks,

Genaugennommen als durch falsche Rumfummelei. face-smile

Aber Du hättest in der Eröffnungsfrage wenigstens dazusagen können, welche rumfummeleien Du gemacht hast und was die Werte in den Defaulteinstellungen gewesen wären geworden sein. face-smile

genaugenommen eben nicht!
Bring mir bitte eine Doku wo drin steht, dass man genau das nicht machen sollte/darf und dann kannst du gerne über mich weiter schimpfen. 😉

Aber gut, wenn Du Du das rausgefunden hast. Hilft uns vielleicht bei der nächsten Serverinstallation.

Bitte und gerne.

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 26.07.2021 aktualisiert um 20:40:27 Uhr
Goto Top
Moin Frank,

was hast du den jetzt an mehrleistung?

performancestatus_ram_uread_2021.07.06
performancestatus_ram_uwrite_2021.07.06

😃

ist dein Problem jetzt behoben?

Ist gut ... und nein, ich bin noch nicht ganz zufrieden. 🤪

wie hoch ist jetzt deine Uncore-Frequenz?

mem_uncore

Beste Grüsse aus BaWü

Alex
Vision2015
Vision2015 26.07.2021 um 21:00:05 Uhr
Goto Top
Moin..
ich hab dir ja gesagt, das deine Uncore-Frequenz zu niedrig ist.... ist sie aber immernoch, da ist noch luft nach oben!
Uncore-Frequenz sollte auf 2999 stehen, und auf deine SPD werte warte ich noch  😁

ich habe 8 stück R2208WFTZSR bei einem Kunden, die laufen alle auf 2999....
was ich nicht verstehe, wir haben im Bios nicht wie du die C & P State geändert! welche BIOS- und Firmware version nutzt du?
und welchen speicher hast du genau verbaut?

Frank
MysticFoxDE
MysticFoxDE 26.07.2021 um 21:02:35 Uhr
Goto Top
Moin Frank,

wie hoch ist jetzt deine Uncore-Frequenz?

das Abschalten von "Uncore Frequency Scaling" hatte absolut keine Performancerelevante Auswirkung.

uncore_frequency

Hat mich ehrlich gesagt selbst etwas erstaunt.

Beste Grüsse aus BaWü

Alex
Vision2015
Vision2015 26.07.2021 um 21:06:01 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Frank,

wie hoch ist jetzt deine Uncore-Frequenz?

das Abschalten von "Uncore Frequency Scaling" hatte absolut keine Performancerelevante Auswirkung.

uncore_frequency

Hat mich ehrlich gesagt selbst etwas erstaunt.

Beste Grüsse aus BaWü

Alex
auf deine Bios version bin ich gespannt....
leider kann / darf ich an keins der System ran, aber am WE steht neine Wartung an face-smile

Frank
MysticFoxDE
MysticFoxDE 26.07.2021 aktualisiert um 21:21:44 Uhr
Goto Top
Moin,

ich hab dir ja gesagt, das deine Uncore-Frequenz zu niedrig ist.... ist sie aber immernoch, da ist noch luft nach oben!

aber nicht wenn das Board mit 24 Riegeln bestückt ist, dann gehen bei dieser CPU und auch anderen max. nur noch 2666.


Uncore-Frequenz sollte auf 2999 stehen, und auf deine SPD werte warte ich noch  😁

Mal unabhängig von 2999 oder 2666 mit ~2393 ist diese dennoch nicht ganz korrekt. 🤔

ich habe 8 stück R2208WFTZSR bei einem Kunden, die laufen alle auf 2999....

Die sind dann aber auch nicht mit RAM vollgepackt.

was ich nicht verstehe, wir haben im Bios nicht wie du die C & P State geändert! welche BIOS- und Firmware version nutzt du?
Neuste die verfügbar ist.
bios

und welchen speicher hast du genau verbaut?

HYNIX HMAA8GL7CPR4N-WM

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 26.07.2021 um 21:24:03 Uhr
Goto Top
Moin Frank,

aber am WE steht neine Wartung an face-smile

ich ahne und bin gespannt. 😉😀

Gruss Alex
Vision2015
Vision2015 26.07.2021 um 21:37:12 Uhr
Goto Top
moin...
Zitat von @MysticFoxDE:

Moin,

ich hab dir ja gesagt, das deine Uncore-Frequenz zu niedrig ist.... ist sie aber immernoch, da ist noch luft nach oben!

aber nicht wenn das Board mit 24 Riegeln bestückt ist, dann gehen bei dieser CPU und auch anderen max. nur noch 2666.
stimmt... habe ich nicht bedacht face-smile


Uncore-Frequenz sollte auf 2999 stehen, und auf deine SPD werte warte ich noch  😁
und da warte ich noch face-smile

Mal unabhängig von 2999 oder 2666 mit ~2393 ist diese dennoch nicht ganz korrekt. 🤔
sach ich doch 🤭

ich habe 8 stück R2208WFTZSR bei einem Kunden, die laufen alle auf 2999....

Die sind dann aber auch nicht mit RAM vollgepackt.
nee sind se nicht, stimmt!

was ich nicht verstehe, wir haben im Bios nicht wie du die C & P State geändert! welche BIOS- und Firmware version nutzt du?
Neuste die verfügbar ist.
bios

und welchen speicher hast du genau verbaut?

HYNIX HMAA8GL7CPR4N-WM
ok... danke für die Info

Beste Grüsse aus BaWü

Alex
Grüße aus Duisburg
Frank
MysticFoxDE
MysticFoxDE 26.07.2021 um 21:43:56 Uhr
Goto Top
Moin Frank,

bezieht Ihr eure Bleche auch über Holger?
Ist von Duisburg nach Solingen ja gerade Mal ein 🦊sprung. 😜

Gruss Alex
MysticFoxDE
MysticFoxDE 26.07.2021 um 22:00:00 Uhr
Goto Top
Moin Frank,

Uncore-Frequenz sollte auf 2999 stehen, und auf deine SPD werte warte ich noch  😁
und da warte ich noch face-smile

ich kann weder per CPU-Z noch per AIDA die aktuelle SPD Konfig auslesen. ??? 🤔

Gruss Alex
MysticFoxDE
MysticFoxDE 27.07.2021 um 07:44:21 Uhr
Goto Top
Moin Frank,

das mit der Uncore-Frequenz ist echt schräg.

Beim booten zeig der Server den RAM mit 2666 MHz an.

Laut CPU-Z läuft die Uncore Frequency mit 2393,8 MHz, die DRAM Frequency mit ~1330 MHz und das FSB:DRAM Verhältnis ist 1:20.
cpuz_server

Laut AIDA64 ist die Uncore Frequency bei 2120 MHz, die DRAM Frequency liegt bei 1060 MHz und das FSB:DRAM Verhältnis soll 40:3 sein.
aida_mem

🤔 ich schätze, dass sowohl CPU-Z als auch AIDA nicht so ganz sauber mit dem QPI (FSB Ersatz) umgehen können. 😬

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 27.07.2021 aktualisiert um 08:48:38 Uhr
Goto Top
Moin Zusammen,

ich habe ja schon erwähnt gehabt, dass ich gestern erfolgreich ein weiteres Performancebremsbötle finden und versenken konnte, nun die Geschichte dazu.

Laut der der folgenden Optimierungsdoku von Intel, sollte für die maximale Performance auch das „IMC Interleaving“ angepasst und auf „2-way“ gestellt werden.

https://builders.intel.com/docs/networkbuilders/intel-speed-select-techn ...

Default ist diese Einstellung auf Auto gesetzt, also habe ich zuerst manuell auf „2-way“ gestellt.
Die anschliessende Performancemessung brachte jedoch keine Besserung.
OK, dann ist das System bisher mit der alten IMC Steuerung gelaufen. 🤔
Also habe ich als nächstes das „IMC Interleaving“ auf „1-way“ gestellt und nochmals gemessen und schwups ist mir wieder die Performance in den Keller gerauscht.

Dann habe ich online etwas geforscht und bin über den folgenden Artikel gestolpert, wo sich ein User auch etwas über das Interleaving beschwert.

https://community.intel.com/t5/Server-Products/sub-NUMA-activation-in-R1 ...

Und bin staunend bei dieser Stelle hängen geblieben.

„The BIOS switch "Sub NUMA Clustering" allows 3 options: "auto", "enabled" and "disabled". The default setting is "enabled" (PRIMERGY servers), "auto" (PRIMEQUEST servers). “

Aha, dachte ich, über den Konfigurationspunkt bist du doch vorhin drüber geflogen und da stand nichts von „auto“ drin. Also bin ich nochmals ins BIOS und siehe da, da gibt es kein „auto“ Mode.
sub_numa

Und default steht die Einstellung auf „Disabled“ und nicht auf „enabled“ oder dem nicht vorhandenen „auto“. 😡

Habe dann als nächstes das Sub Numa Clustering aktiviert, sicherheitshalber noch geprüft ob „IMC Interleaving“ auf „1-way“ gestellt ist, habe den Server hochgefahren und den nächsten Performancetest durchlaufen lassen und habe anschliessend ein breites Grinsen beim betrachten der Ergebnisse auf dem Gesicht bekommen. 😁

Dann habe ich als nächstes die folgenden Zeilen in unser Konfigurations-WIKI geschrieben.

!!! "IMC INTERLEAVING" = "1-way" nur in Verbinung mit "SUB_NUMA CLUSTER" = "Enabled" !!!
!!! "IMC INTERLEAVING" = "2-way" nur in Verbinung mit "SUB_NUMA CLUSTER" = "Disabled" !!!

@ Intel
Ist es als einer der weltgrössten IT-Konzerne wirklich so schwer, simple Plausis in die BIOS-Konfiguration mit einzubauen? 🤨


Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 27.07.2021 aktualisiert um 08:54:03 Uhr
Goto Top
Zwischenstand:
zwischenstand
😀
StefanKittel
StefanKittel 27.07.2021 aktualisiert um 10:12:40 Uhr
Goto Top
Zitat von @MysticFoxDE:
@ Intel
Ist es als einer der weltgrössten IT-Konzerne wirklich so schwer, simple Plausis in die BIOS-Konfiguration mit einzubauen? 🤨
Moin,
schwer nicht, aber das Interesse fehlt.
Deren primären Vorgaben sind (in dieser Reihenfolge):
- Stabiles System
- Stabiles System (wirklich stabil)
- Wenig Support-Anfrage
- Leise (Bei 19" sind Leise und Schnell vertauscht)
- Schnell

Es rufen vermutlich wenige Kunden an weil der Server zu langsam ist, weil die meisten das gar nicht mitbekommen.
Server zu langsam? Dann kauf doch das nächst größere Modell oder noch 2-3 Server mehr. fertig.

Das was Du da machst ist vermutlich die Außnahme.
Sowohl von Deiner Qualifikation als auch der Hartnäckigkeit.

Stefan
Grinskeks
Grinskeks 27.07.2021 um 12:55:36 Uhr
Goto Top
Zitat von @StefanKittel:

Es rufen vermutlich wenige Kunden an weil der Server zu langsam ist, weil die meisten das gar nicht mitbekommen.
Server zu langsam? Dann kauf doch das nächst größere Modell oder noch 2-3 Server mehr. fertig.

Das was Du da machst ist vermutlich die Außnahme.
Sowohl von Deiner Qualifikation als auch der Hartnäckigkeit.

Stefan

Es sollte aber die Regel sein!

Wenn in der Kette über Planung, Hardwarebeschaffung, Softwarespezifikation und Monitoring nur eine Nase sitzt (und die sitzt garantiert irgendwo), stimmt die Leistung wieder nicht und kompensiert wird das dann über zeitintensives gefuddel.
Von den vielen kleinen Unternehmen, die ein, zwei Server über Dell & co. zusammengeklickt haben ganz zu schweigen.

Man muss nicht um jedes Prozent kämpfen, aber ich habe häufig gesehen, dass Kunden einen sehr hohen Leidensdruck haben und gar nicht wissen, dass ein Großteil an Performance auf der Strecke bleibt, weil nicht richtig geplant, beschafft, konfiguriert und gemessen wird.

Das fällt in größeren Umgebungen sicherlich nicht so auf oder interessiert keinen, dabei ist das Optimierungspotential enorm.

Gruß
Grinskeks
MysticFoxDE
MysticFoxDE 27.07.2021 aktualisiert um 13:24:02 Uhr
Goto Top
Moin Stefan,

schwer nicht, aber das Interesse fehlt.

das stelle ich gerade auch schmerzlich fest, aber das kann es am Ende des Tages nicht sein. 😡

Wo ist eigentlich diesbezüglich die QS, sowohl bei den Hersteller als auch den Server A- und B-Brands geblieben und wenn doch vorhanden, wo schaut die bitte drauf?
Hauptsache alle neuschnickschnackklicketibuntibrauchtkeinnormalermensch Features sind aktiviert, damit das Marketing auch ja was zum Neuanpreisen hat. Ob diese Features in der Realität und für die breite Masse auch wirklich das Bringen was die bringen sollten, wird so wie es aussieht so gut wie von keinem, der Hersteller noch richtig geprüft. 😔

Deren primären Vorgaben sind (in dieser Reihenfolge):
- Stabiles System

Ich denke da jetzt nur an den Server 2019 und seine Macken.
Habe erst heute einen Anruf wegen TCP-Deadlocks abgefespert.

- Stabiles System (wirklich stabil)

Bezüglich des TCP Murks, habe ich mittlerweile dirket Kontakt zu den jeweiligen Microsoft Entwicklern und sehe daher aus einem sehr guten Blickwinkel, wie sehr die wirklich an der Stabilität noch interessiert sind.

- Wenig Support-Anfrage

Warum, der Support ist bei den meisten Grossen doch eh mittlerweile outgesourct. 🤢

- Leise (Bei 19" sind Leise und Schnell vertauscht)

Was juckt mich die Lautstärke des Servers im Serverraum, das Ding muss in erster Linie Leistung und natürlich Stabilität bringen. 🤪

- Schnell

😮 wo

Es rufen vermutlich wenige Kunden an weil der Server zu langsam ist, weil die meisten das gar nicht mitbekommen.

Doch da rufen schon genug an und manche werden dann direkt von der Hotline zwecks Lösung auf meine Forenbeiträge verwiesen. 🙈

Siehe …
https://community.spiceworks.com/topic/post/8899392

Server zu langsam? Dann kauf doch das nächst größere Modell oder noch 2-3 Server mehr. fertig.

Nice, den Spruch höre ich heute schon zum zweiten Mal.


Das was Du da machst ist vermutlich die Außnahme.

Ich hoffe doch inständig, dass es nicht so ist.
Und damit meine ich nicht die normalen Systemadmins und oder Systemintegratoren, sondern in erster Linie die Komponentenhersteller selbst und in zweiter Linie, so kleine A-Bands wie DELL, CISCO, LENOVO & Co.
Wo bleibt deren Performancekompetenz, wenn es um die Massenware geht?
Wenn es um das SPC Ranking geht, dann wissen die witzigerweise sofort an welchen Schrauben die für eine höhere Performance drehen müssen. 😡

Sowohl von Deiner Qualifikation als auch der Hartnäckigkeit.

Danke.

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 27.07.2021 aktualisiert um 22:43:21 Uhr
Goto Top
Moin Grinskeks,

Zitat von @StefanKittel:

Es rufen vermutlich wenige Kunden an weil der Server zu langsam ist, weil die meisten das gar nicht mitbekommen.
Server zu langsam? Dann kauf doch das nächst größere Modell oder noch 2-3 Server mehr. fertig.

Das was Du da machst ist vermutlich die Außnahme.
Sowohl von Deiner Qualifikation als auch der Hartnäckigkeit.

Stefan

Es sollte aber die Regel sein!

was soll bitte die Regel sein?
Das man den Herstellern und deren Angaben überwiegend nicht mehr vertrauen kann und quasi alles nur noch in Frage stellen muss?
Wenn das hier auf der Erde im IT-Bereich in Zukunft die Regel sein sollte, dann stelle ich hiermit einen Asylantrag, egal wohin, Hauptsache nicht auf diesem Planeten. 😠

Wenn in der Kette über Planung, Hardwarebeschaffung, Softwarespezifikation und Monitoring nur eine Nase sitzt (und die sitzt garantiert irgendwo), stimmt die Leistung wieder nicht und kompensiert wird das dann über zeitintensives gefuddel.

Ja die falsche Nase sitzt definitiv irgendwo, aber nicht in dem Kettensegment auf das du anspielen tust, sondern viel weiter vorne, so +- direkt bei der Herstellung. 😉

Man muss nicht um jedes Prozent kämpfen

Da gebe ich dir recht und wegen 1-2% mehr Dampf, würde ich den ganzen Aufwand jetzt auch ganz sicher nicht treiben. Ich habe jedoch bei 5.500 MB/s lesend begonnen und bin nun bei ~11.500 MB/s.
Das ist bisher ein Plus von 109%, sprich das System läuft in diesem Bereich nun mit !!! 209% !!! der anfänglichen default Leistung. 😀 aber auch 😡, hauptsächlich das Letztere, weil es so nicht sein sollte.

aber ich habe häufig gesehen, dass Kunden einen sehr hohen Leidensdruck haben und gar nicht wissen, dass ein Großteil an Performance auf der Strecke bleibt, weil nicht richtig geplant, beschafft, konfiguriert und gemessen wird.

Das ist, vor allem meinen jüngsten Erfahrungen nach, eine fatale Fehleinschätzung.
Ich habe die letzten Monate schon einige Projekte betreut, bei denen im Vergleich zu vorher, eine um Welten schnellere Hardware bereitgestellt wurde. Und dennoch wurden deren Primärlieferanten, die Systemhäuser von den Kunden nicht mit Lob überschüttet, weil die Leistungsmonster aufgrund von vermurkster Standardkonfiguration und noch dubioseren Verbesserungsvorschlägen der Hersteller (schimpft sich auch Best-Practice-Solution), absolut nicht zum Fliegen kamen. Und ich spreche hier nicht nur von kleinen Systemen und auch nicht von kleinen Systemhäusern, da waren zum Teil schon ordentliche Brocken darunter.

Das fällt in größeren Umgebungen sicherlich nicht so auf oder interessiert keinen, dabei ist das Optimierungspotential enorm.

Oh ja, dass würde ich sofort mitunterschreiben.

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 27.07.2021 um 23:24:42 Uhr
Goto Top
Moin Zusammen,

ich finde die ganze Tipps alla „hättest du dir einfach die passende Hardware gekauft, dann hättest du jetzt kein Problem“ ja ganz nett.

Bevor jetzt aber der Nächste in dieser Richtung hier reinrauscht, hätte ich auch einen zu vergeben.

Die verwendete CPU (2 je Server) ist die folgende.
https://ark.intel.com/content/www/br/pt/ark/products/192451/intel-xeon-g ...
Bitte Spezifikation und Preis genau anschauen!

Der Server ist mit 1,5TB DDR4 2999 RAM bestückt, das ist von der Geschwindigkeit das Maximum was zugelassen ist, bei Vollbestückung wird der RAM eh nur mit 2666 angefahren.

Sprich, ist ja nicht so, dass ich hier versuche, einen Trabi in einen Ferrari zu verwandeln.
Die Sache ist eher andersherum zu sehen. Ich habe hier einen Ferrari da stehen, der sich vom Werk aus wie ein Trabi verhält. 🤬🤮 Und genau das möchte ich diesem gerne wieder austreiben. 😜

Und ja, ich habe das System auch schon versucht damit zu bearbeiten. 😎
https://www.getdigital.de/lart-netzwerkpeitsche-cat5-o-nine-tails.html

oder hätte ich es besser mit dieser „edleren“ CISCO Version auspeitschen sollen? 🤪
https://it-planet.com/de/p/cisco-qsfp-4x10g-aoc10m-240195.html?number=34 ...

Ach, ja irgendwie muss ich mir die Zeit, während der laufenden Performancemessung ja auch noch irgendwie sinnvoll vertreiben. 🙃

Beste Grüsse aus BaWü

Alex
Grinskeks
Grinskeks 28.07.2021 um 06:37:39 Uhr
Goto Top
Moin,

Ich befürchte du hast mich teilweise falsch verstanden.
Gute Performance ist essentiell und wir brauchen mehr Leute die das im Blick haben.

Ich halte es für etabliert, dass ein Server nichtoptimiert beim Kunden ankommt und viele ihn 1:1 so nutzen. Etwaige Beratungen der Lieferanten haben oft technisch kein hohes Niveau.
Die Standardkonfigs sind meist sehr defensiv ausgelegt, was ich aus Herstellersicht nachvollziehen kann.

Zudem werden bei der Beschaffung oft Fehler gemacht, weil das Know how fehlt.

Das du dir Gedanken machst, das System optimal konfigurierst und dann auch misst
sollte die Regel sein. Jeder sollte das tun.

Mitunter Schuld an der Misere sind auch Systemvorraussetzungen, die oft allgemeiner nicht sein könnten: Cores, Takt, RAM, VRam, Speicherplatz. Oftmals zu gering angegeben und höchst unspezifisch.

Gruß
Grinskeks
MysticFoxDE
MysticFoxDE 28.07.2021 um 09:52:29 Uhr
Goto Top
Moin Grinskeks,

Ich befürchte du hast mich teilweise falsch verstanden.
Was genau? Wenn du denn aller Letzen Post von mir meinst, der ging nicht in deine Richtung.
Alternativ, klar, auch ein 🦊 kann sich mal irren. 😜

Gute Performance ist essentiell und

👍👍👍

wir brauchen mehr Leute die das im Blick haben.

Ja, ja und nochmals ja, aber. Die ITler die das können wachsen aber nicht so nach Bedarf am nächsten ITler Baum, die sollte man am besten rechtzeitig vorher ausbilden.

Ich halte es für etabliert, dass ein Server nichtoptimiert beim Kunden ankommt und viele ihn 1:1 so nutzen.

geschätzt > 80% 😔

Etwaige Beratungen der Lieferanten haben oft technisch kein hohes Niveau.

Zustimmung … leider.

Die Standardkonfigs sind meist sehr defensiv ausgelegt, was ich aus Herstellersicht nachvollziehen kann.

Ich nicht. Es gibt schon Performanceprofile im BIOS und diese habe ich überall auf „Performance“ gestellt und dennoch bekomme ich keine. 😡

Zudem werden bei der Beschaffung oft Fehler gemacht, weil das Know how fehlt.

Ich habe keinen Fehler gemacht und habe dennoch nicht die gewünschte und eigentlich bestellte Performance bekommen. Habe gerade im Lieferschein nachgesehen, das steht nicht davon drin, dass das System quasi „gedrosselt“ ausgeliefert wird und auch in der Herstellerbeschreibung ist von so einer Aussage nichts zu sehen.

Das du dir Gedanken machst, das System optimal konfigurierst und dann auch misst
sollte die Regel sein. Jeder sollte das tun.

Das sehe ich etwas anders. Es ist ja auch nicht die Regel, dass man nach einem Fahrzeugkauf sofort zum Leistungsstand fährt und erstmal prüft ob die Motorleistung auch genau dem entspricht, was man bestellt hat und was auch in den Fahrzeugpapieren angegeben ist. Und wenn es doch jemand mal genauer wissen möchten, dann muss er halt eben zu einem „Spezialisten“ und diese sauber vermessen lassen.

Mitunter Schuld an der Misere sind auch Systemvorraussetzungen, die oft allgemeiner nicht sein könnten: Cores, Takt, RAM, VRam, Speicherplatz. Oftmals zu gering angegeben und höchst unspezifisch.

Ja schon und wofür wurde PnP erfunden?
Mein Problem hat mal wieder hauptsächlich etwas mit, es muss ums verrecken der letzte Schnickschnack im Auslieferungszustand eingeschaltet sein, egal ob sich der Schnickschnack gegenseitig verträgt oder auch nicht, zu tun. Und der Grund ist aus meiner Sicht auch recht einfach, ausgeschalteter Schnickschnack lässt sich marketigtechnisch nur ganz schlecht verkaufen.

„Wir haben das was neues Supergeiles, aber du musst es nach Bedarf erstmal separat aktivieren“
Hört sich halt nicht ganz so verkaufsfördernd an wie
„Wir haben das was neues Supergeiles, und du kannst es übrigens ab Werk gleich nutzen“

Das der Suppergeil-Effekt nur in bestimmten Konstellationen auftritt, wird seitens der Hersteller dabei übrigens genau so gerne unterschlagen, wie auch sämtliche Nebenwirkungen. 😔

Beste Grüsse aus BaWü

Alex
Grinskeks
Grinskeks 28.07.2021 um 10:56:19 Uhr
Goto Top
Zitat von @MysticFoxDE:

Das sehe ich etwas anders. Es ist ja auch nicht die Regel, dass man nach einem Fahrzeugkauf sofort zum Leistungsstand fährt und erstmal prüft ob die Motorleistung auch genau dem entspricht, was man bestellt hat und was auch in den Fahrzeugpapieren angegeben ist. Und wenn es doch jemand mal genauer wissen möchten, dann muss er halt eben zu einem „Spezialisten“ und diese sauber vermessen lassen.

Beim Autokauf ist es in der Regel auch weniger komplex, da ich mich für eine vordefinierte und vor allem standardisierte Leistung entscheide, die ein Komplettpaket darstellt. Vergleiche sind zudem einfacher, da es nennenswerte Stückzahlen mit gleicher Konfiguration gibt.
Auch hier ist das Steuergerät des Fahrzeugs nicht auf Performance ausgelegt - aber die angegebene Leistung ist zumindest erwartbar. Chiptuner holen trotzdem nochmal einiges raus (mehr Leistung, Drehmoment, geringerer Verbrauch etc.)

Richtig vergleichbar wäre es, wenn ich mir aus allen verfügbaren Chassis, Motoren, Turboladern, Getrieben etc. zusammenstelle, was optisch und technisch passt und dann erwarte, dass das Steuergerät schon dafür sorgt, dass alles optimal unterstützt wird.

Ich gebe dir Recht - die Hersteller sind in der Pflicht, es besser zu machen. Etablierte und standardisierte Messmethoden und Vorgaben würde es einfacher machen. Leider reichen PS, Drehmoment(kurve), VMax und Bremsweg nicht aus und es gibt keinen, der das regulieren kann / möchte.

Gruß
Grinskeks
StefanKittel
StefanKittel 28.07.2021 aktualisiert um 11:14:32 Uhr
Goto Top
Zitat von @MysticFoxDE:
Die Standardkonfigs sind meist sehr defensiv ausgelegt, was ich aus Herstellersicht nachvollziehen kann.
Ich nicht. Es gibt schon Performanceprofile im BIOS und diese habe ich überall auf „Performance“ gestellt und dennoch bekomme ich keine. 😡

Ich schon,
ich ahne folgendes, was bei solchen Anbietern eigentlich nicht auftreten dürfte.

Der Server wird optimal konstruiert und die erste Serie gefertigt.
Dann findet Jemand einen Bug und liefert eine Umgehung des Bugs.

Vieleicht sagt nun ein versierter Techniker: Das wird auswirkungen auf die Performance haben.
Das müssen wir testen, dokumentieren und schauen wie wir den Bug besser beheben können.

Antwort Abteilungsleiter Technik: Ne, dass Ding steht ja schon beim Kunden. Ich brauche jetzt ASAP sofort einen Fix den wir noch schnell in mit einem BIOS-Update reinhauen können.
Techniker: Dann müssen wir das aber zumindest dokumentieren und in den BIOS-Profilen anpassen damit die Leute damit umgehen können.
Antwort Abteilungsleiter Technik: Ne, das würde ein schlechtes Licht auf uns werfen. Das bekommt schon keiner mit.

Ende der Fahnenstange...

Wenn solche technischen Problem aktuell vorhanden sind, wie konnten die damals zum Mond fliegen? Nur mit Lötkolben, 2-3 Chips und Tape?
MysticFoxDE
MysticFoxDE 28.07.2021 aktualisiert um 16:09:13 Uhr
Goto Top
Moin Stefan,

ich ahne folgendes, was bei solchen Anbietern eigentlich nicht auftreten dürfte.

der sogenannte "solchen Anbieter" ist übrigens kein geringerer wie Intel selbst, ja das Chassis ist auch von Intel und auch die Optane boot SSD, auch die NIC's, nur der RAM ist von HYNIX und der HBA ist von BROADCOM.
Sprich, der Grossteil sind Referenzkomponenten und bei diesen darf so ein Murks einfach nicht passieren.

Gruss Alex
MysticFoxDE
MysticFoxDE 30.07.2021 um 09:54:31 Uhr
Goto Top
Moin Frank,

ich hab dir ja gesagt, das deine Uncore-Frequenz zu niedrig ist.... ist sie aber immernoch, da ist noch luft nach oben!

aber nicht wenn das Board mit 24 Riegeln bestückt ist, dann gehen bei dieser CPU und auch anderen max. nur noch 2666.
stimmt... habe ich nicht bedacht face-smile


Uncore-Frequenz sollte auf 2999 stehen, und auf deine SPD werte warte ich noch 😁
und da warte ich noch face-smile

Mal unabhängig von 2999 oder 2666 mit ~2393 ist diese dennoch nicht ganz korrekt. 🤔
sach ich doch 🤭

ich habe mich gestern Abend nochmals intensiv mit dem Thema DRAM Frequenz beschäftigt und das folgende herausgefunden.
Das was CPU-Z da ausgespuckt hat, ist vollkommen richtig!
Um deine reale DRAM Frequenz zu ermitteln musst du lediglich den Wert der in CPU-Z unter „DRAM Frequency“ dargestellt wird mal zwei nehmen.

Bei meinem Server bedeutet dies:
cpuz_server_2

1329,9 MHz * 2 = 2659,8 MHz
Somit läuft der RAM im Server mit fast 100% der angepeilten 2666 MHz. 😀

Das Thema „Uncore Frequency“ bin ich auch etwas aufgearbeitet. Das ist die Frequenz mit der der „CPU Cache und Memory Controller“ läuft.

Bei meiner Workstation kann ich diesen im BIOS auch optimieren und habe den vorhin mal auf die Frequenz des RAM’s angehoben. Ja OK nicht ganz, ich musste den RAM auf 3000 absenken, da der Rechner mit einer CPU Cache Frequenz von 3200 nicht mehr booten wollte. Mit RAM- & CPU Cache Frequenz auf 3000 MHz läuft dieser jedoch ganz brav und RAM technisch ca. +5% schneller. 😀

cpuz_workstation_2

passmark_ram

Am krassesten finde ich die Veränderung bei der Latenz. Vorher kam ich auf 50ns und nun ist diese bei 41ns. 😀

Die Werte schaffe ich mit dem Server nun aber ganz sicher nicht, aber ich werde über das WE mal den Workstation RAM auf die Parameter des Servers setzen und bin gespannt was dieser dann noch leistet. 🤔

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 31.07.2021, aktualisiert am 01.08.2021 um 11:06:23 Uhr
Goto Top
Moin Frank,

leider kann / darf ich an keins der System ran, aber am WE steht neine Wartung an face-smile

ich habe jetzt keine Zeit um alle Feinheiten zu erklären, muss noch meine Hausdrachen füttern.

Wenn du an die Server ran gehst, dann schalte doch testweise auch mal den 3StrikeTimer aus,
ich habe heute den halben Tag bez. der Timer getestet und dieser Spuckt bei den Performancethema und Server 2019 auch gewaltig in die Suppe.
Ob es an der HW oder an Windows liegt weis ich noch nicht.
Sowohl Microsoft hat beim Kernel 1803 am Timing rumgefummelt als auch Intel bei den neuen XEONS. 🤢
Siehst du auf deinen Servern noch einen HPET Timer?

Oh oh, die Hausdrachen laufen schon fauchen durch die Gegend, ich muss. 😜

Beste Grüsse aus BaWü

Alex
Vision2015
Vision2015 01.08.2021 um 11:20:31 Uhr
Goto Top
Moin...
Zitat von @MysticFoxDE:

Moin Frank,

leider kann / darf ich an keins der System ran, aber am WE steht neine Wartung an face-smile

ich habe jetzt keine Zeit um alle Feinheiten zu erklären, muss noch meine Hausdrachen füttern.

Wenn du an die Server ran gehst, dann schalte doch testweise auch mal den 3StrikeTimer aus,
ich habe heute den halben Tag bez. der Timer getestet und dieser Spuckt bei den Performancethema und Server 2019 auch gewaltig in die Suppe.
Ob es an der HW oder an Windows liegt weis ich noch nicht.
Sowohl Microsoft hat beim Kernel 1809 am Timing rumgefummelt als auch Intel bei den neuen XEONS. 🤢
Siehst du auf deinen Servern noch einen HPET Timer?

Oh oh, die Hausdrachen laufen schon fauchen durch die Gegend, ich muss. 😜

Beste Grüsse aus BaWü

Alex
also ich habe auf allen 6 Systemen die Bios/Firmwarer Version 02.01.0010.
ich kann da nix großartig ändern, wenn müssen alle System in abprache mit dem Pax Hersteller aktualisiert werden.
dazu gehören aber auch Labor Tests, mit das system später auch so rennt, wie es soll!
ich habe gestern aber mal den speed gemessen, ich bin etwa 20 % schneller als dein system unter server 2019 datacenter!
unter Linux ist es erwartungsgemäß sogar über 30 % Schneller!
was aber auch am höheren speicher takt liegt!
ich hoffe das ich kurzfristig noch Systeme nachbekomme, dann werde ich bei uns im labor selber mal Testen.
ich bin überzeugt, das die aktuelle Bios version buggy ist, was ja nich das erste mal wäre... oder das system ist falsch aktualisiert worden... da gibbet abhängigkeiten, die würden schon dein verhalten erklären! das haben wir schon alles durch.


Frank
MysticFoxDE
MysticFoxDE 01.08.2021 um 13:03:39 Uhr
Goto Top
Moin Frank,

herzlichen Dank für die Rückinfo.

ich habe gestern aber mal den speed gemessen, ich bin etwa 20 % schneller als dein system unter server 2019 datacenter!
unter Linux ist es erwartungsgemäß sogar über 30 % Schneller!
was aber auch am höheren speicher takt liegt!

was genau ist schneller, der RAM?
Wenn ja, gegen welchen Wert bezieht sich deine Aussage, gegen meine anfänglichen ~ 5.500 MB/s?

Beste Grüsse aus Murrhardt

Alex
MysticFoxDE
MysticFoxDE 01.08.2021 um 13:28:09 Uhr
Goto Top
Moin Frank,

kleiner Nachtrag.

ich bin überzeugt, das die aktuelle Bios version buggy ist, was ja nich das erste mal wäre...

ich beobachte den Performanceverlust über diverse Systeme hinweg schon etwas länger und auch auf der Vorgängerserie ist dieser, nach der Installation eines Server 2019, auch bereits extrem aufgetreten.

oder das system ist falsch aktualisiert worden...

Ich habe das aktuelle Testsystem schon mehrfach geprüft, die BIOS'e wurde so wie es aussieht überall sauber aktualisiert.
Habe auch schon mehrfacht auf Werkseinstellung gesetzt und mittlerweile so gut wie alle CPU und RAM Parameter einzeln durchgetestet. 😩

da gibbet abhängigkeiten, die würden schon dein verhalten erklären!

Ein paar habe ich auch schon gefunden die suboptimal Eingestellt waren, um das durchzukauen mache ich aber einen neuen Post auf. Das würde den jetzigen, von dem eigentlichen RAM Thema, zu sehr ablenken.


Gruss Alex
Vision2015
Vision2015 01.08.2021 um 15:00:49 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Frank,

herzlichen Dank für die Rückinfo.

ich habe gestern aber mal den speed gemessen, ich bin etwa 20 % schneller als dein system unter server 2019 datacenter!
unter Linux ist es erwartungsgemäß sogar über 30 % Schneller!
was aber auch am höheren speicher takt liegt!

was genau ist schneller, der RAM?
ja...auch!
Wenn ja, gegen welchen Wert bezieht sich deine Aussage, gegen meine anfänglichen ~ 5.500 MB/s?
nein...
das die beiden Linux Server bei gleicher Hardwarekonfiguration schneller sind als die windows bleche!
SQL trennt welten, und das nicht nur gefühlt!
alle Systeme haben die gleichen Bios Revisionen, gleiche einstellungen und natürlich gleiche Hardware!
wir haben wochenlang mit dem PAX Hersteller getestet, bis ein Setup festgelegt wurde!
ich werde nächste woche mal mit dem Kunden reden, ob ich Messergebnise als screenshot mitnehmen darf!
du verstehst sicher, das mir da der datenschutz im nacken sitzt, und das ich jegliches Bildmaterial absegnen lassen muss!

Frank



Beste Grüsse aus Murrhardt

Alex
Vision2015
Vision2015 01.08.2021 um 15:19:56 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Frank,

kleiner Nachtrag.

ich bin überzeugt, das die aktuelle Bios version buggy ist, was ja nich das erste mal wäre...

ich beobachte den Performanceverlust über diverse Systeme hinweg schon etwas länger und auch auf der Vorgängerserie ist dieser, nach der Installation eines Server 2019, auch bereits extrem aufgetreten.
das sehe ich auch so, mitlerweile finde ich die gesamtleistung von Hyper-V 2019 grenzwertig, sowie als Server OS!
wenn SQL im Spiel ist, wird es echt zum Drama... incl. Netzwerk...

oder das system ist falsch aktualisiert worden...

Ich habe das aktuelle Testsystem schon mehrfach geprüft, die BIOS'e wurde so wie es aussieht überall sauber aktualisiert.
Habe auch schon mehrfacht auf Werkseinstellung gesetzt und mittlerweile so gut wie alle CPU und RAM Parameter einzeln durchgetestet. 😩
wie willst du die richtige aktualisierungs reihenfolge rausfinden?

da gibbet abhängigkeiten, die würden schon dein verhalten erklären!

Ein paar habe ich auch schon gefunden die suboptimal Eingestellt waren, um das durchzukauen mache ich aber einen neuen Post auf. Das würde den jetzigen, von dem eigentlichen RAM Thema, zu sehr ablenken.
ein vergleich macht auch nur bei übereinstimmender hardware sinn...


Gruss Alex
Frank
MysticFoxDE
MysticFoxDE 01.08.2021 aktualisiert um 16:57:54 Uhr
Goto Top
Moin Frank,

ich beobachte den Performanceverlust über diverse Systeme hinweg schon etwas länger und auch auf der Vorgängerserie ist dieser, nach der Installation eines Server 2019, auch bereits extrem aufgetreten.
das sehe ich auch so, mitlerweile finde ich die gesamtleistung von Hyper-V 2019 grenzwertig, sowie als Server OS!
wenn SQL im Spiel ist, wird es echt zum Drama... incl. Netzwerk...

Das liegt aber nicht an dem SQL, der ist schon seit Jahren top.
Nach all dem was ich die letzten beiden Jahre gesehen und auch analysiert habe, geht die Performance schon beim System baden und nicht erst durch den SQL.
Wenn die RAM Performance, das Timing Handling und auch die Netzwerkkonfiguration des OS nicht i.O. sind, dann kannst du vom SQL selbst auch keine Leistung erwarten.

Warum zur Hölle wird per default auf so gut wie jeder NIC auf diesem Planeten RSC und LSO aktiviert, obwohl es für die meisten Anwendungsgebiete und auch SQL oder Oracle DB Server und auch deren Clients, ein absolutes Gift ist. 😡

oder das system ist falsch aktualisiert worden...

Ich habe das aktuelle Testsystem schon mehrfach geprüft, die BIOS'e wurde so wie es aussieht überall sauber aktualisiert.
Habe auch schon mehrfacht auf Werkseinstellung gesetzt und mittlerweile so gut wie alle CPU und RAM Parameter einzeln durchgetestet. 😩
wie willst du die richtige aktualisierungs reihenfolge rausfinden?

Nur das wir hier vom selben Reden, ich meinte die Reihenfolge in der die ROM’s des Mainboards aktualisiert werden (System ROM --> ME --> BMC --> FRUSDR).

Oder was hast du gemeint?

da gibbet abhängigkeiten, die würden schon dein verhalten erklären!

Ein paar habe ich auch schon gefunden die suboptimal Eingestellt waren, um das durchzukauen mache ich aber einen neuen Post auf. Das würde den jetzigen, von dem eigentlichen RAM Thema, zu sehr ablenken.
ein vergleich macht auch nur bei übereinstimmender hardware sinn...

Habe ja auch gerade drei Tupfer gleiche Server im Rücken, die ich noch die nächsten zwei Wochen nach Lust und Laune quellen kann. 😁

Gruss Alex
Vision2015
Vision2015 01.08.2021 um 19:22:05 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Frank,

ich beobachte den Performanceverlust über diverse Systeme hinweg schon etwas länger und auch auf der Vorgängerserie ist dieser, nach der Installation eines Server 2019, auch bereits extrem aufgetreten.
das sehe ich auch so, mitlerweile finde ich die gesamtleistung von Hyper-V 2019 grenzwertig, sowie als Server OS!
wenn SQL im Spiel ist, wird es echt zum Drama... incl. Netzwerk...

Das liegt aber nicht an dem SQL, der ist schon seit Jahren top.
Nach all dem was ich die letzten beiden Jahre gesehen und auch analysiert habe, geht die Performance schon beim System baden und nicht erst durch den SQL, sondern mit face-smile
nicht wegen SQL, sondern wenn du da
Wenn die RAM Performance, das Timing Handling und auch die Netzwerkkonfiguration des OS nicht i.O. sind, dann kannst du vom SQL selbst auch keine Leistung erwarten.

Warum zur Hölle wird per default auf so gut wie jeder NIC auf diesem Planeten RSC und LSO aktiviert, obwohl es für die meisten Anwendungsgebiete und auch SQL oder Oracle DB Server und auch deren Clients, ein absolutes Gift ist. 😡
jo, das stimmt..

oder das system ist falsch aktualisiert worden...

Ich habe das aktuelle Testsystem schon mehrfach geprüft, die BIOS'e wurde so wie es aussieht überall sauber aktualisiert.
Habe auch schon mehrfacht auf Werkseinstellung gesetzt und mittlerweile so gut wie alle CPU und RAM Parameter einzeln durchgetestet. 😩
wie willst du die richtige aktualisierungs reihenfolge rausfinden?

Nur das wir hier vom selben Reden, ich meinte die Reihenfolge in der die ROM’s des Mainboards aktualisiert werden (System ROM --> ME --> BMC --> FRUSDR).
neee, ich meine abhänigkeiten zwischen den bios versionen... du kannst nicht einfach ein update von der ersten zur letzten machen....


Oder was hast du gemeint?

da gibbet abhängigkeiten, die würden schon dein verhalten erklären!

Ein paar habe ich auch schon gefunden die suboptimal Eingestellt waren, um das durchzukauen mache ich aber einen neuen Post auf. Das würde den jetzigen, von dem eigentlichen RAM Thema, zu sehr ablenken.
ein vergleich macht auch nur bei übereinstimmender hardware sinn...

Habe ja auch gerade drei Tupfer gleiche Server im Rücken, die ich noch die nächsten zwei Wochen nach Lust und Laune quellen kann. 😁

Gruss Alex

Frank
MysticFoxDE
MysticFoxDE 02.08.2021 um 22:25:03 Uhr
Goto Top
Moin Frank,

ich habe soeben bez. des ganzen RAM Performance Themas einen Support-Call bei Intel aufgemacht, mal schauen was nun zurückkommt. 🤔

Gruss Alex
Assassin
Assassin 03.08.2021 um 11:56:11 Uhr
Goto Top
Alex, du hattest weiter oben ein "Konfigurations-WIKI" genannt...hast du da deine gefundenen werke irgendwo zusammen gefasst, was man wie am besten einstellen sollte?
MysticFoxDE
MysticFoxDE 03.08.2021 um 12:19:34 Uhr
Goto Top
Moin Assassin,

Alex, du hattest weiter oben ein "Konfigurations-WIKI" genannt...hast du da deine gefundenen werke irgendwo zusammen gefasst, was man wie am besten einstellen sollte?

Ja, ich habe meinem Hirn dem Letzt ein Update um ein Tier3 Storage in Form von Obsidian gegönnt und dort die meisten meiner jüngsten Erkenntnisse bereits mit abgelegt. 😎

https://obsidian.md/

Kann ich für ein anständiges Hirnbackup nur wärmstens empfehlen. 😜

Und ein kunterbuntes Auswertungsexcel ist gerade auch noch am Backen. 😁

Sprich, das Endrezept ist am werden aber momentan noch nicht ganz fertig.
Ich habe mich die letzte Woche sehr exzessiv um die reine Hardwareperformance gekümmert, dann kommt noch das OS selbst und dann noch der der Hypervisor + SDN oben drauf.

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 03.08.2021 um 20:54:18 Uhr
Goto Top
Moin Zusammen,

kleines Update zu:

ich habe soeben bez. des ganzen RAM Performance Themas einen Support-Call bei Intel aufgemacht, mal schauen was nun zurückkommt. 🤔

Nice, habe soeben eine Rückinfo auf mein Ticket bekommen, dieses ist ohne jegliche Rückfrage vom Level1 an Level2 weitergeleitet worden. 😀

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 03.08.2021 aktualisiert um 22:21:50 Uhr
Goto Top
Moin Zusammen,

mit dem folgenden Beitrag möchte ich gerne die Vorwürfe aufgreifen, das mein Workstation-RAM ja ganz anders sein wie mein Server-RAM und ich diese daher untereinander nicht vergleichen kann.

Ich habe diese Vorwürfe keineswegs überhört, im Gegenteil, im habe mir diese sehr zu Herzen genommen und habe daher soeben in einer einzigartigen Operation, meinen Workstation-RAM auf die gleichen Eigenschaften, wie der im Server verbaute RAM’s besitzt (natürlich exclusive ECC), herunterkastriert. 🔪👨‍⚕️😷 ...

Siehe Beweisfotto. 🤪
workstation_ram_kastration

Wenn ich nun das „ADDDC Sparring“ deaktivieren, dann sieht die Performancegegenüberstellung folgend aus.
noadddcsparring

Die Singel-Thread Memory Performance ist auf dem Server deutlich besser wie mit eingeschaltetem „ADDDC Sparring“ und auch sonst ist die Gesamtleistung des Systems deutlich besser geworden.

Von den ~12.000 MB/s lesend, respektive ~13.500 MB/s schreibend die meine Workstation hinlegt, ist der Server aber noch ein ganzes Stückchen entfernt und ich sehe bisher absolut keinen Logischen Grund dafür. 🤢

Ich komme in dem nächsten Post noch auf eine weitere Optimierungsmassnahme zu sprechen, die die RAM Performance bei Server nochmals deutlich anhebt, aber leider auch mit deutlichen Nachteilen in anderen Bereichen verbunden ist.

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 03.08.2021 um 23:44:53 Uhr
Goto Top
Moin Zusammen,

nun kommen wir zu der im vorherigen Post angekündigten zweiten Optimierung.
Durch anpassen von „IMC Interleaving“ auf „1WAY“ und aktivieren von „Sub_NUMA Cluster“ im BIOS des Servers, hat sich die (Single-Thread) RAM Performance des Servers nochmals deutlich verbessert.

noadddcsparring_imc1way&snc

Die Leseperformance ist nun sogar höher wie bei der Workstation, bei der Schreibperformance fehlen jedoch noch ~3.000 MB/s.

Somit eigentlich 😀 … aber, die CPU Performance ist in Summe um ca. 10% eingebrochen, und bei Einzeldisziplinen sogar weit darüber hinaus. ☹

Ferner hat das aktivieren dieser Optionen in einem ganz anderen Bereich zu einer sehr interessanten Beobachtung/Verhalten geführt, nämlich im Bereich der Netzwerkkarten und zwar betreffend des RssProcessorArray.

Wenn die oberen Optionen aktiv sind, dann sieht das RssProcessorArray einer der im Server verbauten 10G NIC’s folgend aus.

noadddcsparring_imc1way&snc_rss

Es stehen nur noch die Hälfte der Kerne mit Kosten/Latenz=0 zur Verfügung und diese sind auch nicht zusammenhängend. Sprich, ich habe bei einer 10G NIC so keine Möglichkeit, manuell der entsprechenden NIC für die RSS Verarbeitung vier zusammenhängende Kerne zu verpassen, so wie dies übrigens seitens des Herstellers selbst empfohlen wird. 😱

Und bei „IMC Interleaving“ auf „2WAY“ und deaktiviertem SNC sieht es hingegen folgend aus.
noadddcsparring_imc2way&nosnc_rss

Hier habe ich 18 zusammenhängende Kerne mit Kosten/Latenz = 0, die ich schön zur je 4er Bündel den 4 10G NIC’s des Servers zuordnen kann.

Gerade aus dem zuletzt genannten Grund, würde ich momentan davon abraten, die in diesem Post erwähnten Optimierungen (IMC Interleaving“ auf „1WAY“ und aktivieren von „Sub_NUMA Cluster“) im Produktivbetrieb zu verwenden, vor allem nicht in einer Hypervisorumgebung.
Es bring in der Gesamtbetrachtung absolut nichts, wenn die Daten zwar schnell in den RAM geladen werden können, dafür dann aber auf dem Weg zum Client bei den NIC‘s ausgebremst werden.

Ich habe bisher übrigens 0 Dokumentation seitens der Hersteller gefunden, die auf die ober gefundenen „Verhältnisse“ klar und deutlich hinweist und diese auch logisch und technisch begründet. 🤮

Die Suche nach der optimalen Lösung geht somit munter weiter. 😎

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 04.08.2021 um 00:36:32 Uhr
Goto Top
Moin Lks,

noch ein kleiner Nachtrag zu dem hier:

Wenn man einzelnen User viel Leistun geben will, stellt man denen Workstations hin.

Jup, z.B. so ne DELL Precision 7920 oder eine Lenovo P920.
Basiert übrigens auf 1:1 denselben Komponenten wie auch ein/mein Server. 😉

Beste Grüsse aus BaWü

Alex
MysticFoxDE
MysticFoxDE 28.10.2021 aktualisiert um 10:21:17 Uhr
Goto Top
Moin Zusammen,

folgend ein kleines Update.

Ich habe im Zuge einer anderen "Ermittlung" gestern Abend mein SFB 2 (SurfaceBook 2 / Laptop) mit einem Windows 10 1703 bespielt und anschliessend seine Over-All-Performance unter Standardeinstellungen kurz mal mit dem Performancetest von Passmark ermittelt.
Bei einer bestimmten stelle musste ich mehrfach hinsehen, weil ich die Ergebnisse des Servertests noch im Kopf hatte und zwar bei der ermittelten RAM-Performance.
Gemäss Passmark bringt mein SFB 2 bestückt mit 16 GB DDR3 RAM die mit 1066 MHz im Dualchannel laufen die folgende Leistung.

sfb2

Und hier nochmals zur Erinnerung, die Leistungswerte des mit zwei Xeon Gold 6254 und Hexachannel DDR4 bestückten High-End-Servers unter Windows Server 2019.

server

Mir fehlen momentan immer noch die richtigen Worte, daher …

@microsoft
😧 … 😖 … 😱 … 😠😡👿

Beste Grüsse aus BaWü

Alex