roland567
Goto Top

Hypervisor Host 1x HighCore oder 2x LowCore

Hallo Admins,

ich würde gerne dieses Thema mal diskutieren, da vermutlich immer mehr vor dieser Frage stehen werden.
Wir werden dieses Jahr 4 vSphere Host ersetzen.
Nun stellt sich die Frage, wie der Host aussehen könnte/sollte/müsste.

Ich liebäugle mit AMD, aber ist ebenfalls ein Intel Thema.

Die Frage die sich mir stellt.
verwende ich besser 1x eine 64 Core CPU oder verwende ich 2x 32 Core CPU's Pro Host?
Beim Ram braucht es ja für gute Performance 12 Ram-Module/CPU (bei AMD)
Also auch hier wären es dann 12x 128GB oder 24x 64GB

Hat hier jemand tiefere Kenntnisse zu diesen Themen?
NUMA ist hier ja sicherlich ein Kriterium. Was sagt VMware dazu?
Hat hier vielleicht sogar jemand einen Vergleich und ebenfalls dies mal durchgespielt?

Zu den Workload's kann ich soviel sagen, dass wir alles möglich an VM's auf den Host's betrieben.
einige SQL Cluster (AAG), Exchange, KIS, ERP, DWH, und und und. Also eigentlich alles querbeet, was man so braucht.
von VM's mit 2 vCPU's bis VM's mit 10/12/16 vCPU's; vereinzelt Reserviert
von VM's mit 4GB vRam bis VM's mit >200GB vRam; vereinzelt Reserviert

Ich bin gespannt, was ihr dazu vermeldet.
Und nicht vergessen; denken ist Glückssache. Sollte/müsste/könnte hilft uns eher nicht wirklich weiter. face-smile face-smile

Vielen Dank für euer Feedback
Gruss Roland

Content-ID: 6436567464

Url: https://administrator.de/contentid/6436567464

Ausgedruckt am: 21.11.2024 um 08:11 Uhr

2423392070
2423392070 20.03.2023 aktualisiert um 21:12:29 Uhr
Goto Top
Mach doch einfach eine Auswertung diesbezüglich.
Und prüfe ob zwei Paare Hosts mit unterschiedlichen Stärken in Betracht kommen.

Wir haben ein MS SQL Cluster auf Hardware, das bleibt auch dort wegen der Eigenheiten von MSSQL beim Konsumieren von RAM.
Das ist aber in einer Benchmarks nur zufällig zu sehen.

Die Summe der Threads und deren Bearbeitung ist meistens wichtiger als Takt. Aber nicht immer.

Also, ohne Infos, nur Geschwurbel hier.
Roland567
Roland567 20.03.2023 um 12:38:14 Uhr
Goto Top
Hallo,

den Takt habe ich in der Fragestellung eigentlich gar nicht berücksichtigt und gehe eher von ähnlichen bzw. gleichem Taktfrequenz aus.
Die Fragestellung geht rein ums Thema 1 oder 2 CPU's mit 64 Core's PRO Host
Vermutlich ist mein Betreff hier etwas zweideutig zu interpretieren.
Hier meine Interpretation face-smile
HighCore = 64 Core's
LowCore = 32 Core's
aktuell unwichtig, aber Tendenziell geht es um EPYC 1x 9554 vs. 2x 9354, welche in etwa ähnliche F Base und F Max GHz Zahlen haben, wobei der 64 Corer leicht höher getaktet wäre. Cache mit 256 MB ebenfalls identisch.
Aber klar, mit 2 CPU's hat es auch 2x 256 MB Cache zur Verfügung.

Ich hoffe damit ist es klarer.

Und noch zum Thema SQL. Wir haben zumindest ein DWH, wo der Lieferant deutlich mehr Wert auf GHz anstelle Core's legt. Mit unverständlich, aber es gibt wohl noch immer Entwickler die beim SingleThread "Zuhause" sind. face-smile
Aber ich bin kein Entwickler und muss auch nicht immer alles verstehen. face-smile
2423392070
2423392070 20.03.2023 um 13:14:52 Uhr
Goto Top
Ich persönlich stehe auf Dichte.

Heißt weniger Hosts mit mehr CPU und RAM usw...
Ansonsten würde ich die Lizenzierung nicht vergessen zu prüfen vorher.
Roland567
Roland567 20.03.2023 um 13:55:01 Uhr
Goto Top
Naja das Klumpenrisiko darf man da aber auch nicht wirklich vernachlässigen.
Ich bin mit 64 Core's Pro Host schon sehr gut verdichtet und schon eher im grenzwertigen Bereich.
Da laufen aktuell 40 VM's/Host. Mehr möchte ich sicherlich nicht verdichten.
Andere ältere Hardware mit weniger VM's sollen nun eben auch ersetzt werden und somit auch Host's reduziert werden.

Lizenzen habe ich IMMER im Auge, keine Sorge.
ukulele-7
ukulele-7 20.03.2023 aktualisiert um 14:26:00 Uhr
Goto Top
Also rein mathematisch sollte sich das nicht viel tun wenn die CPUs wirklich identische Specs haben und nur der eine die hälfte der Kerne des anderen hat dann sollte das in etwa gleich schnell sein. "In etwa", weil natürlich bei bestimmten Workloads dann eventuell RAM nicht optimal adressiert werden kann, sprich NUMA. Rein technisch wäre eine single CPU daher "überlegen", auch weil natürlich besser aufgerüstet werden könnte.

Dafür konzentrierst du zwangsläufig mehr Wärme auf eine kleinere Fläche, hast also mehr Aufwand in der Lüftung. Zwei CPUs können mehr RAM ansteuern als eine. Auch trifft dich ein Ausfall der einen Komponente härter als wenn du die Last verteilst. Eine CPU mag nicht so schnell versagen aber wenn die Wahl zwischen einen Host und zwei Hosts hast (statt zwischen 10 und 20) dann ist das ein sehr relevanter Punkt.

Im realen Leben ist die Fragestellung aber einfach Schwachsinn, sry. Du hast selten die Wahl zwischen identischen CPUs mit nur unterschiedlichen Kernen, die werden ja nicht einfach zusammengeklebt (auch in deinem Beispiel unterscheiden sich der Basistakt, der Takt, und das Verhältnis L2/L3-Cache). Dann ist eine einzelne CPU mit entsprechend Kernen natürlich ganz anders bepreist. Das mag sich am freien Markt ähneln aber du baust ja den Server nicht selber, vermutlich bist du eher von Preisen eines großen Lieferanten abhängig. Und der Markt rechnet nun mal nicht in MHz ab sondern folgt anderen Faktoren.

Viel wichtiger finde ich 1) Lizensierung und 2) dann konkrete Angebote. Häufig kriegt man ja das was weg muss ziemlich günstig und alles andere nur zu Mondpreisen. AMD finde ich gut allerdings bin ich ein Freund von Single Thread Performance weil es in der Lizensierung billiger wird. Pervers aber leider im Moment so gewollt. (Okay hier bin ich nicht auf dem laufenden, aber als der Epyc neu war hatte ich mich daher noch für Intel entschieden.)
Roland567
Roland567 20.03.2023 aktualisiert um 15:36:05 Uhr
Goto Top
Hallo Ukulele,
danke für deine Inputs.

Ich habe tendenziell nicht vor, später aus einem Single CPU ein DualCPU zu bauen.
Ich würde mich dann ggf. eher auf einen SingleCPU Server konzentrieren.
In HPE Sprache gesprochen, ein DL345/DL325 G11 anstelle DL385/DL365 G11

Wärme Thema ist aber eigentlich nicht mal so tragisch.
64 Core = 360 Watt (320-400)
2x 32 Core = 560 Watt (480-600)
Also der 64er deutlich (günstiger) unterwegs; Greta würde es mir danken. face-smile
Und wenn man noch die RAM Riegel mit rechnet, welche man in doppelter Anzahl benötigt, sieht die Strombilanz nochmals deutlich schlechter aus bei 2 CPU's.

Den Preis stelle ich mal ganz hinten an, da es in diesem Range auf 1 oder 2k nicht mehr so wirklich ankommt.
Ich liege eh meist bei min. 20k für einen "guten" Host. Und davon ist in der Regel die 1/2 eh auf die Ram zurück zu führen.

Ich wollte die Diskussion eher rein technisch führen unter dem Aspekt was technisch Sinnvoller ist und mir über alles gerechnet die bessere Performance liefert; vor allem unter vSphere.

Für mich ist die Fragestellung schon Sinnvoll, da eben bei AMD die GHz Zahlen sehr ähnlich sind.
Bei Intel geben ich dir recht, dass es hier nahezu nicht möglich ist und somit nicht annährend zum Vergleichen taugt; zumal hier auch viele mit unterschiedlichen Cache daher kommen.
Ist alles bei den erwähnten EPYC 1x 9554P vs. 2x 9354 nicht der Fall, wie auch schon die Modellbezeichnung erahnen lässt; beides 54er Modelle. Das P wäre die SingleSocket Variante und Preislich auch deutlich günstiger.

Wie gesagt; Lizenzierung habe ich im Griff;
Die neuen CPU's sind keine Haldenware und somit wird es eh keine Ladenhüter zu günstigen Preisen geben.
2423392070
2423392070 20.03.2023 um 15:56:47 Uhr
Goto Top
Technisch sinnvoller ist ein verdichtetes System. Weniger Latenz, mehr Bandbreite.. usw ..
ukulele-7
ukulele-7 20.03.2023 um 16:08:33 Uhr
Goto Top
Dann würde ich vermutlich auch die 1 CPU Variante wählen. Das P gibt es beim 9354 auch, steht vermutlich für Performance. Ist also eventuell ein leicht anderes Modell.
Roland567
Roland567 20.03.2023 um 17:43:46 Uhr
Goto Top
P ist definitiv "1P Only" , also 1 CPU Modell.
Siehe Grafik
amd_epyc4
epyc_naming
ukulele-7
ukulele-7 21.03.2023 um 08:19:20 Uhr
Goto Top
Ist die Einschränkung dann künstlich? Ich verstehe den Sinn nicht so richtig, der nicht-P lässt sich doch bestimmt auch als Single Core betreiben.
Roland567
Roland567 21.03.2023 um 09:18:38 Uhr
Goto Top
Ich gehe auch davon aus, dass es ein Stückweit künstlich ist. Marketing muss man nicht immer verstehen.
Allerdings kannst du oben sehen, dass NUR der P in ein Single CPU Server passt (DL325/345).
Aber den "normalen" kann man in einem Dual CPU Server sicherlich als Single verwenden.

Vermutlich haben sie am Chipset auf dem Board da etwas "gedreht".
Aber eben, dafür ist der P auch deutlich günstiger.
Hab da im Internet folgendes dazu gefunden
Epyc 9554 64 / 128 3.10 / 3.75 GHz 360W $9,087
Epyc 9554P 64 / 128 3.10 / 3.75 GHz 360W $7,104
bei Abnahme 1'000 Stück face-smile (Stand Nov. 2022)
Bei den "kleineren" CPU's nicht ganz so ein grosser Unterschied.
Epyc 9454 48 / 96 2.75 / 3.80 GHz 290W $5,225
Epyc 9454P 48 / 96 2.75 / 3.80 GHz 290W $4,598
Epyc 9354 32 / 64 3.25 / 3.80 GHz 280W $3,420
Epyc 9354P 32 / 64 3.25 / 3.80 GHz 280W $2,730
Roland567
Lösung Roland567 08.04.2024 um 15:49:47 Uhr
Goto Top
Mal noch so nachträglich zur Info.
Wir haben uns bei einem Cluster für die P Variante entschieden. (9354P)
Beim SQL Cluster gab es leider keine passenden CPU's und haben uns dadurch für ein 2 CPU Server (2x 9174F) entschieden. Der 9374F hätte zwar gleich viele Core's, aber die GHz sind geringer.
Da hier Performance mehr Prio hat, eben halt 2x der kleineren.

Von HPE kam ansonsten eigentlich auch die Aussage, besser nur eine CPU, wegen dem NUMA Vorteil.
ukulele-7
ukulele-7 09.04.2024 um 08:38:25 Uhr
Goto Top
Wir haben seit Anfang des Jahres übrigens einen 9274F, schönes Teil. Habe ich glaube ich im Oktober bestellt und ich weiß noch, das der 9174F bei HPE da unfassbar teuer war, vermutlich irgendwie wegen Lieferengpass aber eben auch wegen der extrem hohen Taktung.
Roland567
Roland567 09.04.2024 um 09:57:28 Uhr
Goto Top
2x 9274F wäre dann für MS-SQL Server Enterprise Core Lizenzierung wieder deutlich teurer für uns geworden.
leider kann/darf man heute nicht mehr nach technischen Argumenten bestellen, sondern alles hat irgendwo im Hintergrund ein Lizenzierung zur Folge.
Nun ja leider auch mit vSphere.
Solche Dinge ärgern mich wirklich sehr.
Wie schön war es noch zu der Zeit, als man einfach bestellen konnte, was aus technischer Sicht am besten war.
Leider für immer vorbei.

Und ja, der 9174F ist vermutlich einer der teuersten CPU's, wenn man dies Pro GHz rechnet.
So zumindest meine damaligen Recherchen.
Aber da ich meine Hardware in der Regel 7-10 Jahre im Einsatz habe, ist dies auf diese Dauer vernachlässigbar.
Ein Top ausgestatteter Server (über)lebt einfach auch ein paar Jahre länger im DataCenter.
Andere kaufen in dieser Zeit 2x Server. Da spar ich mir doch lieber den zusätzlichen Austausch. face-smile
ukulele-7
ukulele-7 09.04.2024 aktualisiert um 10:37:07 Uhr
Goto Top
Die F Modelle sind alle technisch sehr schön.

Um das aber mal zu konkretisieren: Im Oktober 2023 hatte ich Angebote bekommen. Das identische Komplettsystem lag bei
16.105,00 Euro mit 2x 9174F 16 Core @ 4,15 bis 4,40 GHz
14.275,00 Euro mit 2x 9274F 24 Core @ 4,10 bis 4,30 GHz
18.332,00 Euro mit 2x 9374F 32 Core @ 4,10 bis 4,30 GHz
und nein da ist kein Zahlendreher im Preis. Ich kenne die einzelnen CPU Preise nicht weil das ja immer Komplettangebote sind aber ich gehe davon aus das eine 9374F bei ~ 4.500 Euro liegt also hätte man z.B. die selbe Anzahl Kerne (also gleiche Lizenzkosten) von 2x 9174F auch mit 1x 9374F zu leicht reduziertem Takt bekommen. Das ganze dann für ca. 13.800 Euro quasi ohne NUMA im Betrieb bzw. weitere CPU nachrüstbar, ist schon attraktiv.

Habt ihr euer SQL Cluster exklusiv auf einem Host laufen und dann 2x SQL als VM? Mit dem SQL 2022 darf man ja OEM Core Lizenzen nicht virtualisieren, weil keine SA. Bei den Preisen überlegt man sich direkt ob man nicht vielleicht 2x Blech kauft und auf bare metal SQL betreibt.
Roland567
Roland567 09.04.2024 aktualisiert um 11:13:03 Uhr
Goto Top
Hier mal die LISTEN-Preise, welche ich zum Zeitpunkt xy hatte.
Preis / Core / Ghz = Preis pro GHz
Model -HPE LP -Core pro CPU -GHz -Preis pro GHz

9554-20’694 USD-64-3.1-104 USD
9354-8’764 USD-32 -2.8-98 USD
9334-6’907 USD-32 -2.6-83 USD
9254-5’059 USD-24 -2.5-84 USD
9474F-17’886 USD-48-3.3-113 USD
9374F-11’087 USD-32-3.4-102 USD
9274F-7’883 USD-24-3.5 -94 USD
9174F-8’273 USD-16 -4.1-126 USD
9554P-16’179 USD-64-3.1-82 USD
9354P-5’870 USD-32-2.8-66 USD

Ich lizenziere eigentlich die beiden Server komplett
-vSphere Enterprise Lizenzen
-MS Windows DataCenter (Mietmodell, also jährliche Bezahlung)
-MS-SQL Enterprise (Mietmodell, also jährliche Bezahlung)

Darauf kann ich dann so viele SQL VM's betreiben, wie mir beliebt und muss mich NICHT um die einzelnen VM's kümmern. Ich habe da mehrere SQL-Cluster (AAG), Standalone SQL Server, RS Server, AS Server, SIS Server
Also rund 25 VM's mit überwiegend SQL Enterprise
Die beiden Host's haben zusammen 3 TB Ram Onboard face-wink ; den mit Ram sollte man bei SQL nichts sparen.
Ram ist eigentlich Vollausbau (Anzahl Riegel) und sollte die nächsten 5 Jahre für SQL reichen (so die Hoffnung) face-smile
Vollausbau deswegen, da hier die beste Performance gegeben. 1 Riegle pro Channel.
ukulele-7
ukulele-7 09.04.2024 um 13:13:28 Uhr
Goto Top
Okay die SQL Lizenz ist mal groß genug damit sich das lohnt face-smile

Wo hast du denn die Listenpreise her? Ich hatte bei meiner vorletzten Anschaffung (~2018) eine komplette xls gefunden, bei dem Epyc habe ich ewig dannach gesucht. Ich glaube, HPE passt die Listenpreise den kompletten Produktzyklus nicht an. Dennoch super nützlich um die CPU Modelle miteinander zu vergleichen. Kannst du mir die Liste eventuell schicken?
Roland567
Roland567 11.04.2024 aktualisiert um 14:36:45 Uhr
Goto Top
Ich habe sie vermutlich aus dem HPE Product Bulletin Tool raus gesucht.
Kennst du das Tool? (Ist ein Offline-Tool, was zuerst mal sehr viel runterladet und dann jedes Mal beim Öffnen schaut, ob es Updates gibt)
Rechte Maustaste auf der Produktnummer und es erscheint in den meisten Fällen der "Internet Price", welches dem US Listenpreis entspricht.

Ich liebe dieses Tool seit Jahr(en)-zehnten, da hier einfach ALLES drinnen ist, was es für das jeweilige System als Optionen gäbe. Sei es für Server, Netzwerk, Storage, SAN, etc.
Historisch bedingt, zeigt es auch die ganze HP Palette an (also das ganze Clientgedöns).

UND: man findet auch die ganzen Informationen der früheren Generationen, falls man da mal etwas nach Jahren sucht, weil man noch aufrüsten möchte.

Ich würde mir dies gerne auch bei anderen Herstellern wünschen. Aber da muss man meist sehr mühsam über die Homepage alles zusammen suchen. bei alten Sachen wird es dann meist mühsam. Bei den Preisen hört der Spass dann meist ganz auf.

hope it helps

Roland
ukulele-7
ukulele-7 12.04.2024 um 00:44:21 Uhr
Goto Top
Klingt gut, gucke ich mir mal an. Muss man warscheinlich alle Daten einzeln raus ziehen aber besser als nix.