10
Gedankenspiel - Lenovo-Server mit AMD Epyc 32 core und NVME SSDs
Hallo,
ich schaue gerade für ein Projekt nach einem Allround-Server für vSphere mit mehreren Windows VMs.
Neben den üblichen Dual-Xeon und Enterprise-SSD-RAIDs ist mir nur gerade der Lenovo SR655 ins Auge gesprungen.
https://www.datacenter-insider.de/lenovo-stellt-seine-ersten-server-mit- ...
Die CPU Leistung passt für das Projekt und die NVME-SSDs sind viel schneller als normale Enterprise-SSDs und kosten auch nur die Hälfte.
Also, wo ist der Haken?
Nehmt mal einen Taschenrechner und rechnet aus was für ein IO 6x RAID10 für 4 NVMEs dabei rauskommt.
Lösung: Das Ding hat für die NVMEs keinen RAID-Controller.
hmmm.... doof...
was kann man denn damit machen? vSphere auf einem USB Stick und alle OS mit Software-RAID?
Alles mit vStorage braucht einen 2. Server.
klingt jetzt nicht so prickelnd.
Aber, soweit ich das in der technischen Doku verstanden habe, kann man normale HDDs, SSDs und NVMEs mischen.
Und für die normalen gibt es dann auch Hardware-RAID-Controller.
Sagen wir mal die OS der VMs kommen alle auf die Hardware-RAIDs. Da ist ja meist auch wenig los.
Mit den NVME erstellt man dann in den VMs Software RAIDs.
Ergebnis: Sehr schnelles IO, Sicherheit für die OSe, doppelte Speicherkapazität oder reduzierte Kosten.
Ja, alle Faktoren müssen immer zu den Anforderungen und dem Projekt passen.
Es ist mehr eine Grundsatzfrage die davon abhängt die zuverlässig diese NVMEs funktionieren.
Und das kann ja noch keiner beantworten. Aber deshalb solche Server erst in 3 Jahren einsetzen...
Wie ich gerade feststelle ist das hier mehr ein Brainstorming mit mir selber
Bleibt eigentlich nur die Frage was man mit einem Server mit NVMEs ohne Hardware-RAID überhaupt machen kann?
Stefan
ich schaue gerade für ein Projekt nach einem Allround-Server für vSphere mit mehreren Windows VMs.
Neben den üblichen Dual-Xeon und Enterprise-SSD-RAIDs ist mir nur gerade der Lenovo SR655 ins Auge gesprungen.
https://www.datacenter-insider.de/lenovo-stellt-seine-ersten-server-mit- ...
Die CPU Leistung passt für das Projekt und die NVME-SSDs sind viel schneller als normale Enterprise-SSDs und kosten auch nur die Hälfte.
Also, wo ist der Haken?
Nehmt mal einen Taschenrechner und rechnet aus was für ein IO 6x RAID10 für 4 NVMEs dabei rauskommt.
Lösung: Das Ding hat für die NVMEs keinen RAID-Controller.
hmmm.... doof...
was kann man denn damit machen? vSphere auf einem USB Stick und alle OS mit Software-RAID?
Alles mit vStorage braucht einen 2. Server.
klingt jetzt nicht so prickelnd.
Aber, soweit ich das in der technischen Doku verstanden habe, kann man normale HDDs, SSDs und NVMEs mischen.
Und für die normalen gibt es dann auch Hardware-RAID-Controller.
Sagen wir mal die OS der VMs kommen alle auf die Hardware-RAIDs. Da ist ja meist auch wenig los.
Mit den NVME erstellt man dann in den VMs Software RAIDs.
Ergebnis: Sehr schnelles IO, Sicherheit für die OSe, doppelte Speicherkapazität oder reduzierte Kosten.
Ja, alle Faktoren müssen immer zu den Anforderungen und dem Projekt passen.
Es ist mehr eine Grundsatzfrage die davon abhängt die zuverlässig diese NVMEs funktionieren.
Und das kann ja noch keiner beantworten. Aber deshalb solche Server erst in 3 Jahren einsetzen...
Wie ich gerade feststelle ist das hier mehr ein Brainstorming mit mir selber
Bleibt eigentlich nur die Frage was man mit einem Server mit NVMEs ohne Hardware-RAID überhaupt machen kann?
Stefan
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 521255
Url: https://administrator.de/contentid/521255
Ausgedruckt am: 24.11.2024 um 20:11 Uhr
10 Kommentare
Neuester Kommentar
Wenn der Dienst sowieso geclustert auf zwei oder mehr Knoten angeboten wird, kann man den Ausfall der einzelnen NVMe evt. auch tolerieren. (also bei nicht "einem Server mit NVMe")
Stichwort VMware würde mit vSAN dazu auch passen.
Im Beitrag geht's ja auch um Einsockel-Systeme, da sehe ich ein weiteres Problem im RZ kommen, wobei ich PCIe4.0 bislang noch nicht praktisch ermessen habe: werden 10Gbit-Karten (40?,100?) Richtung LAN und SAN-HBAs (CNA oder noch 16/32Gbit FC) gleichzeitig mit genügend Lanes unterstützt wenn die NVMes auch drann hängen?
HG
Mark
Stichwort VMware würde mit vSAN dazu auch passen.
Im Beitrag geht's ja auch um Einsockel-Systeme, da sehe ich ein weiteres Problem im RZ kommen, wobei ich PCIe4.0 bislang noch nicht praktisch ermessen habe: werden 10Gbit-Karten (40?,100?) Richtung LAN und SAN-HBAs (CNA oder noch 16/32Gbit FC) gleichzeitig mit genügend Lanes unterstützt wenn die NVMes auch drann hängen?
HG
Mark
Zitat von @broecker:
Wenn der Dienst sowieso geclustert auf zwei oder mehr Knoten angeboten wird, kann man den Ausfall der einzelnen NVMe evt. auch tolerieren. (also bei nicht "einem Server mit NVMe")
In meinem Beispiel geht es um einen einzelnen Server der einen alten Server ersetzen soll.Wenn der Dienst sowieso geclustert auf zwei oder mehr Knoten angeboten wird, kann man den Ausfall der einzelnen NVMe evt. auch tolerieren. (also bei nicht "einem Server mit NVMe")
Kein Cluster.
Stichwort VMware würde mit vSAN dazu auch passen.
Da habe ich keine Erfahrungen. Kann man mit vSAN auf dem gleichen Server ein "Software" RAID erstellen in dem die VMs laufen?Ich hätte auch Angst davor dass das vSAN 100% CPU frisst.
Im Beitrag geht's ja auch um Einsockel-Systeme, da sehe ich ein weiteres Problem im RZ kommen, wobei ich PCIe4.0 bislang noch nicht praktisch ermessen habe: werden 10Gbit-Karten (40?,100?) Richtung LAN und SAN-HBAs (CNA oder noch 16/32Gbit FC) gleichzeitig mit genügend Lanes unterstützt wenn die NVMes auch drann hängen?
Gute Frage....Wenn man es schafft alle NVMEs zu 100% auszulasten dürfte es knapp werden.
Ich gehe aber mal davon aus, dass schon deutlich vorher die CPU busted
Bei 1 GBit liegen wir bei 80-120 MB Sek.
Bei 100 GBit liegen wir bei 8-12 GB Sek.
Ein RAID 10 mit 4 NVMEs kann ca. 14 GB Sek lesen.
Also kann man eine NIC schon mit 4 NVME und 1 VM auslasten.
Das mit den NVMEs im Server ist nicht zu Ende gedacht.
Das sieht für mich eher nach einer Machbarkeitsstudie aus.
vSAN gibt's auch erst bei >= drei Knoten; aber die CPU-Last ist tatsächlich m.E.n. recht gering.
Ich hatte Deinen Anwendungsfall gar nicht hinterfragt, da wird auch das normale SAN nicht relevant sein.
Machbarkeitsstudie bleibt aber auch hinsichtlich RAM-Anbindung interessant, wenn dann QPI zwischen CPUs entfällt, andererseits die RAMs "nur" an einer CPU hängen wird das für die VMs auf einer Maschine mit z.B. 1TB RAM interessant.
Ich habe die Sorge, daß Lenovo sich immer mehr in den Low-Cost Bereich orientiert, wo ich mit den Bolliden von IBM im letzten Jahrtausend (auch xSeries) doch sehr glücklich war
Ich hatte Deinen Anwendungsfall gar nicht hinterfragt, da wird auch das normale SAN nicht relevant sein.
Machbarkeitsstudie bleibt aber auch hinsichtlich RAM-Anbindung interessant, wenn dann QPI zwischen CPUs entfällt, andererseits die RAMs "nur" an einer CPU hängen wird das für die VMs auf einer Maschine mit z.B. 1TB RAM interessant.
Ich habe die Sorge, daß Lenovo sich immer mehr in den Low-Cost Bereich orientiert, wo ich mit den Bolliden von IBM im letzten Jahrtausend (auch xSeries) doch sehr glücklich war
Zitat von @StefanKittel:
Bleibt eigentlich nur die Frage was man mit einem Server mit NVMEs ohne Hardware-RAID überhaupt machen kann?
Bleibt eigentlich nur die Frage was man mit einem Server mit NVMEs ohne Hardware-RAID überhaupt machen kann?
Moin,
LInux/Solaris/BSD mit SoftwareRaid drauf und als DB-Server fürs Backend, würde ich mal so in den Raum werfen.
lks
Hi,
Software RAID nur in den VM-Gast-OS allein wird Dir bei VMware nichts bringen. Wenn eines der Datastore hops geht, während die VM läuft, dann kann der VMware Hypervisor nicht mehr die Schreibvorgänge des VM-Gast in den Datastore schreiben und VMware wird deshalb die ganze VM anhalten. Und wenn eines der Datastore weg ist, während die VM ausgeschaltet ist, dann kann man die VM nicht starten, solange die Abhängigkeit vom Datastore besteht. Du hättest da in puncto Hardware-Toleranz nichts gewonnen.
E.
Software RAID nur in den VM-Gast-OS allein wird Dir bei VMware nichts bringen. Wenn eines der Datastore hops geht, während die VM läuft, dann kann der VMware Hypervisor nicht mehr die Schreibvorgänge des VM-Gast in den Datastore schreiben und VMware wird deshalb die ganze VM anhalten. Und wenn eines der Datastore weg ist, während die VM ausgeschaltet ist, dann kann man die VM nicht starten, solange die Abhängigkeit vom Datastore besteht. Du hättest da in puncto Hardware-Toleranz nichts gewonnen.
E.
Moin,
der Hersteller selber sagt dazu:
"...Gedacht sind die Server zum Beispiel für den Einsatz bei Video-Sicherheitsanwendungen und andere kritische Applikationen am Rand des Netzwerks. ..." (Zitat aus dem Link)
Diese Art Server könnte in Verbindung mit einem (oder mehreren) SAN interessant sein, wenn man den Hypervisor nicht vom SAN booten läßt.
Das Teil dürfte ziemlich schnell booten und im Fehlerfall ist der 1:1 Austausch schnell erledigt.
Ansonsten würde ich aber nach wie vor eher auf 15k SAS Platten und Hardware-Raid-Controller für die VMs setzen.
Gruß
Looser
der Hersteller selber sagt dazu:
"...Gedacht sind die Server zum Beispiel für den Einsatz bei Video-Sicherheitsanwendungen und andere kritische Applikationen am Rand des Netzwerks. ..." (Zitat aus dem Link)
Diese Art Server könnte in Verbindung mit einem (oder mehreren) SAN interessant sein, wenn man den Hypervisor nicht vom SAN booten läßt.
Das Teil dürfte ziemlich schnell booten und im Fehlerfall ist der 1:1 Austausch schnell erledigt.
Ansonsten würde ich aber nach wie vor eher auf 15k SAS Platten und Hardware-Raid-Controller für die VMs setzen.
Gruß
Looser
Zitat von @Looser27:
[...]Diese Art Server könnte in Verbindung mit einem (oder mehreren) SAN interessant sein, wenn man den Hypervisor nicht vom SAN booten läßt.
Das Teil dürfte ziemlich schnell booten und im Fehlerfall ist der 1:1 Austausch schnell erledigt. [...]
Gruß
Looser
[...]Diese Art Server könnte in Verbindung mit einem (oder mehreren) SAN interessant sein, wenn man den Hypervisor nicht vom SAN booten läßt.
Das Teil dürfte ziemlich schnell booten und im Fehlerfall ist der 1:1 Austausch schnell erledigt. [...]
Gruß
Looser
Vielleicht bei ZFS als SSD Cache?
Moin...
hab im ersten Moment an ZFS gedacht...
ich werf es einfach mal rein...
hab im ersten Moment an ZFS gedacht...
ich werf es einfach mal rein...
Hi
Unraid, glusterFS, ZFS werden hier deine Freunde werden denke ich, befasse mich mit ähnliches Themen, da in absehbarer Zeit bei uns ein Wechsel der Storagenode ansteht. Da die "Enterprise" Geräte im SSD Bereich so unsagbar teuer sind, bieten "freie" Anbieter wie z.B. Thomas Krenn passende Hardware an, die man dann mit eigener Software bespielen kann.
Gruß
@clSchak
Unraid, glusterFS, ZFS werden hier deine Freunde werden denke ich, befasse mich mit ähnliches Themen, da in absehbarer Zeit bei uns ein Wechsel der Storagenode ansteht. Da die "Enterprise" Geräte im SSD Bereich so unsagbar teuer sind, bieten "freie" Anbieter wie z.B. Thomas Krenn passende Hardware an, die man dann mit eigener Software bespielen kann.
Gruß
@clSchak
Kurz zur Erinnerung, der Plan sieht nu einen Server vor
