media0815
Goto Top

Raid-1 mit SSD - NVME PCIe 4.0 x8 HHHL möglich?

Hallo an alle!
Wie hier beschrieben, plane ich gerade einen neuen Server für ein Unternehmen mit 10 Mitarbeiter:
Kaufberatung, Windowsserver für Kanzlei mit 10 Mitarbeiter

Ich hätte gerne ein System mit den schnellsten verfügbaren NVME PCIe 4.0 x8 HHHL SSDs.

Verbauen wollte ich nun
2x 1,92TB Samsung PM1733 SSD - NVME PCIe 4.0 x8 HHHL (MZWLJ1T9HBJR-00007)
-> Lesetransferrate 7.000 MB/s -- Schreibtransferrate 2.400 MB/s (idealo Preis: 544€ pro Platte)

Leider sagt der Händler, er kann mit der genannten SSD kein RAID-1 realisieren, weil der Controller diese nicht anbinden kann. ;-(

Stattdessen hat er mir angeboten:
2x 1,92 TB Samsung PM983 Datacenter SSD - 2.5" PCI Express 3.0 x4 (NVMe)
-> Lesetransferrate 3.000 MB/s -- Schreibtransferrate 2.000 MB/s (idealo Preis: 370€ pro Platte)

Also die sind dann nicht mal halb so schnell beim Lesen (aber natürlich immernoch schnell, schon klar).

Meine Frage:
Hat der Verkäuder recht, wenn er sagt, es gäbe keine Möglichkeit die schnellere SSD mit Lesetransferrate 7.000 MB/s im RAID-1 zu betreiben?

Oder hat er vielleicht nur einfach nicht gechekt, dass es die PM1733 auch im 2.5" format gibt, angeblich mit selbem speed?

Danke für eure Einschätzung!

Content-ID: 591270

Url: https://administrator.de/forum/raid-1-mit-ssd-nvme-pcie-4-0-x8-hhhl-moeglich-591270.html

Ausgedruckt am: 23.12.2024 um 01:12 Uhr

itisnapanto
itisnapanto 28.07.2020 um 16:18:31 Uhr
Goto Top
Moin ,

weiss grad nicht ob es Controller gibt , die die Bandbreite zu Verfügung stellen könnten. Wozu willst das denn überhaupt machen ?
Klingt irgendwie nach mit Kanonen auf Spatzen schießen.

Gruss
media0815
media0815 28.07.2020 um 16:23:14 Uhr
Goto Top
Ja, kann sein dass du Recht hast mit den Kanonen und Spatzen. Ich denk mir nur, der Preisunterschied ist mit 174€ pro Platte nicht so hoch, dafür, dass die Lesegeschwindigkeit mehr als doppelt so hoch ist! Daher kam die Überlegung. Und wir haben sehr viele Lese-Intensive-Vorgänge hier.
Mich würds einfach interessieren, ob es technisch möglich ist.
chrisiweber
chrisiweber 28.07.2020 aktualisiert um 16:27:03 Uhr
Goto Top
Zitat von @itisnapanto:

Moin ,

weiss grad nicht ob es Controller gibt , die die Bandbreite zu Verfügung stellen könnten. Wozu willst das denn überhaupt machen ?
Klingt irgendwie nach mit Kanonen auf Spatzen schießen.

Gruss


Ein RAID1 macht sehr wohl Sinn.

Es sind beides U.2 SSD's. Mit dem kleinen Unterschied der PCIe Generation (4 zu 3). Mit Gen3 hab ich ein RAID10 an einem Intel/LSI Controller laufen. Sollte also funktionieren.

LG


Hier ein Controller der passen sollte: HIER
itisnapanto
itisnapanto 28.07.2020 um 16:48:43 Uhr
Goto Top
Zitat von @chrisiweber:

Zitat von @itisnapanto:

Moin ,

weiss grad nicht ob es Controller gibt , die die Bandbreite zu Verfügung stellen könnten. Wozu willst das denn überhaupt machen ?
Klingt irgendwie nach mit Kanonen auf Spatzen schießen.

Gruss


Ein RAID1 macht sehr wohl Sinn.

Es sind beides U.2 SSD's. Mit dem kleinen Unterschied der PCIe Generation (4 zu 3). Mit Gen3 hab ich ein RAID10 an einem Intel/LSI Controller laufen. Sollte also funktionieren.

LG


Hier ein Controller der passen sollte: HIER

Denke es ging bei der Fragestellung mehr um die SSD Platten als um das Raid1 . Was ich auch mit keiner Silbe angekreidet habe.
Vision2015
Vision2015 28.07.2020 aktualisiert um 17:09:40 Uhr
Goto Top
Moin...

erste frage... was genau wird das für ein Server sein?
die PM1733 SSD - NVME bekommt ihre leistung von PCIe 4.0... kann dein Server das?
MegaRAID 9560-8i braucht auch PCIe 4.0... kann dein Server das?
wenn nein... lohnt sich das nicht!
Lesetransferrate 7.000 MB/s -- Schreibtransferrate 2.400 MB/
aber nur aus dem Cache.....

Frank
IntelOutside
IntelOutside 28.07.2020 um 22:46:38 Uhr
Goto Top
Hallo

Mit den HHHL Varianten ist kein HW Raid möglich
Unter Verwendung der U.2 Varianten sollte mit Intel VROC auch unter Windows/Linux ein HW Raid möglich sein (die Platte steht nicht auf der HCL).

Wenn auf dem System ein ESXI läuft , dann bleibt nur der Broadcom/LSI 9460 bzw. 9560 Controller. VMWare unterstützt kein Softraid.


Grüße
StefanKittel
StefanKittel 28.07.2020 aktualisiert um 23:40:35 Uhr
Goto Top
Zitat von @Vision2015:
Lesetransferrate 7.000 MB/s -- Schreibtransferrate 2.400 MB/
aber nur aus dem Cache.....
Und den Laufwerkscache schaltet man bei RAID-Datenträgern nun mal ab...
was bleibt?

Außerdem ist das ein durchaus technisches Problem.
Nehmen wir mal 4 solche Medien als Raid 0.
Das sind 28 GB/Sek. Das schafft ein PCIe 4.0 16x Slot gerade mal so.

Und was ist mit 8 SSDs zu RAID 0?

Und bei R5/R6 steigt die benötigte Rechenleistung solch eines Controllers in teure Bereiche.

Mein letzter Stand, vom Anfang des Jahres mit einem Lenovo SR655 (SR655 AMD EPYC 7502P 16x2,5'' NVMe) , geht in die Richtung dass man ein Software-Based-RAID verwendet. Lenovo bietet bei den Optionen schlicht gar keinen Hardware-RAID-Controller an.
Das Gerät kann entweder als NAS oder Teil eines SAN-Storages verwendet. Auch Unraid würde funktionieren.

Also zum Beispiel für Single-Server
VMWare ESXI
1x VM mit Unraid
1x VM mit OS und iSCSI-Anbindung an den Unraid

Solange der Netzwerktraffic lokal läuft erreicht man sehr hohe Datenraten um 10 GBit.
Aber keine 28 GByte/Sek... (= ca. 224 GBit)

Also Software Raid im OS oder kein RAID und gute Datensicherung.

Stefan
IntelOutside
IntelOutside 29.07.2020, aktualisiert am 01.08.2020 um 23:59:12 Uhr
Goto Top
Zitat von @StefanKittel:

Zitat von @Vision2015:
Lesetransferrate 7.000 MB/s -- Schreibtransferrate 2.400 MB/
aber nur aus dem Cache.....
Und den Laufwerkscache schaltet man bei RAID-Datenträgern nun mal ab...
was bleibt?

Der Vorgänger 1725A schafft 3500 lesend und 2500 schreibend (gemessen unter Windows Server 2019).
Das sind schon reale Werte, die auch im Datenblatt angegeben sind.

Außerdem ist das ein durchaus technisches Problem.
Nehmen wir mal 4 solche Medien als Raid 0.
Das sind 28 GB/Sek. Das schafft ein PCIe 4.0 16x Slot gerade mal so.

In den Servern hängen die NVME Platten idealerweise nicht an einer CPU.
Dell verbaut in einem 2 CPU System jeweils einen zusätzlichen PCI-Switch auf jeder CPU um bis zu 24 NVME Platten ansteuern zu können, das reicht aber bei weitem nicht, um alle mit Maximalgeschwindigkeit anzusteuern.

Ich bezweifle, dass aktuell irgendeine "Real-World" Anwendung im normalen Einsatz diese Leistung generiert. (abgesehen vom HPC- Bereich)

Und bei R5/R6 steigt die benötigte Rechenleistung solch eines Controllers in teure Bereiche.

Ein NVME Raid 5 oder 6 ist Unsinn, der dafür notwendige Rechenaufwand erhöht die Latenz, und macht den Vorteil von NVME zunichte
( einfach mal nach RAID Penalty googeln)

Als Beispiel hier mit einer 1725A: ein Xeon Gold (8 Kerne) erreicht ca. 800000 IOP's im Crystal Diskmark (RND4K-Test) mit dieser Platte, dabei ist die CPU auf allen Kernen zu 100 % ausgelastet, und dies ohne eine Raid Berechnung. Ein Raid Controller , der das mit Parity/Dualparity berechnen kann, müsste dann schon Einiges leisten (die Raid Penalty kann er auch nicht verhindern).

Mein letzter Stand, vom Anfang des Jahres mit einem Lenovo SR655 (SR655 AMD EPYC 7502P 16x2,5'' NVMe) , geht in die Richtung dass man ein Software-Based-RAID verwendet. Lenovo bietet bei den Optionen schlicht gar keinen Hardware-RAID-Controller an.

Dann hat man Pech, wenn man VMware einsetzt, bzw. es wird davon ausgegangen, dass jeder ein VSAN zu nutzen hat....
Ich meine gelesen zu haben , dass Lenovo jetzt auch den Broadcom Controller als OEM-Variante verbaut.

Unter Windows/Linux ist mit einem Intel Prozessor die "VROC" Lösung die m.E. ideale Lösung. Warum aber keiner der großen 3 ( Lenovo, Dell, HP) dies anbietet, weis ich nicht.

Das Gerät kann entweder als NAS oder Teil eines SAN-Storages verwendet. Auch Unraid würde funktionieren.

Viel zu schade für ein NAS
Eher geeignet für VSAN (VMare), Storage Spaces Direct ( Windows), oder Starwind SAN. (Ich gebe zu ich habe bisher leider noch keine Erfahrung mit den Systemen gemacht).

Grüße
media0815
media0815 29.07.2020 aktualisiert um 14:01:03 Uhr
Goto Top
Danke für den Input an Alle!

Also ich habe nochmal nachgehakt beim Verkäufer und siehe da, er kann die 2.5" Variante der PM1733 jetzt plötzlich doch im RAID-1 anbieten! face-wink

Allerdings haben mich eure Antworten jetzt verunsichert, ob ein Software-Raid in meinem Fall nicht doch ausreichen würde, bzw. sogar schneller wäre? Wäre wahrscheinlich deutlich günsitger.

Hier die beiden Möglichkeiten:

Option A) Harware RAID-1
- 2x 1,92TB Samsung PM1733 SSD 2.5" (6.4 cm) PCI Express 4.0 x4 NVMe)
- RAID Controller: BROADCOM 9460-8i SAS3/SATA/PCIe (NVMe) Tri-Mode
- Supermicro Tower Chassis 745BTQ-R1K28B-SQ (mit redundantem Netzteil)
- Supermicro Server Board H11SSL-i (SP3)
- 1x AMD EPYC "ROME" 7262 - 3,20 GHz / 3,40 GHz (Boost) / 128MB Cache / 8Kerne / 155W
- 2x 32GB DDR4 3200MHz - Reg. ECC RDIMM
ca. 4.500€ netto


Option B) Software RAID-1
- 2x 1,92TB Samsung PM1733 SSD - NVME PCIe 4.0 x8 HHHL
- RAID Controller: keiner
- Supermicro Tower Chassis 743TQ-865B-SQ (ohne redundantem Netzteil)
- Supermicro Server Board H11SSL-i (SP3)
- 1x AMD EPYC "ROME" 7262 - 3,20 GHz / 3,40 GHz (Boost) / 128MB Cache / 8Kerne / 155W
- 2x 32GB DDR4 3200MHz - Reg. ECC RDIMM
ca. 3.100€ netto

OS / Anwendungen:
Windows Server 2019 mit 1x HyperV Host und 2xVMs, eine davon für ActiveDirectory, die andere als Fileserver und Host/Datenbank für Kanzleisoftware, 10 clients.

Welche Option würdet ihr bevorzugen? A oder B? Was ist voraussichtlich schneller?

Falls B: Wie soll das Software-RAID umgesetzt werden? Geht das im Bios oder sollte man das besser auf windows-ebene im hyperv host konfigurieren, so wie hier beschrieben?
(Habe noch nie ein Soft-RAID konfiguriert.)
StefanKittel
StefanKittel 29.07.2020 um 13:28:09 Uhr
Goto Top
Ob der BC9460 was bringt?
Datenübertragungsrate = 1200 MBps
Puffergrösse = 2 GB

Ich würde auf normale Enterprise SSDs gehen die im RAID funktionieren.

Wenn es mehr sein soll, dann
- den Hyper-V auf ein Hardware Raid1
- im Hyper-V die weiteren Datenträge als Software-Raid(s)
- die VMs auf diese Software-Raid(s)
Vision2015
Vision2015 29.07.2020 um 18:16:40 Uhr
Goto Top
moin...
Zitat von @media0815:

Danke für den Input an Alle!

Also ich habe nochmal nachgehakt beim Verkäufer und siehe da, er kann die 2.5" Variante der PM1733 jetzt plötzlich doch im RAID-1 anbieten! face-wink
aha... von welcher Bastelbude. ist das Setup?

Allerdings haben mich eure Antworten jetzt verunsichert, ob ein Software-Raid in meinem Fall nicht doch ausreichen würde, bzw. sogar schneller wäre? Wäre wahrscheinlich deutlich günsitger.

Hier die beiden Möglichkeiten:

Option A) Harware RAID-1
- 2x 1,92TB Samsung PM1733 SSD 2.5" (6.4 cm) PCI Express 4.0 x4 NVMe)
macht wirklich nur spass mit PCI Express 4.0... mit PCI Express 3.0 wirst du nicht mal die hälfte von 3500MB sehen...
- RAID Controller: BROADCOM 9460-8i SAS3/SATA/PCIe (NVMe) Tri-Mode
kann nur PCI-E 3.0
- Supermicro Tower Chassis 745BTQ-R1K28B-SQ (mit redundantem Netzteil)
- Supermicro Server Board H11SSL-i (SP3)
kann auch nur PCI-E 3.0
- 1x AMD EPYC "ROME" 7262 - 3,20 GHz / 3,40 GHz (Boost) / 128MB Cache / 8Kerne / 155W
- 2x 32GB DDR4 3200MHz - Reg. ECC RDIMM
ca. 4.500€ netto
fazit.... da muss ein anderes MB mit PCI Express 4.0 ran... oder du schraubst da M.2 Samsung Pro rein...


Option B) Software RAID-1
- 2x 1,92TB Samsung PM1733 SSD - NVME PCIe 4.0 x8 HHHL
macht wirklich nur spass mit PCI Express 4.0... mit PCI Express 3.0 wirst du nicht mal die hälfte von 3500MB sehen...
- RAID Controller: keiner
- Supermicro Tower Chassis 743TQ-865B-SQ (ohne redundantem Netzteil)
- Supermicro Server Board H11SSL-i (SP3)
PCI-E 3.0
- 1x AMD EPYC "ROME" 7262 - 3,20 GHz / 3,40 GHz (Boost) / 128MB Cache / 8Kerne / 155W
- 2x 32GB DDR4 3200MHz - Reg. ECC RDIMM
ca. 3.100€ netto
fazit.... da muss ein anderes MB mit PCI Express 4.0 ran... oder du schraubst da M.2 Samsung Pro rein...

OS / Anwendungen:
Windows Server 2019 mit 1x HyperV Host und 2xVMs, eine davon für ActiveDirectory, die andere als Fileserver und Host/Datenbank für Kanzleisoftware, 10 clients.

Welche Option würdet ihr bevorzugen? A oder B? Was ist voraussichtlich schneller?

Falls B: Wie soll das Software-RAID umgesetzt werden? Geht das im Bios oder sollte man das besser auf windows-ebene im hyperv host konfigurieren, so wie hier beschrieben?
(Habe noch nie ein Soft-RAID konfiguriert.)

ich würde den Hyper-V auf 2 Server SSD werfen... 250 oder 450GB raid1 und die VMs auf die PM1733.

Frank
media0815
media0815 29.07.2020 um 22:00:35 Uhr
Goto Top
@Vision2015
Danekschön für den Hinweis mit PCI Express 4.0.
Ich verstehs einfach nicht: Ich habe bei LS Computer systeme (und bei anderen Anbietern) explizit nach einer Konfiguration gefragt, welche die Samsung PM1733 SSD mit voller Geschwindigkeit anbinden kann... und dann werden mir PCI Express 3.0 Mainboards und Raid Controller angeboten und dabei auch noch zugesichert, dass die den vollen Speed supporten!
Manchmal fragt man sich schon...

Meine Frage ist jetzt, ob es Tower Server mit PCI Express 4.0 Mainboards überhaupt schon zu kaufen gibt!? Ich finde da irgendwie nix. Hat da jemand nen Tipp?
IntelOutside
IntelOutside 30.07.2020 aktualisiert um 12:59:41 Uhr
Goto Top
sieht schlecht aus. Wenns auch eine Rackvariante sein kann : Dell PowerEdge R7525
Vision2015
Vision2015 30.07.2020 um 07:22:42 Uhr
Goto Top
moin...

Zitat von @media0815:

@Vision2015
Danekschön für den Hinweis mit PCI Express 4.0.
Ich verstehs einfach nicht: Ich habe bei LS Computer systeme (und bei anderen Anbietern) explizit nach einer Konfiguration gefragt, welche die Samsung PM1733 SSD mit voller Geschwindigkeit anbinden kann... und dann werden mir PCI Express 3.0 Mainboards und Raid Controller angeboten und dabei auch noch zugesichert, dass die den vollen Speed supporten!
Manchmal fragt man sich schon...
deswegen schon ganz oben meine frage, ob der Server PCIe 4.0 kann!

Meine Frage ist jetzt, ob es Tower Server mit PCI Express 4.0 Mainboards überhaupt schon zu kaufen gibt!? Ich finde da irgendwie nix. Hat da jemand nen Tipp?
nicht wirklich, für mich sind das noch alles Exoten, und von ner Bastelbude würde ich sowas nicht zusammenwürfeln lassen!
selbst Intel hat noch kein PCI Express 4.0... das muss alles noch reifen!
kauf dir lieber was solides mit support!

Frank
liquidbase
liquidbase 30.07.2020 aktualisiert um 11:44:53 Uhr
Goto Top
Derzeit gibt es keine Hersteller die einen Tower-Server mit PCIe 4.0 anbieten.
Was man hier am ehesten findet, sind Bastelbuden die einen den Tower-Server nach eigenen Angaben aus den gewünschten Einzelteilen zusammenbauen.

Davon abgesehen sind Mainboards der H11-Reihe von Supermicro prinzipiell nicht PCIe 4.0-fähig auch wenn sie einen AMD Epyc 7xxx verbauen. Wenn dann musst du deine Hardware mit der H12-Reihe von Supermicro planen, hier hast du dann auch entsprechend verbauten Support für PCIe 4.0 [klick mich]

Zitat von @Vision2015:

selbst Intel hat noch kein PCI Express 4.0... das muss alles noch reifen!
Das dürfte nach aktuellem Stand auch noch recht lange dauern bis Intel überhaupt soweit ist das auszurollen.
media0815
media0815 30.07.2020 aktualisiert um 12:32:29 Uhr
Goto Top
Hallo an alle,
ja also ich bin jetzt an dem Punkt, wo ich überlege einen kleinen 1HE oder 2HE Rackserver ins Büro zu stellen, weil es bei den Tower-Servern nur PCIe 3.0 Mainboards gibt und die Preis-Leistung generell deutlich schlechter zu sein scheint.

Gegen die Lautstärke hilft evtl sowas:
https://www.it-budget.de/Schallgedaemmter-19-Wandverteiler-SILENCE-RACK- ...
Hat da jemand Erfahrungen?

Meine Tendenz geht jetzt hierzu:
- Dell Power Edge R6515
- AMD EPYC 7302P 3GHz, 16C/32T, 128M Cache (155W) DDR4-3200
- 4x 16GB RDIMM, 3200MT/s, Dual Rank
- RAID 1 for 2 HDDs or SSDs (Matching Type/Speed/Capacity)
- PERC H330 RAID Controller, Minicard
- 2x 1.92TB SSD SATA Read Intensive 6Gbps 512 2.5in Hot-plug AG Drive, 1 DWPD, 3504 TBW
- Redundantes Netzteil
- 5 Jahre Pro Support Next Business Day Onsite
-> 4.324,00€

Was ich mich dabei noch frage:
1. Wie schnell ist die Dell SSD in diesem System der Praxis wirklich im Vergleich zur 1,92TB Samsung PM1733 SSD? (finde leider kein Datenblatt der Dell)
2. Nutzen die Festpaltten dann PCIe Gen4 Geschwindigkeit?
3. Würdet ihr die Dell SSDs (für 1300€) verbauen lassen oder selber die von Samsung (für 550€) nachrüsten?
4. Passt der RAID-Controller PERC H330 für die volle Geschwindigkeit, oder besser ein teurerer?
5. Selbst die teurste Variante des RAID-Controllers (PERC H740P) ist offenbar wieder nur mit PCIe 3.1 x8 nicht mit PCIe 4.0 spezifiziert? Macht das Sinn!?
5. Was wäre hier ohne RAID-Controller mit Software-RAID-1?

Danke!
liquidbase
liquidbase 30.07.2020 aktualisiert um 12:49:26 Uhr
Goto Top
1. Wie schnell ist die Dell SSD in diesem System der Praxis wirklich im Vergleich zur 1,92TB Samsung PM1733 SSD? (finde leider kein Datenblatt der Dell)
Minimalkonfiguration auswählen und die PM1733 selbst verbauen

2. Nutzen die Festpaltten dann PCIe Gen4 Geschwindigkeit?
Ja würden sie tun wenn der Raidcontroller auf PCIe 4.0 basiert (siehe 4.)

3. Würdet ihr die Dell SSDs (für 1300€) verbauen lassen oder selber die von Samsung (für 550€) nachrüsten?
nachrüsten wenn der Raidcontroller auf PCIe 4.0 basiert (siehe 4.)

4. Passt der RAID-Controller PERC H330 für die volle Geschwindigkeit, oder besser ein teurerer?
Derzeit sind alle Raidcontroller bei Dell nur bei PCIe 3.0, die mit 4.0 sind gerade in der Testphase. Hier würde ich aber eher den 730P oder 745P auswählen, da beide 12GBit/s SAS haben. Welchen von beiden man nimmt ist davon abhängig wieviel Cache man auf dem Raidcontroller haben will, hier 2GB (730P) oder 8GB (745P).

[Liste der PowerEdge Raid-Controller]

@edit
Da es mich auch einfach mal interessiert ... Wieso eigentlich die Fixierung auf PCIe 4.0? An sich gibt es derzeit nichts was davon wirklich profitieren würden. Vor allem wenn ich auch an dein genanntes Szenario denke mit der Kanzleisoftware. Da müssten schon große Datenmengen vorhanden sein um das sich das lohnt. Das man einen AMD Epyc 7xxx benutzen will kann ich nachvollziehen, kein Thema.