Infortrend DS4000U - Meine neue Liebe . . . natürlich nur SAN technisch
Moin Zusammen,
nachdem ich bei den Servern von einem unserer aktuellen Projekte das Gröbste mit deren GPU-Performance hoffentlich gelöst habe …
NVIDIA L40S - Die erste Erfahrung ist etwas bescheiden
… kam dieses Wochenende auch das neue SAN noch kurz auf unseren Performance-Sezier-Tisch. π€ͺ
Der entsprechende Kunde hat sich übrigens für das folgende SAN entschieden …
https://www.infortrend.com/de/products/families/esds/4000u
… sprich ein AllFlash SAN, bestückt mit 14 x 7,68TB U.2 NVMe SSD’s. π
Die Konfiguration des SAN’s war Infortrend-typisch in wenigen Minuten erledigt.
Ich habe auf dem SAN für den Test zwei mal 6 SSD’s zu je einem RAID5 Verbund zusammengepackt, habe darauf je eine Partition/LUN angelegt und diese natürlich noch entsprechend gemappt und ja, das alles in nur ein paar Minuten.
Das Längste bei diesem Part war der RAID Sync, doch der war in unter einer Stunde auch erledigt.
Dann habe ich das SAN mit seiner vollen Backend-Kapazität von 8 x 4 x 12GB/s SAS, sprich mit einer Gesamtbandbreite von !! 384 !! GB/s an einen der neuen Server angeschlossen, wofür ich diesen etwas umbauen, sprich zu dem eh schon verbautem Dualport-SAS-HBA, noch 3 weitere kurz einbauen musste. π€ͺ
Im Produktivbetrieb wird übrigens jeder Server-Node „nur“ mit 2 x 4 x 12GB/s SAS, sprich, 96 GB/s angebunden sein.
Als nächstes habe ich auf dem entsprechenden Server-Node noch kurz die beiden LUN’s mit NTFS formatiert und habe auf den Server noch die aktuellste Version vom IOmeter sprich die 1.1 draufgeschmissen.
Ja … ich weiss … der mit IOmeter und aktuell ist gut. π
Dann habe ich dann den IOmeter auf jeder LUN ein !! 10TB !! grosses Testfile anlegen lassen und bin dann an dem Tag auch ins Bett gegangen, weil das Erstellen der Testfiles, mit je nur einem Worker und einem oIO bei der Grösse schon einige Stunden dauert und ausserdem war es eh schon sehr spät.
Am nächsten Morgen habe ich natürlich als erstes etwas Fellpflege betrieben und mir danach zuerst einen Kaffee organisiert, dann war jedoch das SAN wieder dran.
Ich habe bei IOmeter ein Testpattern mit 4K und 8 Worker je LUN, mit 8 oIO’s je Worker eingerichtet, sprich über beide LUN’s eine QD von 128 (64 je LUN) und habe den Startbutton gedrückt und schon beim ersten Anblick der Ergebnisse, war es um mein SAN-Herz geschehen. π
Denn ich habe sofort von Anbeginn das folgende zu sehen bekommen …
… und zwar ~1.450.000 IO’s mit einer durchschnittlichen Latenz von gerade mal 0,088ms und das bereits mit nur einem Windows-Server-Node. π€ͺ
Infortrend, sprich der Hersteller selber, gibt bei dieser Unit übrigens max. nur 1.000.000 IO’s an.
Und die Herstellerangabe von 11GB/s …
... habe ich mit 13.453 MB/s auch schon etwas überschritten. π
Und zwar ebenfalls mit 8 Worker per LUN, jedoch nur mit 4 oIO’s per Worker und einer Blockgrösse von 16K und das mit ebenfalls einer sagenhaften durchschnittlichen Latenz von gerade mal 0,078ms!
Liebe Infortrendianer, Lob und Anerkennung, da habt ihr mal wieder eine Hammers-SAN-Unit zusammengezaubert! ππππππ
Jetzt bin ich sehr gespannt, was dieser Gespan im Produktivbetrieb abliefert und werde selbstverständlich darüber auch berichten.
Vielleicht bekomme ich sogar den Kunden dazu, selbst ein paar Worte diesbezüglich zu schreiben.
So, jetzt aber schnell zurück zu meiner anderen Liebe, sprich zu meinem meist lieben Hausdrachen aufs Sofa. π€ͺ
Gruss Alex
nachdem ich bei den Servern von einem unserer aktuellen Projekte das Gröbste mit deren GPU-Performance hoffentlich gelöst habe …
NVIDIA L40S - Die erste Erfahrung ist etwas bescheiden
… kam dieses Wochenende auch das neue SAN noch kurz auf unseren Performance-Sezier-Tisch. π€ͺ
Der entsprechende Kunde hat sich übrigens für das folgende SAN entschieden …
https://www.infortrend.com/de/products/families/esds/4000u
… sprich ein AllFlash SAN, bestückt mit 14 x 7,68TB U.2 NVMe SSD’s. π
Die Konfiguration des SAN’s war Infortrend-typisch in wenigen Minuten erledigt.
Ich habe auf dem SAN für den Test zwei mal 6 SSD’s zu je einem RAID5 Verbund zusammengepackt, habe darauf je eine Partition/LUN angelegt und diese natürlich noch entsprechend gemappt und ja, das alles in nur ein paar Minuten.
Das Längste bei diesem Part war der RAID Sync, doch der war in unter einer Stunde auch erledigt.
Dann habe ich das SAN mit seiner vollen Backend-Kapazität von 8 x 4 x 12GB/s SAS, sprich mit einer Gesamtbandbreite von !! 384 !! GB/s an einen der neuen Server angeschlossen, wofür ich diesen etwas umbauen, sprich zu dem eh schon verbautem Dualport-SAS-HBA, noch 3 weitere kurz einbauen musste. π€ͺ
Im Produktivbetrieb wird übrigens jeder Server-Node „nur“ mit 2 x 4 x 12GB/s SAS, sprich, 96 GB/s angebunden sein.
Als nächstes habe ich auf dem entsprechenden Server-Node noch kurz die beiden LUN’s mit NTFS formatiert und habe auf den Server noch die aktuellste Version vom IOmeter sprich die 1.1 draufgeschmissen.
Ja … ich weiss … der mit IOmeter und aktuell ist gut. π
Dann habe ich dann den IOmeter auf jeder LUN ein !! 10TB !! grosses Testfile anlegen lassen und bin dann an dem Tag auch ins Bett gegangen, weil das Erstellen der Testfiles, mit je nur einem Worker und einem oIO bei der Grösse schon einige Stunden dauert und ausserdem war es eh schon sehr spät.
Am nächsten Morgen habe ich natürlich als erstes etwas Fellpflege betrieben und mir danach zuerst einen Kaffee organisiert, dann war jedoch das SAN wieder dran.
Ich habe bei IOmeter ein Testpattern mit 4K und 8 Worker je LUN, mit 8 oIO’s je Worker eingerichtet, sprich über beide LUN’s eine QD von 128 (64 je LUN) und habe den Startbutton gedrückt und schon beim ersten Anblick der Ergebnisse, war es um mein SAN-Herz geschehen. π
Denn ich habe sofort von Anbeginn das folgende zu sehen bekommen …
… und zwar ~1.450.000 IO’s mit einer durchschnittlichen Latenz von gerade mal 0,088ms und das bereits mit nur einem Windows-Server-Node. π€ͺ
Infortrend, sprich der Hersteller selber, gibt bei dieser Unit übrigens max. nur 1.000.000 IO’s an.
Und die Herstellerangabe von 11GB/s …
... habe ich mit 13.453 MB/s auch schon etwas überschritten. π
Und zwar ebenfalls mit 8 Worker per LUN, jedoch nur mit 4 oIO’s per Worker und einer Blockgrösse von 16K und das mit ebenfalls einer sagenhaften durchschnittlichen Latenz von gerade mal 0,078ms!
Liebe Infortrendianer, Lob und Anerkennung, da habt ihr mal wieder eine Hammers-SAN-Unit zusammengezaubert! ππππππ
Jetzt bin ich sehr gespannt, was dieser Gespan im Produktivbetrieb abliefert und werde selbstverständlich darüber auch berichten.
Vielleicht bekomme ich sogar den Kunden dazu, selbst ein paar Worte diesbezüglich zu schreiben.
So, jetzt aber schnell zurück zu meiner anderen Liebe, sprich zu meinem meist lieben Hausdrachen aufs Sofa. π€ͺ
Gruss Alex
Please also mark the comments that contributed to the solution of the article
Content-ID: 52342665779
Url: https://administrator.de/contentid/52342665779
Printed on: November 5, 2024 at 02:11 o'clock
17 Comments
Latest comment
@MysticFoxDE
mich wundert ohnehin schon die ganze zeit, dass nicht noch mehr Hardwarehersteller (SYNOLOGY zb) auf den Zug aufspringen und kleine schnelle NAS bauen nur mit NVME SSD Bestückung. Von Qnap gibt es ähnliches bereits.
Eigentlich wäre das auch für Apple ein Anlass, in den kleinen Server- und Storagebereich zurückzukehren.
Preiswert genug sind die SSDs inzwischen ja durchaus.
Kreuzberger
mich wundert ohnehin schon die ganze zeit, dass nicht noch mehr Hardwarehersteller (SYNOLOGY zb) auf den Zug aufspringen und kleine schnelle NAS bauen nur mit NVME SSD Bestückung. Von Qnap gibt es ähnliches bereits.
Eigentlich wäre das auch für Apple ein Anlass, in den kleinen Server- und Storagebereich zurückzukehren.
Preiswert genug sind die SSDs inzwischen ja durchaus.
Kreuzberger
Ich bin nicht so im Thema aber irgendwann werde ich auch mal Bedarf für eine günstige SAN Lösung haben. Mich interessieren bei sowas aber auch die Dinge, die leider kein Hersteller anspricht: Verrätst du, wieviel das Setup kostet? (Also Anschaffung und ggf. Wartungsvertrag.) Und kann man die NVMe selber beschaffen bzw. nachrüsten oder müssen die von Infortrend gelabelt sein?
Ja deine Vorliebe für Infotrend kenne ich schon
Aktuell haben wir zwei NetApps, die sind ganz okay und Support haben wir nochmal verlängert, weil ohne Support möchte man auch nicht (ich glaube bis 2027/28). Kapazität und Preis war deutlich niedriger (sind nur HDDs), aber ich sehe jetzt schon das wenn die mal aus dem Support fallen und als Spielgerät oder für WSUS etc. weiter laufen ich da keine vernünftigen Platten nachbestellen kann. Bei HPE (unsere derzeit alte SAN) ist der Vorteil immerhin das man die an jedem Kiosk zu echt fairen Preisen kaufen kann, egal ob die Dinger schon 10 Jahre EOL sind.
Wenn die NetApps zur Erneuerung anstehen brauche ich auf jeden Fall eine gute Budget Alternative. Nicht, weil wir es uns nicht leisten könnten sondern weil ein gewisser Druck da ist, es extern zu hosten. Da sind neue SANs immer so ein Schluck aus der Pulle.
Aktuell haben wir zwei NetApps, die sind ganz okay und Support haben wir nochmal verlängert, weil ohne Support möchte man auch nicht (ich glaube bis 2027/28). Kapazität und Preis war deutlich niedriger (sind nur HDDs), aber ich sehe jetzt schon das wenn die mal aus dem Support fallen und als Spielgerät oder für WSUS etc. weiter laufen ich da keine vernünftigen Platten nachbestellen kann. Bei HPE (unsere derzeit alte SAN) ist der Vorteil immerhin das man die an jedem Kiosk zu echt fairen Preisen kaufen kann, egal ob die Dinger schon 10 Jahre EOL sind.
Wenn die NetApps zur Erneuerung anstehen brauche ich auf jeden Fall eine gute Budget Alternative. Nicht, weil wir es uns nicht leisten könnten sondern weil ein gewisser Druck da ist, es extern zu hosten. Da sind neue SANs immer so ein Schluck aus der Pulle.
Ja manuelles Failover. War irgendwie immer der Wunsch einen Klon zu haben, da wir auch zwei Gebäude mit einem alten und einem neuen Serverraum haben, also beste Voraussetzungen. Allerdings ist das klonen früher immer mit einem gewissen Preisaufschlag verbunden gewesen, weil günstigere / kleinere Lösungen das nicht angeboten haben. Wir hatten bisher SANmelody auf einem HP Server im Einsatz, dann eine HP MSA (beide ohne Klon) und aktuell die beiden NetApp E2824 (alles iSCSI). Von der HP Lösung war ich dabei tatsächlich am meisten angetan. Nicht, weil die anderen beiden schlechte Produkte waren sondern schlicht weil Support Vertrag und der Zweitmarkt super locker gelaufen sind. HP Produkte betreibe ich auch ohne Support und muss mir keine Sorgen machen wie ich an Ersatzteile komme.
Zitat von @MysticFoxDE:
sind auch die Server-Nodes über beide Serverräume verteilt oder steht im zweiten nur das zweite Storage?
Nein. Darüber hatte ich erst nachgedacht aber bei 3 Hypervisor (VMware Essentials Lizenz) wäre die Aufteilung eh unausgewogen gewesen. Die neueren Servermodelle sind auch zu lang für den alten Rack im alten Raum und der Raum ist viel kleiner und einfach klimatisiert. Alles in allem geht es nur um einen sicheren Ort für die Daten und theoretisch schnell austauschbare Hypervisoren.War irgendwie immer der Wunsch einen Klon zu haben, da wir auch zwei Gebäude mit einem alten und einem neuen Serverraum haben, also beste Voraussetzungen.
sind auch die Server-Nodes über beide Serverräume verteilt oder steht im zweiten nur das zweite Storage?
Volle Redundanz scheint mir einfach oversized, wir haben 35 User. Wenn es brennt passen sowieso nicht alle in ein Gebäude und es müsste eh viel getan werden, aber das ließe sich alles schnell umsetzen mit Hardware von irgendwo. Internet ist noch mehrfach vorhanden und in beiden Gebäuden und die Server sind alle in beiden Gebäuden redundant an die Switches angeschlossen. Router sind aktuell allerdings in einem Gebäude, da der zweite nur Cold Standby ist. Da will ich irgendwann nochmal ran.
Wir hatten bisher SANmelody auf einem HP Server im Einsatz, dann eine HP MSA (beide ohne Klon) und aktuell die beiden NetApp E2824 (alles iSCSI).
Die davor sind alles reine Block-Storages, warum habt ihr euch nun ausgerechnet für die NetApp, die primär ein Filer/NAS ist, denn entschieden?
Von der HP Lösung war ich dabei tatsächlich am meisten angetan. Nicht, weil die anderen beiden schlechte Produkte waren sondern schlicht weil Support Vertrag und der Zweitmarkt super locker gelaufen sind. HP Produkte betreibe ich auch ohne Support und muss mir keine Sorgen machen wie ich an Ersatzteile komme.
Ich hatte mit den HP(E) Kisten, bisher auch keine Probleme, deren Server sind zumindest genau so wie auch die meisten der anderen. Storagetechnisch bin ich von HP(E) jedoch nicht wirklich begeistert, weil die schlichtweg zu viel Geld für zu wenig Leistung verlangen.
Damals war AllFlash auf jeden Fall noch abartig teuer.
Ja, ich kenne die Preise von NetApp mit AllFlash Bestückung.
Aktuell ist die Situation vermutlich etwas anders, ich sehe Infotrend als Kandidaten wegen Preis/Leistung. Natürlich mit Supportvertrag NBD vom Hersteller, oder von dir/euch. Voraussetzung ist nur ein breit aufgestelltes Unternehmen, nicht eine One-Man-Show und der geht dann in Rente
Wie gesagt, die Entscheidung steht noch nicht an. Ich weiß ja, wo ich dich finde...
Ergänzend zur Entscheidung damals, die NetApp einzuführen:
Der Fokus lag auf zwei Geräte mit Spiegelung der Daten und in einem preislichen Rahmen von halt ~ 2x MSA. Das konnte HP mit der MSA Schiene damals nicht und vermutlich auch aktuell nicht, da hätte man einiges drauf legen müssen. Auch bin ich kein Freund von RAID5/6 mit vielen Platten, da gefiel mir DDP ganz gut. Ich denke das waren die ausschlaggebenden Faktoren.
Der Fokus lag auf zwei Geräte mit Spiegelung der Daten und in einem preislichen Rahmen von halt ~ 2x MSA. Das konnte HP mit der MSA Schiene damals nicht und vermutlich auch aktuell nicht, da hätte man einiges drauf legen müssen. Auch bin ich kein Freund von RAID5/6 mit vielen Platten, da gefiel mir DDP ganz gut. Ich denke das waren die ausschlaggebenden Faktoren.