leo-le
Goto Top

MSA 2050 RAID Konfig

Hallo Forum,

ich befasse mich gerade mit der MSA und möchte mit 40 x 1,2 TB SAS Platten die bestmögliche Plattenkonfig raus bekommen, wer kann mir ein paar Tipps geben? Das RAID selber soll aus Platzgründen ein RAID 5 werden. Insgesamt kann das Ganze dann aus einem Volume bestehen.

Besten Dank im Voraus!

Content-Key: 346797

Url: https://administrator.de/contentid/346797

Ausgedruckt am: 29.03.2024 um 16:03 Uhr

Mitglied: Pjordorf
Pjordorf 20.08.2017 um 01:34:25 Uhr
Goto Top
Hallo,

Zitat von @Leo-le:
möchte mit 40 x 1,2 TB SAS Platten die bestmögliche Plattenkonfig raus bekommen
Da du dich für
ein RAID 5
schon entschieden hast ist dein Ansinnen eine bestmögliche Plattenkonfig haben zu wollen schon erledigt / hinfällig.

Gruß,
Peter
Mitglied: BassFishFox
BassFishFox 20.08.2017 um 01:36:35 Uhr
Goto Top
Hallo,

bestmögliche Plattenkonfig raus bekommen, wer kann mir ein paar Tipps geben? Das RAID selber soll aus Platzgründen ein RAID 5 werden.

Warum fragst Du, wenn Du eh RAID5 machen willst?

BFF
Mitglied: Leo-le
Leo-le 20.08.2017 um 07:55:09 Uhr
Goto Top
Besten Dank für die schnellen Antworten. Ich frage deshalb, da ja trotzdem die Option offen bleibt, ob ich nun z.B. 10 x Raid 5 mit 4 Disks oder eben nur 4 x Raid 5 mit 4x 10 Platten. Wie verhält sich die Geschwindigkeit? Macht es Sinn, alle Platten im Pool A zu hintrrlegen oder ist Pool a = Controller 1 und b = Controller 2 , so dass eine Aufteilung Sinn macht?

Besten Dank !
Mitglied: wiesi200
wiesi200 20.08.2017 um 07:55:17 Uhr
Goto Top
Hallo,

Wenn dann müsstet du erst schon mal sagen was da drauf laufen soll. Nur könnte es dann auch sein das wir dir sagen das RAID 5 Blödsinn ist.

Warum fragst du eigentlich nach einer konfig wenn du schon im vorhinein sagst: "Raid5 soll es sein!"
Mitglied: wiesi200
wiesi200 20.08.2017 um 07:59:17 Uhr
Goto Top
Wenn es dir um Platz geht dann muss es 1 Raid sein. Wobei bei so vielen Platten würd ich schon mal Raid 6 sagen. Dann noch 1x Hotspare abziehen.

Wenn du noch andere Parameter hast dann kann auch was anderes raus kommen. Warum kauft man sowas eigentlich ohne sich zuvor Gedanken zu machen welche Platten ich brauche und wie ich sie aufteile
Mitglied: Leo-le
Leo-le 20.08.2017 um 08:28:58 Uhr
Goto Top
Zitat von @wiesi200:

Hallo,

Wenn dann müsstet du erst schon mal sagen was da drauf laufen soll. Nur könnte es dann auch sein das wir dir sagen das RAID 5 Blödsinn ist.

Wäre völlig in Ordnung.
Warum fragst du eigentlich nach einer konfig wenn du schon im vorhinein sagst: "Raid5 soll es sein!"
Weil doch zu der Raid Konfig noch ein bisschen mehr dazu gehört. Z.B. Plattenaufteilung beim Raid 5 issn größeren SAN Systemen oder sehe ich da etwas falsch?
Mitglied: Leo-le
Leo-le 20.08.2017 aktualisiert um 08:37:08 Uhr
Goto Top
Zitat von @wiesi200:

Wenn es dir um Platz geht dann muss es 1 Raid sein. Wobei bei so vielen Platten würd ich schon mal Raid 6 sagen. Dann noch 1x Hotspare abziehen.

Brauche ich wirklich ein Raid 6 , die msa ist mit einem 4 Stunden Support supportet und durch den dynamic disk pool könnte doch dann eine pro raid ausfallen?
Wenn du noch andere Parameter hast dann kann auch was anderes raus kommen. Warum kauft man sowas eigentlich ohne sich zuvor Gedanken zu machen welche Platten ich brauche und wie ich sie aufteile

Die MSA läuft für 3 esx Hosts mit jeweils 12 instanzen( 2 x exchange mit 80 Postfächern, dcs, Filer, ein paar kleinere SAP Entwicklungssysteme mit oracle dbs)
Insgesamt haben wir uns schon zusammen mit dem Dienstleister Gedanken gemacht, aber ich würde 1. Gern auch noch mal eine andere Meinung hören und 2. Gern einen Tipp mit den Diskpools A und B bekommen.

Vielen Dank schon mal !
Mitglied: SeaStorm
SeaStorm 20.08.2017 aktualisiert um 09:11:17 Uhr
Goto Top
Brauche ich wirklich ein Raid 6 , die msa ist mit einem 4 Stunden Support supportet und durch den dynamic disk pool könnte doch dann eine pro raid ausfallen?

Das ist das Problem bei raid5. Nur eine.
Wenn eine ausfällt, beginnt das raus den rebuild auf eine spare/die austauschplatte. Das erzeugt sehr viel Last auf allen Platten. Und wenn du Pech hast, fällt dadurch eine weitere aus. Je größer dein RAID ist, also je mehr Platten es hat, desto größer ist die Chance, dass das passiert.
Deshalb nimmt man heutzutage quasi nur noch raid6. Und auch da sind es immer maximal 2 Platten, die draufgehen dürfen


Außerdem ist raid5/6 nicht gerade optimal für einen Exchange. Und noch viel weniger für SQL DBs
Mitglied: Leo-le
Leo-le 20.08.2017 um 09:13:49 Uhr
Goto Top
Zitat von @SeaStorm:

Brauche ich wirklich ein Raid 6 , die msa ist mit einem 4 Stunden Support supportet und durch den dynamic disk pool könnte doch dann eine pro raid ausfallen?

Das ist das Problem bei raid5. Nur eine.
Wenn eine ausfällt, beginnt das raus den rebuild auf eine spare/die austauschplatte. Das erzeugt sehr viel Last auf allen Platten. Und wenn du Pech hast, fällt dadurch eine weitere aus. Je größer dein RAID ist, also je mehr Platten es hat, desto größer ist die Chance, dass das passiert.
Deshalb nimmt man heutzutage quasi nur noch raid6. Und auch da sind es immer maximal 2 Platten, die draufgehen dürfen


Okay, das ist soweit klar. Was ich aber gern mal im Detail wissen würde, was ist, wenn ich aus diesen 40 Platten auf der MSA 10 x 4 Disk groups mit 4 Platten im RAID 5 erstelle und diese dann alle als ein Volume deklariere? Bekomme ich da auch eine höhere Schreibperformance? Auserdem könnte doch dann eine Platte pro Disk Group ausfallen ?
Mitglied: SeaStorm
SeaStorm 20.08.2017 um 09:25:44 Uhr
Goto Top
Bis zu einem gewissen Punkt ja. Kommt hier stark auf den Controller an. Generell ist raid5 erst Mal kein Leistungsgarant. Jeder Block der geschrieben wird hat eine Parity-Berechnung zur Folge. Bei vielen Schreibzugriffen über viele raidsysteme, kommt der Controller da schon mal ans Limit.
Wenn du Performance willst, machst du besser ein Raid10. Mit jeder Platte zusätzlich im Stripes verdoppelt sich deine schreibperformance(nicht ganz, aber so grob).

SQL und Exchange sind generell auf einem raid5 nicht gut aufgehoben, weil die VIEL schreiben.
Und du kannst ja verschiedene raidsysteme in der MSA haben. Entsprechend kannst du dir ein raid10 machen in der Größe wie du es brauchst, und ansonsten raid5/6 mit je ein paar Platten. Gehe hier sicher, das die Platten aus verschiedenen produktions-chargen sind. Ein guter Lieferant macht das von sich aus.
Mitglied: Leo-le
Leo-le 20.08.2017 um 09:42:22 Uhr
Goto Top
Wenn ich das dann jetzt richtig verstehe, dann ist es gar nicht sinnvoll, dass ich, wie mir der Dienstleister damals geraten hat, mehrere RAID 5 mache und diese dann in ein komplettes Volume packe. (die kompletten 35 TB) Das hört sich ja jetzt eher so an, als wenn ich tatsächlich z.B. für die Exchange und z.B. WSUS ein RAID 10 aus 6 Platten mache, um dort Performance zu erreichen und Systeme ( z.B. VPN Verbindungsrechner(W7 + VPN CLient) dann auf ein Raid 5 zum Beispiel aus 3 Platten verlege? Ist es dann ratsam, wenn ich eher 10 Platten RAID 1+0 und diese dann reserviere für 2 Exchange, WSUS + 3 Oracle Dbs oder eher 2 x RAID 10 mit 6 Platten und die DBS auf das eine RAID und der Rest auf das andere RAID?
Mitglied: wiesi200
wiesi200 20.08.2017 um 10:32:42 Uhr
Goto Top
Ich hätte jetzt eher gesagt.
Ein Raid 10 für die DB's
Ein Raid 5 oder 6 (je nach anzahl Festplatten) für den Exchange da der aus meiner Sicht nicht so kritisch ist was Geschwindigkeit betrifft. Ne Mail kann ruhig ein bisschen länger brauchen.
Und ein Raid 5 oder 6 für den Rest.

Du hast nicht zu viel Overhead durch die vielen kleinen Raid5 aber Trotzdem noch ne Aufteilung wodurch meiner Meinung nach die Last auf die Controller verteilt werden kann.

Bei ner DB im Produktiv Betrieb müsste man da vermutlich auch noch etwas verteilen.

Und Hotspare nicht vergessen. Auch mit dem Service Level von 4 Stunden
Mitglied: Penny.Cilin
Penny.Cilin 20.08.2017 um 10:44:48 Uhr
Goto Top
Moin,

was auffällt ist, keine Frage nach der Anbindung der MSA2050 und keine Frage nach dem RAID Controller, keine Frage nach den IOPS!!!

Keine Frage RAID5 ist nicht so performant wie RAID1, aber diese Unterschiede sind nicht mehr so gravierend wie früher.

Also wie ist die MSA 2050 angebunden?

Zudem in Verbindung mit Virtualisierung wie VMware vSphere oder Microsofts Hyper-V macht es durchaus Sinn mehrere Datastores anzulegen.
Allerdings auf einem Storageblech ist das wenig sinnvoll. Dann wenn das Blech kaputt ist, ist der ganze Storage weg.
OK, 4 Stunden Support scheint mit eingekauft zu sein. Doch bis zu 4 Stunden OHNE Storage können für ein Unternehmen schmerzhaft teuer werden.
Denn beim 4 Stunden Support heißte es, Reaktionszeit innerhalb 4 Stunden und nicht Reparatur bzw. Austausch.
Erkundige Dich beim Dienstleister was GENAU im Supportvertrag steht.

P.S. Ich habe schon große Storagesysteme (IBM, NetApp, HP) gesehen und supportet, wo man diese als RAID5 / RAID6 eingerichtet hat und darauf umfangreiche SQL Datenbanken produktiv nutzt, OHNE Performaceproblemen.

Zumindest würde ich mit dem Dienstleister die Anforderung nochmal durchgehen und auch eine Performancemessungen machen (lassen).


Gruss Penny
Mitglied: Leo-le
Leo-le 20.08.2017 um 11:01:08 Uhr
Goto Top
Zitat von @Penny.Cilin:

Moin,

Danke schon mal für die Zeit !
was auffällt ist, keine Frage nach der Anbindung der MSA2050 und keine Frage nach dem RAID Controller, keine Frage nach den IOPS!!!

Keine Frage RAID5 ist nicht so performant wie RAID1, aber diese Unterschiede sind nicht mehr so gravierend wie früher.

Also wie ist die MSA 2050 angebunden?
  • iSCSI (wie viele NICs und mit welcher Geschwindigkeit?)
    • sind die NICs im Teaming (LACP)?
  • FC (wie viele FC Adapter und mit welcher Geschwindigkeit {4, 8 oder 16 Gbit}}?
16Gbit FC
* wie viele IOPS werden benötigt (grade im Hinblick auf Oracle DBs und evtl. auch Exchange)
Das ist genau diese Frage, wo ich schon lange nach der Lösung suche. Wir haben Server, die laufen im RAID 1 und alle sind mit der Performance zufrieden ( Oracle DB)
* welcher und wie viele RAID Controller sind im Einsatz (incl. BBU??)
bei der MSA sind 2 in Betrieb
* wie viele IOPS werden benötigt? - Folgend ein paar Links
Damit kann ich aber doch nicht die einzelne DB testen bzw. VM, was diese für IOPS benötigt?
Beim Exchange gibt es bestimmte Formeln und da komme ich auf 140 IOPS für die Postfächer
* Messen von I/O Performance

Zudem in Verbindung mit Virtualisierung wie VMware vSphere oder Microsofts Hyper-V macht es durchaus Sinn mehrere Datastores anzulegen.
Allerdings auf einem Storageblech ist das wenig sinnvoll. Dann wenn das Blech kaputt ist, ist der ganze Storage weg.
OK, 4 Stunden Support scheint mit eingekauft zu sein. Doch bis zu 4 Stunden OHNE Storage können für ein Unternehmen schmerzhaft teuer werden.
Denn beim 4 Stunden Support heißte es, Reaktionszeit innerhalb 4 Stunden und nicht Reparatur bzw. Austausch.
Erkundige Dich beim Dienstleister was GENAU im Supportvertrag steht.
Reparatur + Austausch

P.S. Ich habe schon große Storagesysteme (IBM, NetApp, HP) gesehen und supportet, wo man diese als RAID5 / RAID6 eingerichtet hat und darauf umfangreiche SQL Datenbanken produktiv nutzt, OHNE Performaceproblemen.
Momentan betreibe ich die Gesamte ESX umgebung auf den DL 380 Blech mit jeweils 8 Platten im RAID0 und das läuft gut zufriedenstellend.


Zumindest würde ich mit dem Dienstleister die Anforderung nochmal durchgehen und auch eine Performancemessungen machen (lassen).


Gruss Penny
Mitglied: em-pie
em-pie 20.08.2017 aktualisiert um 11:09:33 Uhr
Goto Top
Moin,

mir stellte sich gleiche Frage wie bei @Penny.Cilin:
Die IOPS steigen mit Anzahl der Spindeln:
Ein RAID5 mit 10 Disks ist performanter als ein RAID 5 mit 3 Disks, da die Daten von 10 Disks kommen und nicht bloß von dreien.
Zudem, sind es 1,2TB Disks mit 7.2k rpm oder Disks mit 15k rpm?

Wobei die IOPS auf Disk-Ebene auch hinfällig sind, wenn die Storage per iSCSI an einem 100Mbit-Switch angebunden ist (mal etwas übertrieben dargestellt).

Ansonsten würde ich es ähnlich wie wiesi200 machen:
1x RAID 10 fürdie Oracle DB
1x RAID 6 für Server wie Exchange, DCs File-Server
1x RAID 5 für Systeme von untergeordneter Wichtigkeit: ein fehlender WSUS stört nicht das Tagesgeschäft des Business.
Dazu dann 2-3 HotSpares
Die verteilung der Disks nach nach benötigtem Volumen.

Warum so viele HotSpares: du wirst vermutlich eine Reaktionszeit von 4h haben. Eigene Erfahrungen (mit IBM) zeigen aber, dass neue Disks z.B. aus Irland oder Holland kommen und da Teleportation noch nicht erfunden ist, sind die Disks (erst zwei mal benötigt) dann erst am nächsten Morgen greifbar gewesen... Es macht also schon Sinn, sich gedanken über 2 HotSpares zu machen (wenigstens eine je Enclosure).

Wir hatten es einst so, dass wir eine DS3524 von IBM hatten, 24*600GB Disks, wovon 22 DISKs in einem RAID 5 liefen und dann zwei Hot-Spares vorgehalten wurden. Die Performance war dank FC anbindung (8GBit) ganz ordentlich, wobei das ERP, laufend auf einer AS400, primär im RAM lag und die anderen Systeme noch keine hohe Schreiblast erforderten (50 User, bissl FileServer, bissl Terminalserver, zwei Prozessvisualisierungen, ein Exchange, ....)

Mal am Rande:
Ihr habt ne MSA2050. Jede EInheit frisst ja "nur" 24 Disks, dem zur Folge habt ihr vermutlich ein Enclosure dranhängen, was ein maximum von 48 Disks bedeutet: mal daran gedacht, für die DB ein Array aus SSDs dazu zu packen? Ist natürlich nur Sinnvoll, wenn die Daten auch schnell genug zwischen Host und Controller befördert werden können.

€dit:
Momentan betreibe ich die Gesamte ESX umgebung auf den DL 380 Blech mit jeweils 8 Platten im RAID0 und das läuft gut zufriedenstellend.
Seeehr mutig, ein RAID 0: eine Platte defekt, das ganze Array defekt und du darfst dein Backup bemühen

Gruß
em-pie
Mitglied: Leo-le
Leo-le 20.08.2017 um 11:06:42 Uhr
Goto Top
Zitat von @wiesi200:

Ich hätte jetzt eher gesagt.
Ein Raid 10 für die DB's
Ein Raid 5 oder 6 (je nach anzahl Festplatten) für den Exchange da der aus meiner Sicht nicht so kritisch ist was Geschwindigkeit betrifft. Ne Mail kann ruhig ein bisschen länger brauchen.
Und ein Raid 5 oder 6 für den Rest.

Du hast nicht zu viel Overhead durch die vielen kleinen Raid5 aber Trotzdem noch ne Aufteilung wodurch meiner Meinung nach die Last auf die Controller verteilt werden kann.

Bei ner DB im Produktiv Betrieb müsste man da vermutlich auch noch etwas verteilen.

Und Hotspare nicht vergessen. Auch mit dem Service Level von 4 Stunden

Okay, dann werde ich das detaillierter aufteilen, hört sich auch sehr sinnvoll an. Was ich momentan aber wirklich noch nicht so richtig verstehe, ist folgendes: Nehmen wir mal meinen WSUS Server. Dieser sitzt momentan alleine auf dem neuen Storage Storage zum Test und mir fällt sofort auf, dass das Arbeiten mit dem WSUS Dienst immer noch so lahm geht, wie im RAID 0 auf gerade mal 8 Platten. Ein Kopiervorgang läuft aber mit 1,6 Gigabyte pro sec, was mir symbolisiert, dass die Geschwindigkeit auf jeden Fall erst mal an kommt. Habe ich hier einen Denkfehler hinsichtlich z.B. bei der WSUS Performance. Wie ist das bei euch? (gemeint ist z.B. der Serverstart und das suchen in der WSUS Datenbank.
Mitglied: Leo-le
Leo-le 20.08.2017 um 11:18:09 Uhr
Goto Top
Zitat von @em-pie:

Moin,

mir stellte sich gleiche Frage wie bei @Penny.Cilin:
Die IOPS steigen mit Anzahl der Spindeln:
Ein RAID5 mit 10 Disks ist performanter als ein RAID 5 mit 3 Disks, da die Daten von 10 Disks kommen und nicht bloß von dreien.
Zudem, sind es 1,2TB Disks mit 7.2k rpm oder Disks mit 15k rpm?

Wobei die IOPS auf Disk-Ebene auch hinfällig sind, wenn die Storage per iSCSI an einem 100Mbit-Switch angebunden ist (mal etwas übertrieben dargestellt).

Ansonsten würde ich es ähnlich wie wiesi200 machen:
1x RAID 10 fürdie Oracle DB
1x RAID 6 für Server wie Exchange, DCs File-Server
1x RAID 5 für Systeme von untergeordneter Wichtigkeit: ein fehlender WSUS stört nicht das Tagesgeschäft des Business.
Dazu dann 2-3 HotSpares
Die verteilung der Disks nach nach benötigtem Volumen.

Warum so viele HotSpares: du wirst vermutlich eine Reaktionszeit von 4h haben. Eigene Erfahrungen (mit IBM) zeigen aber, dass neue Disks z.B. aus Irland oder Holland kommen und da Teleportation noch nicht erfunden ist, sind die Disks (erst zwei mal benötigt) dann erst am nächsten Morgen greifbar gewesen... Es macht also schon Sinn, sich gedanken über 2 HotSpares zu machen (wenigstens eine je Enclosure).

Wir hatten es einst so, dass wir eine DS3524 von IBM hatten, 24*600GB Disks, wovon 22 DISKs in einem RAID 5 liefen und dann zwei Hot-Spares vorgehalten wurden. Die Performance war dank FC anbindung (8GBit) ganz ordentlich, wobei das ERP, laufend auf einer AS400, primär im RAM lag und die anderen Systeme noch keine hohe Schreiblast erforderten (50 User, bissl FileServer, bissl Terminalserver, zwei Prozessvisualisierungen, ein Exchange, ....)

Mal am Rande:
Ihr habt ne MSA2050. Jede EInheit frisst ja "nur" 24 Disks, dem zur Folge habt ihr vermutlich ein Enclosure dranhängen, was ein maximum von 48 Disks bedeutet: mal daran gedacht, für die DB ein Array aus SSDs dazu zu packen? Ist natürlich nur Sinnvoll, wenn die Daten auch schnell genug zwischen Host und Controller befördert werden können.

€dit:
Momentan betreibe ich die Gesamte ESX umgebung auf den DL 380 Blech mit jeweils 8 Platten im RAID0 und das läuft gut zufriedenstellend.
Seeehr mutig, ein RAID 0: eine Platte defekt, das ganze Array defekt und du darfst dein Backup bemühen

Käse, Raid 10 meinte ich natürlich

Gruß
em-pie
Mitglied: SeaStorm
SeaStorm 20.08.2017 aktualisiert um 12:10:14 Uhr
Goto Top
Ich schätze Mal du hast die DB vom wsus auf der internen DB von Windows laufen. Portieren das Mal auf den SQL und lass da dieses Maintainance Script laufen. Dann läuft das wieder besser
Mitglied: Leo-le
Leo-le 20.08.2017 aktualisiert um 12:17:06 Uhr
Goto Top
Ich schätze Mal du hast die DB vom wsus auf der internen DB von Windows laufen. Portieren das Mal auf den SQL und lass da dieses Maintainance Script laufen. Dann läuft das wieder besser



Jip, der SQL sitzt auf der internen, aber bei 100 Geräten? Ich werde den auf einen SQL Server umplatzieren, da sollte ja ein SQL Express problemlos reichen.
Mitglied: Leo-le
Leo-le 20.08.2017 um 12:22:39 Uhr
Goto Top
Zitat von @em-pie:

Moin,

mir stellte sich gleiche Frage wie bei @Penny.Cilin:
Die IOPS steigen mit Anzahl der Spindeln:
Ist klar soweit
Ein RAID5 mit 10 Disks ist performanter als ein RAID 5 mit 3 Disks, da die Daten von 10 Disks kommen und nicht bloß von dreien.
Ist auch klar soweit, bloß wie sieht es aus, wenn ich mehrere RAID5 mit 4 Disks aufmache und am ende 10 RAID 5 mit 4 Disks in ein Volume stecke??
Zudem, sind es 1,2TB Disks mit 7.2k rpm oder Disks mit 15k rpm?
1,2 TB 10K SAS

Wobei die IOPS auf Disk-Ebene auch hinfällig sind, wenn die Storage per iSCSI an einem 100Mbit-Switch angebunden ist (mal etwas übertrieben dargestellt).

Ansonsten würde ich es ähnlich wie wiesi200 machen:
1x RAID 10 fürdie Oracle DB
1x RAID 6 für Server wie Exchange, DCs File-Server
1x RAID 5 für Systeme von untergeordneter Wichtigkeit: ein fehlender WSUS stört nicht das Tagesgeschäft des Business.
Dazu dann 2-3 HotSpares
Die verteilung der Disks nach nach benötigtem Volumen.
Okay, hört sich sinnvoll an!

Warum so viele HotSpares: du wirst vermutlich eine Reaktionszeit von 4h haben. Eigene Erfahrungen (mit IBM) zeigen aber, dass neue Disks z.B. aus Irland oder Holland kommen und da Teleportation noch nicht erfunden ist, sind die Disks (erst zwei mal benötigt) dann erst am nächsten Morgen greifbar gewesen... Es macht also schon Sinn, sich gedanken über 2 HotSpares zu machen (wenigstens eine je Enclosure).

Hotspares hätte ich sowieso eingeplant, momentan läuft das Teil noch im Test, deswegen die erste Angabe von mir.
Wir hatten es einst so, dass wir eine DS3524 von IBM hatten, 24*600GB Disks, wovon 22 DISKs in einem RAID 5 liefen und dann zwei Hot-Spares vorgehalten wurden. Die Performance war dank FC anbindung (8GBit) ganz ordentlich, wobei das ERP, laufend auf einer AS400, primär im RAM lag und die anderen Systeme noch keine hohe Schreiblast erforderten (50 User, bissl FileServer, bissl Terminalserver, zwei Prozessvisualisierungen, ein Exchange, ....)

Mal am Rande:
Ihr habt ne MSA2050. Jede EInheit frisst ja "nur" 24 Disks, dem zur Folge habt ihr vermutlich ein Enclosure dranhängen, was ein maximum von 48 Disks bedeutet: mal daran gedacht, für die DB ein Array aus SSDs dazu zu packen? Ist natürlich nur Sinnvoll, wenn die Daten auch schnell genug zwischen Host und Controller befördert werden können.

Platz für 8 SSDs habe ich mir bei sizing freigehalten, aber momemtan einfach noch zu teuer.
€dit:
Momentan betreibe ich die Gesamte ESX umgebung auf den DL 380 Blech mit jeweils 8 Platten im RAID0 und das läuft gut zufriedenstellend.
Seeehr mutig, ein RAID 0: eine Platte defekt, das ganze Array defekt und du darfst dein Backup bemühen
Hier habe ich mich vertippt, das läuft natürlich unter einem RAID 10

Gruß
em-pie
Mitglied: Th0mKa
Th0mKa 20.08.2017 aktualisiert um 16:45:47 Uhr
Goto Top
Zitat von @Leo-le:

Reparatur + Austausch
Moin,

das mit der 4h Reparatur möchte ich anzweifeln, das beste was du bei HP bekommst ist 6 hour call-to-repair, normalerweise werden aber nur 4h Hardware Support verkauft denn die 6h Call to repair sind seeehr teuer (wenn man nicht einen guten Grund dafür hat).

VG,

Thomas
Mitglied: D-Line
D-Line 21.08.2017 um 07:19:29 Uhr
Goto Top
Hallo Zusammen

Ich habe ebenfalls kürlich ein MSA2050 bestellt, warte jedoch noch darauf.

Bei der Konfiguration würde ich empfehlen mit zwei RAID5 und einer Global Spare Platte zu arbeiten. Laut HPE Best Practise ist es von Vorteil, mit zwei oder mehr RAID Volumes zu arbeiten, da dies dem Load Balancing zu gute kommt. DAS MSA verteilt die RAID Volumes immer abwechselnd auf die Controller, also RAID Nr.1 auf Controller A, RAID Nr.2 auf Controller B usw. In der Regel habe ich ein MSA zwecks Failover immer mit mindestens je einem FC an jedem Controller angebunden.

Nun hätte ich aber zu dem MSA2050 selbst noch eine Frage: Laut Informationen von HPE sind intern bereits zwei SSDs vorinstalliert.
- Ist dies korrekt?
Damit müsste sich dann ja quasi ein Hybrid RAID erstellen lassen mit Caching auf den SSDs, hat damit bereits jemand Erfahrungen gemacht?

Gruss, Cedy
Mitglied: wiesi200
wiesi200 21.08.2017 um 07:29:00 Uhr
Goto Top
Hallo,

SSD Caching hab ich vor 2-3 Wochen aus ner NetApp geworfen und die direkt als Raid für ein SQL Volume genommen. Bringt mir mehr.
Aber es kommt ein bisschen darauf an was man damit betreiben will. Direkt für nen Fileserver vermutlich interessant.
Mitglied: D-Line
D-Line 21.08.2017 um 07:33:16 Uhr
Goto Top
Hallo wiesi

Wir betreiben VMWare ESXi auf den Hosts und nutzen die MSAs als Datastore. Denkst du ein RAID mit SSD caching wäre dafür sinnvoll? Sind die von HPE erwähnten SSDs intern eingebaut? Wir haben das MSA mit 2.5" VOllausbau bestellt und laut HPE sollen da trotzdem noch irgendwo SSDs vorhanden sein...
Mitglied: Leo-le
Leo-le 21.08.2017 um 09:44:19 Uhr
Goto Top
Zitat von @Th0mKa:

Zitat von @Leo-le:

Reparatur + Austausch
Moin,

das mit der 4h Reparatur möchte ich anzweifeln, das beste was du bei HP bekommst ist 6 hour call-to-repair, normalerweise werden aber nur 4h Hardware Support verkauft denn die 6h Call to repair sind seeehr teuer (wenn man nicht einen guten Grund dafür hat).

VG,

Thomas

Ja, du hast völlig recht. Ich meinte eigentlich auch den Hardware Support.
Mitglied: Leo-le
Leo-le 21.08.2017 um 11:11:24 Uhr
Goto Top
Was mich aber dennoch sehr interessiert....
Ich lege dann sozusagen auf der MSA in den POOL A z.b. 3 x RAID 5 Disk Groups an und in den Pool B für DBS usw. 20 Disks im RAID 10?
So richtig verstehe ich nicht, wie die MSA mit dem Pool umgeht, wenn dort gemischte RAIDS drauf liegen?
Mitglied: chgorges
chgorges 21.08.2017 um 11:15:06 Uhr
Goto Top
Wir haben das MSA mit 2.5" VOllausbau bestellt und laut HPE sollen da trotzdem noch irgendwo SSDs vorhanden sein...

Vollausbau heißt laut HPE 48 Platten, ihr habt nur 40. Heißt, da haben dann noch 8 SSDs Platz.
Mitglied: wiesi200
wiesi200 21.08.2017 um 19:36:11 Uhr
Goto Top
Zitat von @D-Line:

Hallo wiesi

Wir betreiben VMWare ESXi auf den Hosts und nutzen die MSAs als Datastore.

Ich würd mal bei VMWare Nachfragen. Ob du damit einen richtig Spürbaren Effekt erzielst kann ich dir nicht sagen. Aber ich glaub nicht das er zu groß ausfällt
Mitglied: wiesi200
wiesi200 21.08.2017 um 19:39:26 Uhr
Goto Top
Die gemischtem Raid sollten so kein Problem sein.
Am besten ist halt wenn er die Last halbwegs gleichmäßig aufteilen kann.
Das das in der Praxis nie Optimal laufen wird ist was anderes.
Mitglied: Leo-le
Leo-le 21.08.2017 um 21:03:19 Uhr
Goto Top
Zitat von @wiesi200:

Die gemischtem Raid sollten so kein Problem sein.
Am besten ist halt wenn er die Last halbwegs gleichmäßig aufteilen kann.
Das das in der Praxis nie Optimal laufen wird ist was anderes.

So richtig ist mir das noch nicht klar...
Ich habe die beiden POOLs, POOL A wird von Controller 1 bedient und POOL B von Controller 2.
Nun möchte ich ja DBs usw. auf RAID10 packen. Als packe ich doch dann in POOL A z.b ein RAID 10 über die 18 Platten und z.B. 3 x RAID 5 über den POOL B (restlichen 18 Platten, da eine Platte pro Enclosure Global Spare. Wenn ich die Pools mit unterschiedlichen RAIDS mixe, dann kann ich das doch gar nicht vernünftig aufteilen der sehe ich das falsch?

Besten Dank schon mal für die Hilfe
Mitglied: Dr.EVIL
Dr.EVIL 29.08.2017 um 11:29:11 Uhr
Goto Top
RTFM! face-wink

Mache bitte nicht den selben Fehler wie der TO und lese erst nach der Inbetriebnahme die BEDIENUNGSANLEITUNG!

Eine MSA2050 ist kein X-Beliebiges RAID Storage...
Um hier eine optimale Konfiguration zu erreichen sollte man sich mit den grundlegenden Bedienungskonzepten dieses Gerätes auseinandersetzen.
Bevor man z.B. den Begriff "Pool" nicht begriffen hat, sollte man sich über die nachgeordneten RAID Level keine Gedanken machen.


Bei einer MSA2050 sind KEINE SSDs im Grundgerät enthalten. Auch die Lizenz für das Autotiering muss separat erworben werden.
Das Gerät mit den vorinstallierten 800GB SSD und der "Volllizensierung" wäre die MSA 2052!
Diese können als Cache verwendet werden.
Allerdings halte ich Cache nur füpr eine "Krücke".
Die SSD sind in den meisten Fällen besser als "Tier0" in einem Autotiering Pool eingesetzt.
Mitglied: Leo-le
Leo-le 29.08.2017 um 11:41:10 Uhr
Goto Top
Servus Doc.

ja, ich habe das Poolverhalten noch nicht begriffen, selbst HP konnte mir dazu nichts sinnvolles sagen. Anscheinend hat darüber noch niemand so richtig nachgedacht, vielleicht kannst du mir die 2 Pools näher bringen? Bei uns handelt es sich um die MSA 2050, da keine SSDs enthalten.

Besten Dank und Grüße
Mitglied: Dr.EVIL
Dr.EVIL 29.08.2017 aktualisiert um 12:20:21 Uhr
Goto Top
Zitat von @Leo-le:


So richtig ist mir das noch nicht klar...
Ich habe die beiden POOLs, POOL A wird von Controller 1 bedient und POOL B von Controller 2.
Nun möchte ich ja DBs usw. auf RAID10 packen. Als packe ich doch dann in POOL A z.b ein RAID 10 über die 18 Platten und z.B. 3 x RAID 5 über den POOL B (restlichen 18 Platten, da eine Platte pro Enclosure Global Spare. Wenn ich die Pools mit unterschiedlichen RAIDS mixe, dann kann ich das doch gar nicht vernünftig aufteilen der sehe ich das falsch?

Es gibt zwei Grundsätze bei der MSA Storage Konfiguration:
Eine der fundamentalen "Best Practices" lautet: "The Power of 2"!
Dies bedeutet: Ungerade Anzahlen vermeiden, Storage möglichst symetrisch aufbauen.
Weitere lauten: "Safety First!" und:
"Keep it Simple"

Gemeinsam mit anderen Best Practices (Z.B. bei Platten >1TB nur RAID6 verwenden) schlage ich vor:
-Zwei Pools
-Bestehend jeweils aus einem RAID60 Verbund aus 2x 10Platten



Jedes "zerstückeln" oder "mischen" eines solch ausbalancierten Systems bedeutet einen höheren Performanceverlust, als mit noch so aufgefeilten RAID10, Caching und Autotiering Techniken auszugleichen ist.

Über die Performance und Kapazität, sowie den Sinn oder Unsinn von zusätzlichen HotSpares in einer RAID60 Umgebung kann man im Anschluss diskutieren...
Mitglied: Dr.EVIL
Dr.EVIL 29.08.2017 aktualisiert um 12:53:52 Uhr
Goto Top
Sorry.
Mein Kommentar bezog auf die Zwischenfrage von D-Line


Zitat von @Leo-le:

ja, ich habe das Poolverhalten noch nicht begriffen, selbst HP konnte mir dazu nichts sinnvolles sagen. Anscheinend hat darüber noch niemand so richtig nachgedacht, vielleicht kannst du mir die 2 Pools näher bringen? Bei uns handelt es sich um die MSA 2050, da keine SSDs enthalten.

Meinen Vorschlag findest Du in der oben stehenden Antwort.

Zu den Pools:

Bei einem "klassischen" Storage, wie bspw. einer älterern MSA P2000, gibt es nur "lineare" LUN (Logical UNits=Laufwerke)
Hier werden alle Platten im System zu einem oder mehreren RAID zusammengefasst und dann als Volumes aufgeteilt und zu den Hostst "gemapt"
Bei einem Storage der "dritten Generation" (Alles ab MSA 1040, 3PAR, EVA usw.) werden die Datenblöcke per "Wide Striping" über alle physischen Medien eines Storage verteilt. Man kan also einen "Pool" einrichten, der Beispielsweise sowohl SAS 10K Platten, als auch SSDs oder auch 3,5" Nearline (7.200U/min) Platten enthält, oder (wie bei Dir) mehrere RAID 5 oder 6 Verbünde miteinander "stacken".
Anders wie bei einem linearen LUN arbeiten in einem POOL beide Controller "active/active" gemeinsam und ergeben so einen redundanten "Allradantrieb" mit zwei "Motoren", wobei einer der Controller im laufenden Betrieb ausfallen kann, ohne das die Hosts dies, wenn sie richtig angeschlossen wurden (MPIO), mitbekommen...
Lediglich die maximale zu erreichende Leistung halbiert sich. (Luxusproblem, da 220.000 IOPS nur mit einer "All Flash" Konfiguration erreichbar ist)
Sollte die Leistung deiner Anlage, wieder erwarten nicht ausreichen, würde ich mir die "Advanced Data Services Suite" zulegen und für jeden Pool zwei 800GB SSD im RAID1 hinzufügen. "
"HotBlocks" also Datenblöcke die von den Hosts im Verhältnis häufiger als andere angefordert werden, werden dann auf die SSD geschoben, was in vielen mir bekannten Fällen erheblich schneller ist als jede auf der MSA mögliche RAID10 Konfiguration mit 10K SAS Platten.
(Ausnahme: SAP auf Oracle mit hohere Schreiblast)
"Cache" hat die 2050 mit 16GB bereits mehr als genug, wenn sie nicht gerade von einem Rudel "Streaming Hosts missbraucht" wird... face-wink
Daher bringt die serienmäßige "Flash Read Cache" Funktion in einer VM Umgebung, verglichen mit "Autotiering" relativ wenig...
Mitglied: Leo-le
Leo-le 29.08.2017 um 14:30:20 Uhr
Goto Top

Es gibt zwei Grundsätze bei der MSA Storage Konfiguration:
Eine der fundamentalen "Best Practices" lautet: "The Power of 2"!
Dies bedeutet: Ungerade Anzahlen vermeiden, Storage möglichst symetrisch aufbauen.
Weitere lauten: "Safety First!" und:
"Keep it Simple"

Gemeinsam mit anderen Best Practices (Z.B. bei Platten >1TB nur RAID6 verwenden) schlage ich vor:
-Zwei Pools
-Bestehend jeweils aus einem RAID60 Verbund aus 2x 10Platten

insgesamt sind 40 Platten vorhanden
Also für Pool A = 2 x RAID 6 mit jeweils 10 Platten und für Pool
B das gleiche ??
Das ganze dann ohne Global Spare


Jedes "zerstückeln" oder "mischen" eines solch ausbalancierten Systems bedeutet einen höheren Performanceverlust, als mit noch so aufgefeilten RAID10, Caching und Autotiering Techniken auszugleichen ist.
Ich kam auf das RAID10, da mir am Anfang des Forenverlaufs die Einteilung empfohlen wurde. Deswegen dachte ich an ein RAID10 für POOL A und z.B. RAID6 im Pool b
Momentan habe ich die Konfig um komme habe ca. 10 sek einen 1,6 Gb/s durchsatz und dann geht er runter auf ca 300 -500MB pro sek


Über die Performance und Kapazität, sowie den Sinn oder Unsinn von zusätzlichen HotSpares in einer RAID60 Umgebung kann man im Anschluss diskutieren...
Mitglied: Leo-le
Leo-le 29.08.2017 um 14:31:59 Uhr
Goto Top
Zitat von @Dr.EVIL:

Sorry.
Mein Kommentar bezog auf die Zwischenfrage von D-Line


Zitat von @Leo-le:

ja, ich habe das Poolverhalten noch nicht begriffen, selbst HP konnte mir dazu nichts sinnvolles sagen. Anscheinend hat darüber noch niemand so richtig nachgedacht, vielleicht kannst du mir die 2 Pools näher bringen? Bei uns handelt es sich um die MSA 2050, da keine SSDs enthalten.

Meinen Vorschlag findest Du in der oben stehenden Antwort.

Zu den Pools:

Bei einem "klassischen" Storage, wie bspw. einer älterern MSA P2000, gibt es nur "lineare" LUN (Logical UNits=Laufwerke)
Hier werden alle Platten im System zu einem oder mehreren RAID zusammengefasst und dann als Volumes aufgeteilt und zu den Hostst "gemapt"
Bei einem Storage der "dritten Generation" (Alles ab MSA 1040, 3PAR, EVA usw.) werden die Datenblöcke per "Wide Striping" über alle physischen Medien eines Storage verteilt. Man kan also einen "Pool" einrichten, der Beispielsweise sowohl SAS 10K Platten, als auch SSDs oder auch 3,5" Nearline (7.200U/min) Platten enthält, oder (wie bei Dir) mehrere RAID 5 oder 6 Verbünde miteinander "stacken".
Anders wie bei einem linearen LUN arbeiten in einem POOL beide Controller "active/active" gemeinsam und ergeben so einen redundanten "Allradantrieb" mit zwei "Motoren", wobei einer der Controller im laufenden Betrieb ausfallen kann, ohne das die Hosts dies, wenn sie richtig angeschlossen wurden (MPIO), mitbekommen...
Round Robin im ESX?
Lediglich die maximale zu erreichende Leistung halbiert sich. (Luxusproblem, da 220.000 IOPS nur mit einer "All Flash" Konfiguration erreichbar ist)
Sollte die Leistung deiner Anlage, wieder erwarten nicht ausreichen, würde ich mir die "Advanced Data Services Suite" zulegen und für jeden Pool zwei 800GB SSD im RAID1 hinzufügen. "
die ersten 6 Schächte habe ich frei gelassen um später ein Tiering mit SSDs aufzubauen, falls die Leistung nicht reicht.
"HotBlocks" also Datenblöcke die von den Hosts im Verhältnis häufiger als andere angefordert werden, werden dann auf die SSD geschoben, was in vielen mir bekannten Fällen erheblich schneller ist als jede auf der MSA mögliche RAID10 Konfiguration mit 10K SAS Platten.
(Ausnahme: SAP auf Oracle mit hohere Schreiblast)
"Cache" hat die 2050 mit 16GB bereits mehr als genug, wenn sie nicht gerade von einem Rudel "Streaming Hosts missbraucht" wird... face-wink
Daher bringt die serienmäßige "Flash Read Cache" Funktion in einer VM Umgebung, verglichen mit "Autotiering" relativ wenig...
Mitglied: Dr.EVIL
Dr.EVIL 29.08.2017 um 15:09:15 Uhr
Goto Top
Zitat von @Leo-le:

insgesamt sind 40 Platten vorhanden
Also für Pool A = 2 x RAID 6 mit jeweils 10 Platten und für Pool
B das gleiche ??
Das ganze dann ohne Global Spare

Korrekt!
So erhältst Du ein Storage mit bis zu 8 Platten die ausfallen können...
Ob du angesichts dessen noch zumeist "faul herumlungernde HotSpares" benötigst, sei dahingestellt.


Ich kam auf das RAID10, da mir am Anfang des Forenverlaufs die Einteilung empfohlen wurde. Deswegen dachte ich an ein RAID10 für POOL A und z.B. RAID6 im Pool b


Die Aussage ist auch richtig, bei einem "klassischen" Storage mit "linearen" RAID Leveln.
Du hast allerdings ein System welches bereits darüber hinaus geht.
Es wäre Schade, diese Eigenschaften nicht zu nutzen.
Allerdings wird auch deine MSA2050 schneller, wenn Du ein RAID10 verwendest...
Es kommt darauf an, was Du mit dem Storage machen möchtest... (Wieviele Hosts, mit wievielen und welchen VM darauf zugreifen)
Im Zweifelsfall teilst Du das System in zwei Hälften:
Pool A: RAID60 (2x10)
Pool B: RAID10 (10x2)

In beiden Fällen erhältst DU ein sehr redundantes und schnelles System, Beim etwas schnelleren RAID10 ist der Nettoverlust allerdings bei 50%, bei RAID60 bei nur 20%...
Du musst selbst abwägen welches (Kapazität oder Geschwindigkeit) Dir wichtiger ist.

Momentan habe ich die Konfig um komme habe ca. 10 sek einen 1,6 Gb/s durchsatz und dann geht er runter auf ca 300 -500MB pro sek

Normal!
Der "Zusammenbruch" beim Kopieren von Daten erklärt sich aus dem Cache. In den ersten 10 Sekunden werden die Daten noch nicht auf das Storge geschrieben sondern in den Cache. Erst dann beginnen die Platten zu "wirken"...
In der Praxis (VM,s Datenbanken usw.) spielt dies aber kaum eine Rolle. Wichtig ist lediglich die Latenzzeit des Storage in Millisekunden. Diese Zeit bemerkt man im Betrieb als "Geschwindoigkeit".
(Siehe meine Bemerkung zur "Stream Vergewaltigung") face-wink
Mitglied: Leo-le
Leo-le 29.08.2017 aktualisiert um 15:39:49 Uhr
Goto Top
Vielen Dank für die aussagekräftigen Antworten!
Das bedeutet also, dass sogar innerhalb des RAID6 (10Platten) 4 Platten im Pool ausfallen können? Da der Pool sich ja dann über die gesamten 20 Platten hinweg aufteilt.

Insgesamt würde ich das dann so erstellen mit dem RAID 60 und dem RAID 10. Für die 3 ESX stelle ich dann 2 Volumes zur Verfügung einmal aus dem RAID 10 und einmal aus dem RAID60 und nehme die entsprechend als Datastore in die ESX Maschinen mit auf. SAP und Oracle packe ich dann auf den POOL, wo das RAID10 drauf läuft?

Die 3 ESXgreifen dann ja alle auf das gleiche Volume zu oder? Hier wird ja kein separates Volume pro ESX erstellt.
Mitglied: Th0mKa
Th0mKa 29.08.2017 um 15:59:39 Uhr
Goto Top
Zitat von @Leo-le:

Vielen Dank für die aussagekräftigen Antworten!
Das bedeutet also, dass sogar innerhalb des RAID6 (10Platten) 4 Platten im Pool ausfallen können? Da der Pool sich ja dann über die gesamten 20 Platten hinweg aufteilt.
Nein, es koennen 2x2 Platten ausfallen. Bzgl. der Global Hotspare waere ich nicht so optimistisch auf sie verzichten zu wollen. Im Falle eines Falles wird das Rebuild wenn vorhanden sofort gestartet, bei 1.2TB dauert das ja auch etwas.

VG,

Thomas
Mitglied: Leo-le
Leo-le 29.08.2017 um 16:19:29 Uhr
Goto Top
Okay, dann wird das RAID also ganz normal als RAID 6 gesehen. Er zieht sich aber die Performance aus dem dynamic Disk Pool und das aus beiden.
Mitglied: D-Line
D-Line 22.09.2017 um 07:43:20 Uhr
Goto Top
Die Aussagen unseres HPE Betreuers und denen von Dr. Evil stimmen soweit überein. Ich habe unser neues MSA2052 jetzt folgendermassen konfiguriert:

Controller A: 1x RAID5 mit 10 Festplatten + eine SSD als Read Cache, das Ganze in einem Pool zusammen gefasst.
Controller B: 1x RAID5 mit 11 Festplatten + eine SSD als Read Cache, das Ganze ebenfalls in einem Pool zusammen gefasst.

Die übrig gebliebene Disk wurde als Global Spare definiert.

Wir machen noch Performance Tests aber alle in allem sind wir mit der Leistung bis jetzt sehr zufrieden (SQL2016 VM auf VMWare 5.5)

Gruss, C3dy