6
VMWare NFS iSCSI FC
Hallo liebe Admin Kollegen
bei uns steht in den nächsten 9 Monaten ein komplette Neuanschaffung der VMWare Umgebung an, dass Sizing der Komponenten ist bereits erfolgt, ich hätte gerne ein paar Erfahrungswerte zum Thema SAN Protokoll. Hier gibt es ja unterschiedliche Möglichkeiten ein SAN an VMWare anzubinden:
Bei uns stellt sich jetzt die Frage, welches Protokoll die beste Leistung bringt (nebst Durchsatz und Latenz) und beste Fehlertoleranz (bei Ausfall eines Switches oder HBA's) liefert. Die unterschiedlichen Hersteller (NetApp, Huawai, Fujitsu, HP, Dell ...) treffen alle nicht die gleichen Aussagen (NetApp empfiehlt als einziger z.B. NFS zu verwenden, Dell favorisiert FC mit der Compellant, Fujitsu mag am liebsten FC oder iSCSI usw.). Die kostspieligste Lösung ist auf jeden Fall die FibreChannel Anbindung, spielt jetzt aber eine nicht zu große Rolle.
Folgende Grundkonfiguration ist bei allen Systemen gleich:
Tendeziell würde ich auf FC gehen 8G oder 16G (der Preisunterschied macht im Gesamtprojekt fast nichts mehr aus) - sofern sich das lohnt. Ich hätte gerne ein paar Erfahrungswerte von euch, vor allem was so alles nicht so toll ist bei den unterschiedlichen Protokollen bzw. ob ab einem bestimmten Last-Level die Leistung komplett einbricht.
Gruß
@clSchak
bei uns steht in den nächsten 9 Monaten ein komplette Neuanschaffung der VMWare Umgebung an, dass Sizing der Komponenten ist bereits erfolgt, ich hätte gerne ein paar Erfahrungswerte zum Thema SAN Protokoll. Hier gibt es ja unterschiedliche Möglichkeiten ein SAN an VMWare anzubinden:
- via NFS
- via iSCSI
- via FibreChannel
Bei uns stellt sich jetzt die Frage, welches Protokoll die beste Leistung bringt (nebst Durchsatz und Latenz) und beste Fehlertoleranz (bei Ausfall eines Switches oder HBA's) liefert. Die unterschiedlichen Hersteller (NetApp, Huawai, Fujitsu, HP, Dell ...) treffen alle nicht die gleichen Aussagen (NetApp empfiehlt als einziger z.B. NFS zu verwenden, Dell favorisiert FC mit der Compellant, Fujitsu mag am liebsten FC oder iSCSI usw.). Die kostspieligste Lösung ist auf jeden Fall die FibreChannel Anbindung, spielt jetzt aber eine nicht zu große Rolle.
Folgende Grundkonfiguration ist bei allen Systemen gleich:
- 24 x SSD im Tier1 (16xWI / 8xRI)
- 24 x Near-Line SAS im Tier3
- Synchroner Spiegel mit transparenten Failover
- 6 x VMWare Server
- 2 x SQL Server (nicht virtuallisiert)
- Peak-Anforderung IOPs: 45.000 / Sizing ist auf 65.000+ damit wir noch Luft nach oben haben
- SAN wird über dedizierte Switche laufen, egal ob FC, iSCSI oder NFS (FCoE kommt nicht in Frage)
- Wir haben eine relativ hohen Schreibanteil bei uns 60% Schreiben / 40% Lesen
Tendeziell würde ich auf FC gehen 8G oder 16G (der Preisunterschied macht im Gesamtprojekt fast nichts mehr aus) - sofern sich das lohnt. Ich hätte gerne ein paar Erfahrungswerte von euch, vor allem was so alles nicht so toll ist bei den unterschiedlichen Protokollen bzw. ob ab einem bestimmten Last-Level die Leistung komplett einbricht.
Gruß
@clSchak
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 316442
Url: https://administrator.de/contentid/316442
Ausgedruckt am: 23.11.2024 um 12:11 Uhr
6 Kommentare
Neuester Kommentar
Hallo,
ganz klar FC16.
1. 16GBit sind schneller als 1GBit iSCSI oder 10GBit iSCSI
2. FC bietet mit den FC-Switche ein hohes Maß an Verfügbarkeit
3. FC ist schneller, bzw. iSCSI ist langsamer wegen des deutlich höheren Overheads.
Das trifft besonders auf Traffic mit hohe IOs (wie z.B. Datenbanken) zu
Die SCSI Operationen werden in iSCSI gepackt, diese dann in TCP und IP, Bitweise übertragen und entsprechend wieder ausgepackt.
Einziger Nachteil von FC den ich kenne sind die Kosten und man braucht mehr Knowhow als iSCSI.
NFS ist noch schlimmer als iSCSI.
Stefan
ganz klar FC16.
1. 16GBit sind schneller als 1GBit iSCSI oder 10GBit iSCSI
2. FC bietet mit den FC-Switche ein hohes Maß an Verfügbarkeit
3. FC ist schneller, bzw. iSCSI ist langsamer wegen des deutlich höheren Overheads.
Das trifft besonders auf Traffic mit hohe IOs (wie z.B. Datenbanken) zu
Die SCSI Operationen werden in iSCSI gepackt, diese dann in TCP und IP, Bitweise übertragen und entsprechend wieder ausgepackt.
Einziger Nachteil von FC den ich kenne sind die Kosten und man braucht mehr Knowhow als iSCSI.
NFS ist noch schlimmer als iSCSI.
Stefan
SAN wird über dedizierte Switche laufen, egal ob FC, iSCSI oder NFS
Hast du nicht Brocade VDXe im Einsatz ?? Mit deren Auto NAS QoS Feature wäre das dann Unsinn und rausgeschmissenes Geld da ein dediziertes Netz für zu etablieren.Die VDXe sind DCB Switches und mit NAS QoS ist der Storage Traffic dann Lossless im Fabric Backbone wie bei FC....
Nur mal so als Anmerkung wenn du in Richtiung IP statt FC denkst
Zum Rest hat Kollege Kittel ja schon das Wichtigste gesagt.
Ja ich weis das wir VDX Systeme im Einsatz haben 
- die sind aber auch 4 Jahre+ alt und Updates bekommt man da auch keine mehr für 
. Wobei das kosten technisch nachher gleich auf geht. Es läuft ja aktuell auch alles, mir geht es lediglich um Erfahrungswerte. Wenn wir eh neu kaufen müssen könnten wir auch FC mit einbringen, alternativ mit Kanone auf Spatzen schießen und 40G iSCSI verwenden .
Diverse Controller der einzelnen Storages liefern auch 4 x 10G iSCSI Uplink, aber man hört immer wieder unterschiedliche Meinungen, dass 2 x 16G FC mehr Leistung liefern wie 4 x 10G, darum bin ich da recht unschlüssig was der bessere Weg ist.
- die sind aber auch 4 Jahre+ alt und Updates bekommt man da auch keine mehr für . Wobei das kosten technisch nachher gleich auf geht. Es läuft ja aktuell auch alles, mir geht es lediglich um Erfahrungswerte. Wenn wir eh neu kaufen müssen könnten wir auch FC mit einbringen, alternativ mit Kanone auf Spatzen schießen und 40G iSCSI verwenden .Diverse Controller der einzelnen Storages liefern auch 4 x 10G iSCSI Uplink, aber man hört immer wieder unterschiedliche Meinungen, dass 2 x 16G FC mehr Leistung liefern wie 4 x 10G, darum bin ich da recht unschlüssig was der bessere Weg ist.
die sind aber auch 4 Jahre+ alt und Updates bekommt man da auch keine mehr für
Doch... NOS 4.1.3d ist derzeit der aktuellste Patch. Die 4.1.3 ist ein Long Term Release was weiterhin gepflegt wird und auf das du zwingend updaten solltest sofern du Gen1 VDX einsetzt Was das Thema FC oder IP Storage anbetrifft ist das auch eher philosophisch. FC Vertreter plädieren eher für FC und bei IP ist es eben IP.
Letztlich ist eine Antwort sicher nicht einfach, da es auch vom Traffic Volumen und Größe abhängig ist. Das sind immer 2 Gummiparameter die die Grenzen fliessen lassen.
Fraglich auch was die Zukunft bringt mit dem stark kommenden NVMe und dessen Transport wie FC oder IP.
ja das hast du recht 4.1.3d ist die aktuellste, es gibt aber schon weitaus höherer Versionen . Und ja wir haben die 1. Generation im Einsatz (6710-6730) und das dann im gesamten Core.
Allerdings geht aktuell, wenn die BI Ihr DataWarehouse mal "eben" neu zieht das SAN in die Knie und das wollen wir in Zukunft vermeiden, da unsere Datenbanken ja nicht kleiner werden und die Antwortzeiten mit zunehmender Größe nicht besser werden. Der Durchsatz ist eigentlich nicht das Nadelöhr, hier spielen eher die Faktoren von IOPs und Antwortzeit eine Rolle - aus dem Grund haben halt einige Hersteller zu FC geraten (bis auf die eine Ausnahme die NFS favorisiert).
Wir haben aktuell einige Dell Equallogic sind damit auch gut zufrieden, allerdings fehlen hier ein paar Features die wir gerne hätten - diese sind via 10G iSCSI angebunden - aber auch die laufen unter Last und die Latenz ist zwischen 5-13ms am SQL wird die dann noch ein wenig höher angezeigt - das ist einer der Gründe warum wir FC in Betracht ziehen.
Es kann natürlich sein, dass sich das mit einem neuen Storage alles behebt dazu hätte ich halt gerne Erfahrungswerte, ob iSCSI oder FC bei Datenbanken >1TB (Server hat aktuell 128GB RAM soll auf 256GB erweitert werden, Cache Hit Ratio ist bei 98,9%) oder anderen großen "Lasten" Ihre vor- und nachteile hat. Die Hersteller und deren Datenblätter zeigen immer tolle Werte, nur was real in produktiver Umgebung (z.B. 10Gb iSCSI mit einem Voll-SSD Storage) geleistet wird ist immer etwas anderes :/
. Und ja wir haben die 1. Generation im Einsatz (6710-6730) und das dann im gesamten Core.Allerdings geht aktuell, wenn die BI Ihr DataWarehouse mal "eben" neu zieht das SAN in die Knie und das wollen wir in Zukunft vermeiden, da unsere Datenbanken ja nicht kleiner werden und die Antwortzeiten mit zunehmender Größe nicht besser werden. Der Durchsatz ist eigentlich nicht das Nadelöhr, hier spielen eher die Faktoren von IOPs und Antwortzeit eine Rolle - aus dem Grund haben halt einige Hersteller zu FC geraten (bis auf die eine Ausnahme die NFS favorisiert).
Wir haben aktuell einige Dell Equallogic sind damit auch gut zufrieden, allerdings fehlen hier ein paar Features die wir gerne hätten - diese sind via 10G iSCSI angebunden - aber auch die laufen unter Last und die Latenz ist zwischen 5-13ms am SQL wird die dann noch ein wenig höher angezeigt - das ist einer der Gründe warum wir FC in Betracht ziehen.
Es kann natürlich sein, dass sich das mit einem neuen Storage alles behebt
dazu hätte ich halt gerne Erfahrungswerte, ob iSCSI oder FC bei Datenbanken >1TB (Server hat aktuell 128GB RAM soll auf 256GB erweitert werden, Cache Hit Ratio ist bei 98,9%) oder anderen großen "Lasten" Ihre vor- und nachteile hat. Die Hersteller und deren Datenblätter zeigen immer tolle Werte, nur was real in produktiver Umgebung (z.B. 10Gb iSCSI mit einem Voll-SSD Storage) geleistet wird ist immer etwas anderes :/es gibt aber schon weitaus höherer Versionen
Die rennen aber nur auf den Gen 2 VDXen (6740, 6940) Wenn du kein IPv6 oder IP Fabric Feature im Moment brauchst ist das dann egal....
Einen Knackpunkt gibt es aber. Das Feature Auto NAS QoS was IP basierten Storage Traffic lossless transportiert in der Fabric wie bei FC ist erst ab NOS 5 und höher supportet. Wenn du Richtung IP Storage gehst ist das natürlich ein Killerfeature....
Musst dann halt ein gutes Trade In aushandeln
