VMware ESX und EMC VNXe1600 - 10GBit iSCSI

Hallo Zusammen.

Ich habe ein Problem mit unserer neuen EMC und unserem neuen HPE VMware Host.
Alle Komponenten melden eine 10Gbit Verbindung. Also ESX vSwitch - HP Switch Module und EMC iSCSI Interfaces.

Details zur Hardware:

- HP 2920-48G Switch (J9728A) + FC Modul 10GBit(Verbindung zur EMC) und 10GBaseT Kupfer Modul(Verbindung zum ESX)
- ESX VMware Host -> HPE ProLiant DL380 Gen9 mit 2 Port Broadcom Corporation QLogic 57810 10 Gbit Ethernet Adapter
- EMC VNXe1600

Problem:

Ich habe die EMC über iSCSI an den ESX angebunden. Ein VM mit zwei VMDKs erstellt. Beide VMDKs leigen auf einem RAID 10 auf der EMC welche ja über 10GBit angebunden ist!
Wenn ich nun von einer auf die andere VMDK kopiere erhalte ich keine besseren Werte als 60 - 80MB/s. Irgendetwas limitiert auf 1GBit.

Ich habe bereits der VM eine zweite Nic(vmxnet3) verpasst und an den iscsi vSwitch angeschlossen. Die Luns auf der EMC neu erstellt und der VM Zugriff verpasst. Die Luns dann via MS ISCSI-Initiator verbunden. Gleiches Ergebnis. Wollte mit diesem Test den VMware iscsi Software Adapter umgehen. Das ist mir gelungen aber leider ist das Problem weiterhin vorhanden.Werte als 60 - 80MB/s

Ich habe jetzt die Vermutung das der vSwitch eventuell durch eine Richtlinie oder so limitiert ist.( Kann das ein?)

Ich werde heute testweise einem PC eine 10Gbit Kupfer NIC verpassen und mich direkt am Switch anbinden. (also an das 10Gbit Kupfermodul). Hier wird sich zeigen ob der ESX verantwortlich ist oder der Fehler doch dahinter liegt.

Weiß jemand wie die Verbindung an der Backplane des HP Switch aussieht. Also Bandbreite zwischen 10Gbit FC Modul und 10Gbit Kupfer Modul?

Ich bin dankbar für alle Tipps die ich bekommen kann.

LG aus Erlangen

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 316044

Url: https://administrator.de/contentid/316044

Ausgedruckt am: 25.11.2024 um 11:11 Uhr

8 Kommentare

Neuester Kommentar

Bist du direkt vom Server 10Gig NIC mit Patchkabel auf die EMC verbunden oder ist da noch aktive Switch Hardware dazwischen ?
Bedenke das 10G Base T je nach Link Qualität ein Speed Negotiation Verfahren benutzt und dediziert 10G nur zur Verfügung stellt wenn das Kabel und die Steckverbindungen 100% in Ordnung ist und es Cat 6 oder 7 ist.
Deshalb legt man auch solche Links immer besser statt mit 10G Base T mit DAC Kabeln (Twinax) oder Glasfaser aus.
So kann man zu 100% sicher sein auch immer die volle 10G Bandbreite zu bekommen. Mit 10G Base T nicht.
Hast du mal die Connection Rate auf beiden Adapter geprüft ? Oder auch auf dem Switch sofern einer dazwischen ist ?!

Moin,

ich habe jetzt die Vermutung das der vSwitch eventuell durch eine Richtlinie oder so limitiert ist.( Kann das ein?)

Theoretisch kann man für die iSCSI PortGroup Traffic Shaping aktivieren - aber wer macht sowas?!

Jumbo Frames sind durchgehend gleichlautend konfiguriert? Also überall an oder überall aus?
Firmaware und Treiber sind überall aktuell?

lg,
Slainte

Ja es ist ein Switch zwischen den beiden System verbaut. JumboFrames sind nicht aktiviert. An keinem der Komponenten.
Ich sehe hierbei aber nicht das Problem da ich nicht mal annähernd über 1Gbit komme. JumboFrames wären aus meiner sicht zur Otpimierung geeignet aber da stimmt ja etwas grundlegend nicht.

Ich habe nun einen Rechner mit 10Gbit Kupfer direkt an das 10Gbit Modul des Switches angeschlossen und diesen via MS ISCSI Intiator verbunden. Gleiches Ergebnis!

Jetzt habe ich den HP Switch in Verdacht. Ich vermutde das die Komunikation zwischen den Modlulen (FC und Kupfer) auf 1Gbit limitiert ist.

Alle Komponenten melden einen Uplink von 10Gbit!

JumboFrames sind nicht aktiviert

Sehr schecht wenn du maximalen Durchsatz bei 10G haben möchtest

aber da stimmt ja etwas grundlegend nicht.

Das ist wohl wahr ! Hast du die Negotiation Rate an den Switchports überprüft ?? Ist dort 10G Full negotiated ?

angeschlossen und diesen via MS ISCSI Intiator verbunden. Gleiches Ergebnis!

Oha... Da stimmt wirklich was nicht. Das würde den Fehler ja schon auf die NICs eingrenzen.

Jetzt habe ich den HP Switch in Verdacht.

Igitt HP im 10G Umfeld, das ist so als wenn man einen Dacia Logan mit Raketentreibstoff betankt. Auch wenn HP Switches so ziemlich das Gruseligste sind im 10G Umfeld muss man aber mal zu dessen Ehrenrettung sagen das es der Switch ja nun nicht sein kann wenn du dasselbe schlechte Ergebnis mit einer direkten Back to Back Connection der Endgeräte ebenso erzielst.
Normal machst du auf einer Backplane immer wirespeed und da sollte also auch volle 10G auf den NIC Port gehen.
Ausnahme ist natürlich HP hat beim Server einen Policy das man 10G Connectivity bezahlen muss mit einer Lizenz.
Auf einem Server Adapter wäre das aber eher ungewöhnlich.
Du kannst doch auch die Link Connection Rate an der NIC ablesen ?? Was steht denn da 1G oder 10G ?
Wie gesagt wir reden hier von Ethernet !!
Bei Fiberchannel ist das was anderes. Dort herrschen andere Verhältnisse und Geschwindigkeiten. In der Regel sind das 2, 4, 8 oder 16Gig. Wobei 8 und besonders 16 Gig schon recht modern ist.
Fiberchannel hat aber rein gar nix mit Ethernet zu tun. Ganz andere Baustelle...
Weisst du vermutlich aber auch selber ?!

Guten Morgen,

ja also ich habe eine nTest gemacht indem ich einen Rechner mit einer 10Gbit Karte versorgt habe und diesen direkt an das Kupfer 10Gbit Modul des HP Switches angeschlossen habe. Die EMC ist am selben Switch via Glasfaser Modul angebunden. Geschwindkeit ist dennoch nicht mehr als 1Gbit (anhand der erzielten Werte) Die Module und betroffenen NICs zeigen alle 10Gbit an!

Ich vermute wie gesagt das die Komunikation im Switch (zwischen den Modulen) begrenzt ist. Ich erhalte aber über den Switch keine Info über die Bandbreite unter den beiden Modulen.

Heute bekomme ich einen reinen 10GBit Witch der sowohl Glasfaser als auch Kupferverbindungen unterstützt. Ich werde meine Ergebnisse natürlich hier hinzufügen.

LG
Marco

Dann kann die HP Gurke vermutlich nicht mehr Durchsatz. Bei billigen Massenmodellen ist das bei denen kein Wunder denn die überbuchen die Chipsets massiv intern. Für die meisten dieser Kundenclientel die diese Switches einsetzen reicht das dann auch weil sie das gar nicht merken.
1G ist aber schon sehr übel. Nundenn, muss man wohl in Kauf nehmen wenn man HP Netzinfrastruktur beschafft.
Andere Hersteller machen nicht so einen Mist...aber egal.
Kann man nur hoffen das dein anderer Testswitch dann hoffentlich mal keine HP Gurke ist oder wird

Habe den 10 GBit Switch getestet. Also mit diesem sind die Werte deutlich besser und wir können von 10Gbit sprechen.
Allerdings wirklich gut sind die Werte nicht. Aber das liegt a nder VNXe. Die ist einfach langsam. Ich habe mal testweise ein JOVIANDSS von Open-E als Storage getestet. Doppelte Performance im Vergleich zur EMC. Das Open-E System kostet ca. 1/4. Als HA (active-active) ungefähr 1/2 aber da kann ich die i-SCSI-Netzwerk auch aktiv über 20 / 40 GBit anbinden.

Fall ist gelöst. HP ist wirklich mist!