25.06.2014, aktualisiert am 07.07.2014

5972

ISCSI SAN langsam im Cluster mit HP Server und HyperV - Schreibgeschwindigkeit unter 100MBs

Hallo Leute,

wir haben 2 HP Server und 2 HP Storages, beides im StorageCluster und mit HyperV im Cluster.
Auf den Storages haben wir ein RAID 10 mit 8 Platten

Die 2 HP Server haben jeweils ein RAID1 und sind mit 10Gbits angebunden.
Auf beiden Servern läuft Windows Server 2012 mit allen Updates.

Auf den HP Servern habe ich eine Schreibgeschwindigkeit mit 2000MB/s, mache ich den Test auf den iSCSI SAN komme ich auf ca. 80MB/s.
Die Server sind über HP Switches verbunden.

Woran kann dies liegen?

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 241846

Url: https://administrator.de/forum/iscsi-san-langsam-im-cluster-mit-hp-server-und-hyperv-schreibgeschwindigkeit-unter-100mbs-241846.html

Ausgedruckt am: 13.03.2025 um 15:03 Uhr

25 Kommentare

Neuester Kommentar

Hallo,

wir haben 2 HP Server und 2 HP Storages,

Haben die auch Bezeichnungen?
CPUs? RAM? RAID Controller? Cache-Module? HDDs?

beides im StorageCluster und mit HyperV im Cluster.

Auf je einem separatem "Blech" oder als VMs auf einem
bzw. zwei "Blechen".

Auf den Storages haben wir ein RAID 10 mit 8 Platten

Was für HDDs und an was angebunden?

Die 2 HP Server haben jeweils ein RAID1 und sind mit
10Gbits angebunden.

An was denn? An den Switch oder untereinander?

Auf beiden Servern läuft Windows Server 2012 mit allen Updates.

Welche Version von "Server 2012"

Auf den HP Servern habe ich eine Schreibgeschwindigkeit mit 2000MB/s,

Und wie gemessen? Einfach eine Datei von dem RAID1 auf das RAID1
kopiert oder?

mache ich den Test auf den iSCSI SAN komme ich auf ca. 80MB/s.
Die Server sind über HP Switches verbunden.

iSCSI heißt immer dicken Puffer verwenden, haben diese Switche den?
Sind die Switche performant genug!?

Woran kann dies liegen?

- SAS HDDs mit 10k oder 15k oder nur "SATA HDDs"
- RAID Controller mit Cache-Modul installiert oder nur "OnBoard Controller"
- Viel ECC RAM oder nur ein bisschen "normalen" RAM!?
- Xeon E5 / E3 CPUs, eine oder zwei?
- genug HDDs mit genug IOPs für die Anforderungen (Anwendungen/User)
- Anderen RAID Level mal ausprobiert?
- dynamisches LAG (LACP) oder statisches LAG via Round Robin Methode?
- Switche mit richtig "Wumms" oder einfach nur normale Switche mit 10 GbE
- Gestapelte Switche oder nur mit Uplinks?
- Viele kleine (146 GB, 300 GB, 600 GB) HDDs oder wenige 4 TB HDDs?
- Mal eine andere Clustergröße gewählt bzw. versucht?

Gruß
Dobby

wir haben 2 HP Server und 2 HP Storages

Sind ALLE diese am IP Storage beteiligten Geräte einheitlich mit 10 GiG am Switch angeschlossen ?
Ist das 10 GiG Netz ein separates Netz was einzig nur die Storage Verbindung bedient ?
Routest du die iSCSI Verbindung oder ist das rein Layer 2 ?

Diese Fragen wären wichtig zu beantworten fürs Troubleshooting.

Hyper-V Server 1
HP Server mit 96GB RAM mit jeweils 2 Intel Xeon E5-2650 und P420i im RAID 1 mit 2 HP 150GB SAS Platten mit Windows Server 2012 (6.2 BUILD 9200) und allen Updates
Hier habe ich Schreibgeschwindigkeiten von 2000MB/s

Storage1:
HP Storage mit RAID 5 auf 8 SAS Platten mit jeweils 500GB

Hyper-V Server 2
HP Server mit 96GB RAM mit jeweils 2 Intel Xeon E5-2650 und P420i im RAID 1 mit 2 HP 150GB SAS Platten mit Windows Server 2012 (6.2 BUILD 9200) und allen Updates
Hier habe ich Schreibgeschwindigkeiten von 2000MB/s

Storage1:
HP Storage mit RAID 5 auf 8 SAS Platten mit jeweils 500GB

iSCSI SAN:
Eigenes VLAN auf HP Switchen LoadBalancing und Failovercluster

Mir ist eben aufgefallen das ich bei den "Mirosoft Network Adaptern Multiplexorn Driver" nur 2GBit/s habe und bei meinen Hyper-V Adaptern ich 10Gb/s habe.

Also die Server sind dicke ausgestattet für so etwas, gar keine frage und wenn die
auch noch 10 GBit/s Adapter haben ist da ja wohl alles im "grünen" Bereich.

Mir ist eben aufgefallen das ich bei den "Mirosoft Network Adaptern Multiplexorn Driver"
nur 2GBit/s habe und bei meinen Hyper-V Adaptern ich 10Gb/s habe.

Das würde dann doch wohl auch den unterschiedlichen Durchsatz erklären oder?

iSCSI SAN:

Switche für iSCSI sollten immer einen großen Puffer haben oder auch zusätzlich
gestapelt (gestackt) sein damit man das letzte Quäntchen an Leistung heraus holen kann.
Ich weiß jetzt nicht ob die HP Switche so das non plus ultra für solche Aufgaben sind
oder ob man da nicht noch etwas anderes in Betracht ziehen sollte.

Eigenes VLAN auf HP Switchen LoadBalancing und Failovercluster

Load Balancing mit was denn? LAG? Eventuell mal ein statisches LAG
via Round Robin ausprobieren?

Gruß
Dobby

Was ich gerade nicht verstehe, mir ist nun aufgefallen das die Server jeweils 4 Ports haben, die auf einen Trunk (LACP) (LACP Status ist aber auf disabled. )auf einen HP Switch gehen und ein iLO Port. Die Switche sind auf 9000 Frame eingestellt sowie alles andere auch.

Also habe ich pro Server 2 Netzwerkkarten für iSCSI und 2 Netzwerkkarten für mein "normales" Netzwerk pro Server.
Wie kommt der Server da auf 10GB/s (im Hyper-V Switch)? Habe ich irgendwo ein Denkfehler.

Sorry habe ich wohl falsch rübergebracht. Die Switche selbst haben kein Failover. Das Failover machen die HP Storages von selbst.

Die Storages selbst haben jeweils 4 Netzwerkkarten und gehen auf den selben Switch in einem Trunk.

alles ist übrigens über Kupfer Kabel (1m) angebunden, kein SFP oder sonstiges. Außer die Storages die haben von Switch zu Switch Glasfaser

Was ich gerade nicht verstehe, mir ist nun aufgefallen das die Server jeweils 4 Ports haben,

Was sind denn das für Ports? 1 GBit/s oder 10 GBit/s Ports?

die auf einen Trunk (LACP) (LACP Status ist aber auf disabled.) auf einen HP Switch gehen

Wenn das LAG (LACP) "disabled" bzw. deaktiviert ist, dann stehen ja auch nur 1 GBit/s
zur an Durchsatz zur Verfügung, richtig? Voraus gesetzt das es sich nur um 1 GBit/s Ports
handelt.

und ein iLO Port.

Der ist ja eigentlich unwichtig!

Die Switche sind auf 9000 Frame eingestellt sowie alles andere auch.

Also auf "Jumbo Frames" das muss dann aber auch auf allen Teilnehmern so
eingestellt sein, oder? Also Server, Switch, Storage und Klienten!
oder aber nur auf Server, Switch und Storage

Also habe ich pro Server 2 Netzwerkkarten für iSCSI und 2 Netzwerkkarten
für mein "normales" Netzwerk pro Server.

Theoretisch schon nur das muss dann auch so konfiguriert sein!
Und vor allen anderen Dingen auch funktionieren.

Wie kommt der Server da auf 10GB/s (im Hyper-V Switch)?
Habe ich irgendwo ein Denkfehler.

Ich denke da sind nur 4 x 1 GBit/s dran und der interne Hyper-V Switch
steht dann wohl auf 10 GBit/s.

Sorry habe ich wohl falsch rübergebracht.

Kein Thema.

Die Switche selbst haben kein Failover. Das Failover machen die HP Storages von selbst.

Also es wäre ja eine Zeichnung für so etwas immer recht angebracht!
Unterstützen denn die Switche das STP /RSTP oder MSTP Protokoll?

Die Storages selbst haben jeweils 4 Netzwerkkarten und gehen auf den selben
Switch in einem Trunk.

Naja man könnte ja folgendes überlegen, man setzt ein statisches LAG (nicht dynamisch
mit LACP) und wählt dann RSTP aus und wählt Round Robin als Methode aus, das sollte
doch dann möglich sein zum Einen die Server und zum Anderen die Storages mit 4 GBit/s
angebunden zu bekommen. Und wenn die PCs, Server, Switche und Storages alle Jumbo
Frames unterstützen dann ist das wohl auch kein Problem diese zu benutzen.

Gruß
Dobby

Es sind alles nur 1GB Ports.

Wieso kann ich in einem HP Switch eigentlich LACP wählen und dann auf disabled stehen? Wo ist da die logik? Alternativ habe ich ja noch Aktiv und Passiv. Ich würde es auf Passiv stellen. Ist das in Ordnung? kann man das im Livebetrieb machen, wenn ich den einen Port auf dem Switch 1 umstelle und dann den anderen auf Switch2??

Alle Geräte sind auf 9000 Jumbo Frames gestellt !!!

STP haben die HP Switche (HP 2920-24G Switch) , das ist aber auf Disabled. Bzw. habe ich noch einen dritten Cisco Switch der aber nur Client verwaltet.

Ja, glaube ich zeichne das echt bald auf, wenn wir hier nicht weiterkommen.

Wieso kann ich in einem HP Switch eigentlich LACP wählen und dann auf disabled stehen?

Naja bis man alles durch konfiguriert hat ist das eventuell manchmal besser, oder?

Wo ist da die logik? Alternativ habe ich ja noch Aktiv und Passiv.

Aktiv = beide Leitungen (LAN Kabel bzw. deren Ports) sind aktiv in Benutzung
Also 4 GBit/s aggregiert

Passiv = nur eine Leitung (LAN Kabel bzw. Port) ist aktiv in Benutzung
Also nur 1 GBit/s und wenn die Leitung ausfällt "springt" (Roll over) die nächste ein.
Also wie ein Failover

Alle Geräte sind auf 9000 Jumbo Frames gestellt !!!

Das ist auch wichtig denn sonst ist das ganze sinnlos bzw. man hat einen
Flaschenhals.

STP haben die HP Switche (HP 2920-24G Switch) , das ist aber auf Disabled. Bzw.
habe ich noch einen dritten Cisco Switch der aber nur Client verwaltet.

Muss man mal sehen wie man die LAG konfiguriert! Also dynamisch mittels LACP
ist das dann vollautomatisch mit drinnen aktiviert und bei einer statischen LAG
muss man es auf beiden Seiten genau gleich einstellen ohne Abweichungen
in der Konfiguration zu haben!

Ja, glaube ich zeichne das echt bald auf, wenn wir hier nicht weiterkommen.

Ist immer eine gute Idee, denn Du siehst was da vor Ort ist und wir müssen uns da hineinversetzen.

Gruß
Dobby

Guten Morgen

nun ist mir so einiges klar

Wie sieht das ganze nun mit iSCSI und Multipath aus? Ich weiß ja das vmware LACP erst ab 5.1 unterstützt. Gibt es da bei Hyper-V auch so grenzen?
Was mir auch aufgefallen ist, das wir ein iSCSI Netz haben und ein LAN Netz, aber kein Liveemigrationsnetz, usw. Die Migrationen dauern pro Server bis zu 5min. Das ist doch sicher nicht normal?

Moin,
Teaming von iSCSI Ports ist nicht supportet! EInschränkungen. Daher immer bei Failover/Loadbalancing MPIO nuten.
By the way: Fehler Hyper-Version setzt du ein, 2008R2, oder 2012 (R2)?

Gibt es da bei Hyper-V auch so grenzen

Welche Grenzen meinst du?

Die Migrationen dauern pro Server bis zu 5min. Das ist doch sicher nicht normal?

Eine Migration auf unserer VMWare - Umgebung dauert tagsüber auch gute 5 Minunten. Hängt aber einfach mit der Last zusammen.

Lässt sich aus meiner Sicht nicht verallgemeinern.

Grüße,
Dani

Mein Problem ist halt, ich habe das ganze nicht so eingerichtet. Wir haben Windows Server 2012 OHNE R2 mit Hyper-V und iSCSI und 2 Teaming Schnittstellen (iSCSI und LAN) MPIO wurde gar nicht installiert und das ganze soll ich nun richten.

Na ja mit gescheitem Teaming und einem guten Switch der 802.3ad und LACP kann ist das doch ein Kinderspiel. Wenn du kein Routing machst im LAN macht Multipath eh sehr wenig Sinn.
Essentiell ist das LACP oder wenn du älteres ESXi benutzt dann statisches Link Aggregation richtig und korrekt eingerichtet ist und auch funktioniert.
Kannst du mit entsprechenden Show Kommandos auf dem Switch oder einer SNMP Last Analyse ja auch genau verifizieren.

@aqui

Wenn du kein Routing machst im LAN macht Multipath eh sehr wenig Sinn.

Doch eher wenn er kein LACP machen würde und daher zwei getrennte iSCSI-Netzwerke hätte.

Gruß,
Dani

...aber nur wenn er auch multiple Router hat und damit multiple L3 Wege mit L3 ECMP aktiv. Alles vermutlich nicht der Fall beim TO ?!

Inzwischen musste ich leider feststellen das ich das LACP nicht aktivieren kann, da die Switche unterschiedliche Konfigurationen haben.
Anbei hier nochmals eine Übersicht als Grafik:

Die Hyper-V Server haben unter sich auch noch ein Cluster mit Failover.

das ich das LACP nicht aktivieren kann, da die Switche unterschiedliche Konfigurationen haben.

Mmmhhh, was genau meinst du mit dieser kryptischen Äußerung ?? Generell ist diese Aussage natürlich völliger Unsinn, denn es kommt darauf an WAS du konfiguriert hast für die LAGs (Link Aggregation) zum Storage und zu den beiden Servern !
In Bezug auf die LAGs MUSS die Konfig sogar auch unterschiedlich sein !! Fragt sich also was du mit dieser komischen Äußerung uns hier weismachen willst ??!

Du benötigst auf jedem Switch 3 unterschiedliche LAG Portgruppen:

4er Trunk auf das Storage 01
2er Trunk im VLANx für das iSCSI VLAN
2er Trunk im VLANy ("anderes VLAN")

Entsprechend das gleiche Setup auf dem Switch 2 !
Wie man das macht auf den 2920ern findest du hier
http://h20565.www2.hp.com/portal/site/hpsc/template.PAGE/public/psi/man ...
im Handbuch: "HP Switch Software Management and Configuration Guide for WB.15.15" ab Seite 90 !!
Genau sind die Schritte mit LACP (Standard) auf Seite 101 dokumentiert !
Die Winblows Seite zum Thema LAG, Link Aggreagtion oder "NIC Teaming" wie Windows es nennt findest du hier:
http://www.microsoft.com/en-us/download/details.aspx?id=40319
Ganz wichtig ist hier die Option das du dort auch die Kombination 802.3ad und LACP nutzt wie auch auf dem Switch !!

Das führst du für die 3 Portgruppen oben aus 4er zum Storage und je 2 getrennte 2er LAGs zum Server.
Fertig ist der Lack !
Sogar mit diesen billigen HP Switches bekommt man sowas hin (mit dem Cisco sowieso...)
Eigentlich eine kinderleichte Konstellation die man in 10 Minuten auf beiden Switches zum Fliegen gebracht hat.
WO bitte ist da denn nun wirklich dein Problem ??

Hallo,

mit unterschiedlichen Konfigurationen meinte ich, die hatten eine andere Firmware und alles Ports waren anders Konfiguriert. Habe nun beide auf den selben Firmwarestand gebracht und die Ports alle gleich Konfiguriert.
Ich kann aber nun immer noch, bei Trunktyp - LACP oder Trunk auswählen, aber kann dann jeweils kein Active oder Passiv einschalten.
Wenn ich kein trunktyp und gruppe angebe, dann kann ich active und passive einschalten, ist das normal?

die hatten eine andere Firmware und alles Ports waren anders Konfiguriert

Das ist unerheblich für dein Setup, denn diese Funktionen sollten alle Releases supporten.
Besser ist aber natürlich immer beide Switches auf ein gemeinsames, gleiches und vor allen Dingen aktuelles Firmware Release zu heben...keine Frage !
Ist ja bei den HPs in 5 Minuten erledigt und hast du genau richtig gemacht !

Du solltest immer active aktivieren und in jedem Falle LACP !
Auch wen beide Seiten active sind handeln die das richtig aus. Das ist der Standard wie man sowas aufsetzt und völlig normal.

Diese Forumsthreads behandeln grundlegende Fragen zu diesem Thema:
Link Aggregation zur Speederhöhung zwischen 2 Switches herstellen
Motherboard mit 2 Onboard LAN Anschlüssen
Traffic am Server auf 2 NICs verteilen
Kann man einen Server zur Performacesteigerung mit 2 Netzwerkkarten parallel an einem Switch betreiben? Wenn ja mit welcher Konfiguration ?
Bonding mit Broadcom - SLB

Und auch hier:
Netzwerk Management Server mit Raspberry Pi
Findest du im Kapitel NIC Teaming und LAG / Bonding... zusätzliche Infos.

Guten Morgen,

es tut mir leid, entweder drücke ich mich so schwer aus oder wir reden aneinander vorbei.

Mein Problem ist das ich es NICHT aktivieren kann !!! Ich habe zwar LACP im Switch stehen aber aktiviere ich ACTIVE kommt eine Fehlermeldung:

So sieht meine Konfiguration aus im Switch:

Da haben wir wohl etwas aneinander vorbeigeredet... Allerdings hast du mit keinem Wort erklärt WAS du denn mit dem "Active" genau gemeint hast....den LACP Statusc Active oder das Aktivieren des NIC Teaming im Server ?!? ...aber egal.

Das sieht doch alles ganz gut aus was der Switch sagt ! Ports UP und der LACP State auf den Trunk Gruppen alles auf Sussess soweit so gut...
Dein einziges Problem ist der 2er Trunk Trk1 ! Dort ist ein physischer Port, nämlich der Port 24, nicht aktiv.
"Down" bedeutet das dort nichtmal ein aktiver Link vorhanden ist.
Entweder ist also an dem Port gar nichts angeschlossen oder das Kabel ist defekt oder... !! Wenn dort ein aktiver Link ist muss wenigstens der Port Status auf "Up" gehen.

Du hast hier also erstmal ein grundlegendes physisches Problem an diesem Port was du erstmal lösen musst, denn dein Trk1 rennt im Moment nur mit einem einzigen Link !

achso sorry, das hatte ich vorher nur kurz ausgesteckt da ich etwas getestet habe. Habe das nun wieder angesteckt und habe auf beiden Ports ein link. Nur ich kann sie NICHT Active schalten !!!!

Nur damit jetzt keine Verwirrung entsteht: WAS meinst du genau mit "...kann sie NICHT Active schalten" ??
Meinst du das die hinten im LACP Status am Switch NICHT auf Success gehen oder wie ??

Wenn das der Fall sein sollte sprechen deine Endgeräte kein LACP !
Aber das kann eigentlich nicht sein, denn auch mit einem aktiven Link geht der LACP Status ja auf Success ,was zeigt das ja generell hier LACP richtig gespochen wird und das auch OK ist für den Switch.

Es mag natürlich sein das Billigheimer HP hier wieder Mist anzeigt das solltest du nochmal genau prüfen !
Gibt es da auf dem Switch ein "show" Kommando was den LACP Status oder die LACP Negotiation ganz genau anzeigt ala "show lacp detail" oder sowas ?

Oder meintest du ggf. wieder was anderes mit "Active schalten" ??

Im Terminal gibts leider keine Detailanzeige. Die Anzeige im Terminal wäre ja in Ordnung, aber wieso steht im Web alles auf Disabled? Das ist das was ich nicht verstehe. Wie kann ich sicher sein, das der Switch nun LACP macht? Meine NIC im Server sind nur auf 1GB. Oder wo kann ich dies sehen?

Die Anzeige im Terminal wäre ja in Ordnung, aber wieso steht im Web alles auf Disabled?

Richtig ! Das ist mr auch aufgefallen und hab ich mich auch ernsthaft gefragt... ?!
Denn tieferen Sinn versteht wohl nur HP und beweist leider mal wieder wie "toll" deren Produkte sind

Generell würde ich aber dem CLI Kommando mehr trauen als dem Web Output. Bei dem billigen ProCurve Schrott ist das GUI meist immer quick and dirty programmiert. Ggf. bedeutet das "Disabled" da aber was anderes. Hilft vermutlich nur das Manual das zu klären ?!
Ggf. ist das aber auch ein Firmware Bug...sieht wenigstens sehr danach aus und du solltest erwägen da mal einen Case beim HP Support zu eröffnen.
Ganz sicher ob du nun LACP machst und der LACP Status korrekt angezeigt wird kann man sich damit nicht mehr sein.
Es gibt 2 Optionen das zu checken:

Die "andere" Seite ansehen wie dort der LACP Status angezeigt wird ! Ist das auch OK dann kann man wohl davon ausgehen das die show Anzeige korrekt ist. Das einseitig ein LACP Status als OK angezeigt wird ist unmöglich.
Aktiviere SNMP auf dem Switch und nimm ein Tool wie STG http://leonidvm.chat.ru (Rennt auch problemlos auf aktuellen Win Versionen) Das rufst du 2mal auf mit dem jeweiligen Interface des Trunks und kannst so checken ob es wirklich eine sauber Lastverteilung gibt auf dem Trunk. Das würde zeigen das LACP richtig funktioniert.
Du nimmst mal einen Wireshark oder tcpdump und siehst die die LACP Negotiation zw. den Endgeräten mal an

Frage Netzwerke Cluster

Mehr von rurotil

Taskmanager - Kein Netzwerkrurotil - 4 Kommentare

Hyper-V Server - VSS 8194 Fehlerrurotil - 1 Kommentar

ProLiant DL380p Gen8 Firmware?? iLO?rurotil - 3 Kommentare

Hyper-V mit iSCSI - MPIO oder Teaming?rurotil - 4 Kommentare

Heiß diskutiert