coreknabe
Goto Top

ISCSI-Durchsatz auf NetApp lahm

Moin,

wir haben folgendes neu angeschafft:
  • 2x Fujitsu Primergy RX2540M7
  • NetApp AFF A150

Die beiden Server sind HyperV-Server mit Server 2022, auf der NetApp läuft ONTAP 9.14.1P9, zustätzlich sind über ein Shelf weitere 24 SSDs angebunden.
Ich habe Multipath konfiguriert, die Verbindung an sich steht. Kopiere ich jetzt testweise eine 6GB-ISO vom Server auf die NetApp, bekomme ich bei einer 10Gbit-Anbindung einen maximalen Durchsatz von 600MB/s. Testweise habe ich eine alte Primergy (Server 2019) an die NetApp angebunden, auch hier der magere Durchsatz. Kopiere ich von hier auf unsere alte Eternus, auf der auch die HyperV-VMs laufen, habe ich einen Durchsatz von bis zu 1,8GB/s.
Die Netzwerkkarten sind jeweils, auch im Testfall mit der alten Primergy, Intel X710-DA4.

Testweise habe ich Flow Control deaktiviert, bringt nichts. Jumbo Packets sind konfiguriert, die richtige Paketgröße ist an jedem Endpunkt eingestellt.

Ideen? Braucht Ihr weitere Infos?

Gruß

EDIT: Alt-Server-Anbindung war falsch beschrieben.

Content-ID: 670838

Url: https://administrator.de/forum/iscsi-durchsatz-auf-netapp-lahm-670838.html

Ausgedruckt am: 22.02.2025 um 06:02 Uhr

ElmerAcmeee
ElmerAcmeee 21.01.2025 um 10:20:22 Uhr
Goto Top
Moin,
bei 1x 10GBit/s nen Durchsatz von 1,8 GByte/s zu bekommen ist mathematisch "fragwürdig" ;)
Ihr nutzt das SMB der NetApp?
Hast du mal ein Schaubild?
Wir hatten damals auch massive Performance Probleme mit dem NetApp SMB. Als wir auf den gleiche Platten die Filer einfach virtualisiert haben, war das deutlich schneller.

Gruß
Coreknabe
Coreknabe 21.01.2025 um 10:26:30 Uhr
Goto Top
bei 1x 10GBit/s nen Durchsatz von 1,8 GByte/s zu bekommen ist mathematisch "fragwürdig" ;)

Deshalb schreibe ich ja auch "bis zu" face-wink

Ihr nutzt das SMB der NetApp?
Nein, wie geschrieben iSCSI.

Gruß
ElmerAcmeee
ElmerAcmeee 21.01.2025 um 10:50:03 Uhr
Goto Top
Wie und wo ist denn der Server angebunden mit dem du auf die NetApp kopierst?
Mit auf die NetApp kopieren meinst du, auf eine VM die auf dem HyperV läuft die per iSCSI an der NetApp hängt?
Gleichzeitig hängt ein alter Barmetall 2019 Server an der NetApp per iSCSI? und erreicht mehr?

Nochmals: 1,8 GByte/s bei 10Gbit/s sind unmöglich.
Bei 2x 10GBit/s aber schon fast perfekt.
Es gab irgendwo nen Schönen Artikel von NetApp wie man unter Einbeziehung von Header Infos bei SMB auf den Durchsatz kommt. Bei 1GBit/s war das irgendwas um die 112MB/s > rein theoretisch! Finde den Artikel gerade nicht. Wir haben uns vor 8 Jahren von der NetApp getrennt. Auch angebunden per 10G iSCSI. Das Thema kenne ich daher face-smile
Coreknabe
Coreknabe 21.01.2025 um 11:01:15 Uhr
Goto Top
Die Server sind über Ruckus ICX7450-Switche mit der Netapp verbunden. Der Server ist HyperV-Server, per iSCSI laufen HyperV-VMs auf der NetApp. Oder sollen dies einmal, aktuell ruckelts ja noch face-wink

Beispiel-IPs:
Server 192.168.1.100
192.168.2.100

NetApp 192.168.1.150
192.168.2.150
192.168.1.151
192.168.2.151

Sorry, sehe gerade, dass ich im ersten Thread einen Fehler eingebaut habe. Die alte Primergy kommt ebenfalls auf 600MB/s max. Über die BESTEHENDE iSCSI-Anbindung an die alte Eternus bekomme ich BIS ZU 1,8GB/s. Ändere das oben noch mal. Was der Test beweisen soll: Am Server liegts nicht.

Ich habe auch einmal die Switche herausgelassen und die Server direkt mit der NetApp verbunden, bleibt langsam. An den Switchen liegt es also auch nicht.

Den optimalen Durchsatz habe ich so gelernt (grob, absoluter Max-Wert, der aber nicht erreicht wird): Datenleitung geteilt durch 8. Keine Ahnung, wo ich das herhabe, passte bisher aber immer face-wink

Gruß

P.S.: Ihr habt Euch hoffentlich nicht aus Enttäuschung von NetApp getrennt?
ElmerAcmeee
ElmerAcmeee 21.01.2025 um 11:27:10 Uhr
Goto Top
Hallo,

Beispiel-IPs:
Server 192.168.1.100
192.168.2.100

NetApp 192.168.1.150
192.168.2.150
192.168.1.151
192.168.2.151

Wie viele Active IO Pfade hast du denn beim Zugriff auf die NetApp im Vergleich zur Eternus?


Den optimalen Durchsatz habe ich so gelernt (grob, absoluter Max-Wert, der aber nicht erreicht wird): Datenleitung geteilt durch 8. Keine Ahnung, wo ich das herhabe, passte bisher aber immer face-wink
Das wäre ja einfach 1 Byte in 8 Bits umgerechnet. Hier kommen aber noch die ganzen Header Infos hinzu.

P.S.: Ihr habt Euch hoffentlich nicht aus Enttäuschung von NetApp getrennt?
DOCH!
Coreknabe
Coreknabe 21.01.2025 um 12:31:00 Uhr
Goto Top
Wie viele Active IO Pfade hast du denn beim Zugriff auf die NetApp im Vergleich zur Eternus?

4 Pfade auf die NetApp, zur Eternus sind es 2 Pfade, aber nur einer aktiv, der andere im Standby

P.S.: Ihr habt Euch hoffentlich nicht aus Enttäuschung von NetApp getrennt?
DOCH!

Interessant und sch...ade. Welche Probleme gab es denn? Ich war eigentlich mit der Eternus zufrieden, auch wenn versprochene Features nie umgesetzt wurden (Deduplication!). Aus einer Laune heraus war mir einfach nach etwas Neuem, bei NetApp habe ich mir, schon aufgrund des Preises, quasi eine Luxus-Variante erhofft... War trotzdem richtig, von der Eternus wegzugehen, in der neuesten Auflage unterstützt das Ding kein iSCSI mehr, warum auch immer. Scheint auch sonst Probleme zu geben, weil der Erscheinungstermin immer weiter nach hinten geschoben wird und der Support für die DX200 verlängert wurde. Was nutzt Ihr jetzt?
ElmerAcmeee
ElmerAcmeee 21.01.2025 um 12:51:06 Uhr
Goto Top
Hallo,
4 Pfade auf die NetApp, zur Eternus sind es 2 Pfade, aber nur einer aktiv, der andere im Standby
Mit einem aktiven 10G Pfad kann man keine 1,8GByte/s erreichen. Dann hast du da nen Messfehler!

Große Datei kopieren ist zwar ein erstes Indiz für einen Performance Messung, ich würde da allerdings später eher ein IO Meter o.Ä. laufen lassen.

Interessant und sch...ade. Welche Probleme gab es denn? I
Grottiger Support. u.A. wegen Performance. SMB buggy. Bei Nutzung der Snapmanager ist man gefangen in der Netapp Welt, etc
Wir haben uns daher nach etwas schlichterem umgesehen.
Was nutzt Ihr jetzt?
Und sind dann bei PureStorage gelandet und haben noch einige DELL PowerStore. Alles per 10/25G iSCSI.
Allerdings ausschließlich mit ESX-Hosts.

Von einer VM auf die andere Kopieren komme ich per 2x10G auf max 850MB/s. Hier hatten wir nie Bedarf nach mehr Performance bzw SMB Durchsatz...

Gruß
Coreknabe
Coreknabe 21.01.2025 aktualisiert um 13:25:27 Uhr
Goto Top
Mit einem aktiven 10G Pfad kann man keine 1,8GByte/s erreichen. Dann hast du da nen Messfehler!

Das ist ja nicht wirklich eine Messung, das ist das, was Windows anzeigt. Mit IOMeter hatte ich schon ein wenig experimentiert, da ist der Durchsatz noch geringer als ohnehin schon.
EDIT: Beim Test auf die Eternus gerade noch einmal ausprobiert, sind jetzt 1,25GB/s. Da ist aber auch gerade "Betrieb" auf der Kiste.

Und sind dann bei PureStorage gelandet und haben noch einige DELL PowerStore. Alles per 10/25G iSCSI.

Da hoffe ich mal das Beste, wir haben die jetzt 5 Jahre im Leasing. Aber letztlich sind unsere Anforderungen ja im Vergleich überschaubar. Ist Dell preislich vergleichbar? Kann ja schon mal vorausdenken...

Von einer VM auf die andere Kopieren komme ich per 2x10G auf max 850MB/s. Hier hatten wir nie Bedarf nach mehr Performance bzw SMB Durchsatz...

Nein, sorry, ich drücke mich da wirklich ungeschickt aus. Ich habe auf dem Desktop des HyperV eine ISO-Datei. Die kopiere ich zum Test stumpf auf das iSCSI-Laufwerk (NetApp).

Gruß
ElmerAcmeee
ElmerAcmeee 22.01.2025 um 07:23:40 Uhr
Goto Top
Moin,

auch die 1,25GB/s sind schon theoretisch unmöglich - wären allerdings genau das doppelte von den 600MB/s.
Dies könnte auf ein Problem mit der Anzahl/Nutzung der iSCSI Pfade hinweisen.

Interessant wäre nun der Kreuztest mit den HyperV-Hosts auf dem Eternus Storage.

Auch ich kopiere oft für eine einfache Performance Messung per SMB Daten von X nach Y.
Sobald aber das Ergebnis nicht den Erwartungen entspricht, schwenke ich direkt um auf IOMeter. Hier wird das Storage für eine Zeit unter Last gesetzt. Dabei werden dann auch Cache Mechanismen ausgehebelt, die ein Ergebnis sonst verfälschen könnten.

Mir ist z.B. wichtiger, dass ich 100 VMs gleichzeitig starten oder updaten kann, anstelle dass ich mit 1,2GB/s Daten kopiere.

Bzgl DELL vs Pure könne wir uns gerne per PN austauschen. Das sprengt sonst den Rahmen.

Gruß und viel Erfolg
Coreknabe
Coreknabe 22.01.2025 um 10:12:18 Uhr
Goto Top
Moin,

Dir vielen lieben Dank. Ich hatte das auch schon ohne Multipath probiert, leider ohne Besserung.

Ich habe so das Gefühl, dass das Problem bei der NetApp liegt, aber testweise werde ich noch einmal versuchen, auf der Eternus zusätzlichen Platz zu schaffen oder weitere Platten reinzustecken, aus dem Support ist die Kiste ohnehin. Weiterer merkwürdiger Effekt: Auf einem HyperV-Server läuft das Kopieren vom Server-Desktop per iSCSI auf die NetApp zwar langsam, aber es läuft. Auf dem zweiten ist der Durchsatz noch ein wenig niedriger (<400MB/s!), vor Abschluss des Kopiervorgangs hängt selbiger etwa 15 Sekunden, bevor der Kopiervorgang abgeschlossen wird.

Da ich ein wenig mit iSCSI rumgetestet und rumgespielt hatte, habe ich den zweiten HyperV einmal komplett neu installiert, trotzdem besteht das Problem weiter.

Mir ist z.B. wichtiger, dass ich 100 VMs gleichzeitig starten oder updaten kann, anstelle dass ich mit 1,2GB/s Daten kopiere.

Da bin ich absolut bei Dir, nur möchte ich über einen Altserver später das Veeam Backup laufen lassen und hier die NetApp als Storage anbinden. DA ist mir der Datendurchsatz dann schon wichtig. Außerdem muss ich sämtliche aktuellen VMs auf die neuen Server / das neue Storage bringen, auch hier kommt der Datendurchsatz wieder ins Spiel, da will ich keine unnötigen Baustellen.

Danke für das "Dell-Angebot", aber der Zug ist für mich eh erstmal abgefahren, da wir die NetApp jetzt 5 Jahre leasen. Da wir selbst Dell-Kunde sind, würde ich bei Gelegenheit aber interessehalber mal ein Angebot einholen, um einen Vergleich zu haben und beim nächsten Mal vielleicht die bessere Wahl zu treffen. Du scheinst ja mit dem Dell Storage ansonsten zufrieden zu sein. Das IBM-Storage hatte ich auch mal in Betracht gezogen, von HP rät mir mein Bauchgefühl ab. Aber das hat sich vielleicht aktuell auch schon getäuscht face-wink

Gruß
Dani
Dani 25.01.2025 aktualisiert um 11:22:03 Uhr
Goto Top
Moin,
wenn du dir sicher bist, dass die NetApp der Auslöser ist, mach doch ein Performance Case beim Support auf. Dann wird einmal die Konfiguration geprüft. Abgesehen davon gibt es dafür dann Performance Tools für die Aufzeichnung der Daten sowie Leistungsdaten zu erfassen.

Wichtig wäre, dass deine Plattform nach Best Practice (sowohl Microsoft als auch Netapp) eingerichtet ist. Du hast ja wohl vieles ausprobiert.


Gruß,
Dani
Coreknabe
Coreknabe 27.01.2025 um 10:31:53 Uhr
Goto Top
Moin Dani,

Performance habe ich schon zusammen mit dem Dienstleister ausgewertet, die NetApp langweilt sich, daran liegt es also schon mal nicht.

Das Ganze ist wirklich sehr obskur, irgendwo hakt es gewaltig. Ich habe jetzt auf der alten Primergy mit Anbindung an die NetApp Multipathing mal herausgenommen (iSCSI-Verbindung auf dem Server getrennt, Netzwerkports auf der NetApp deaktiviert, Verbindung nur über 2 Pfade hergestellt, plötzlich ~1GB/s Datendurchsatz). Dann alles wieder aktiviert, es bleibt bei 1GB/s ?!? Ich werde mir noch einmal die gesamte Konfig ansehen, auch wenn ich das gefühlt schon x-Mal gemacht habe, aber man weiß ja nie... Zumindest deutet dieses Phänomen auf ein Problem mit den Pfaden hin. In jedem Fall muss ich die Verbindung Alt-Primergy - NetApp mit der Verbindung Neu-Primergy - NetApp abgleichen, da muss es ja einen Unterschied geben.

Problem ist auch, dass die Netzwerkverbindung aktuell nicht optimal ist, alle NetApp-Ports hängen mangels aureichender 10Gbit-Ports an einem einzigen Switch. Ich besorge mir 2 ICX7750 und ziehe zumindest das mal glatt. Allerdings sollte es nichts mit dem Switch zu tun haben, eine Direktverbindung von Primergy zu NetApp brachte auch keine Besserung.

Was die Best Practice angeht, habe ich nur dies für die E-Serie gefunden, sollte ja aber für A150 genauso gelten?
https://docs.netapp.com/us-en/e-series/config-windows/iscsi-perform-spec ...
Ich habe alles so konfiguriert, wie dort vorgegeben.

Gruß
ElmerAcmeee
ElmerAcmeee 27.01.2025 um 14:32:17 Uhr
Goto Top
Hallo,
beim ESX gibt es eine Policy, wie IOs über die Pfade verteilt werden.
z.B. per Round Robin nach jedem IO den Pfad wechseln.
Es gibt zudem Unterschiede zwischen einem Active Pfad und einem Active IO Pfad
Gibt es das auch beim HyperV?
Ich denke du bist da auf der richtigen Spur.
Gruß und viel Erfolg
Coreknabe
Coreknabe 27.01.2025 aktualisiert um 16:29:38 Uhr
Goto Top
Moin,

ich geb's auf... Auf den neuen Servern auch ohne Multipath nur Kriechgeschwindigkeit.

Ich habe auf der NetApp noch Policies gefunden, die stehen aber für die iSCSI-Verbindungen auf "Extreme fixed", also auch OK und nicht künstlich gedrosselt.

In Windows kann ich eine MCS-Richtlinie setzen, steht per Default auf Round Robin, andere Einstellungen bewirken nichts.

Erstaunlich: Wenn ich auf dem Server
ping -l 8972 -f 192.168.1.150

oder

ping -l 8972 -f 192.168.1.151

absetze, habe ich bei beiden Servern Paketverluste (Zeitüberschreitung der Anfrage). Im Netz 192.168.2.x geht alles sauber durch. Jumbo Frames sind überall gesetzt.
Ich lasse morgen mal Wireshark mitlaufen, bzw. ich verbinde die Server noch einmal ohne Switch dazwischen mit der NetApp.

Gruß
Dani
Dani 27.01.2025 um 19:22:05 Uhr
Goto Top
Moin,
Performance habe ich schon zusammen mit dem Dienstleister ausgewertet, die NetApp langweilt sich, daran liegt es also schon mal nicht.
Ich rede von einem Performance Case bei Netapp. Sowie ich das bisher verstehe hat ein SE deines DL und du mal mehr oder weniger tief drüber geschaut. Ich kenne nur ein paar Netapp Partner in Deutschland, die das auf dem Kasten haben. Alle andere machen da in der Regel in deinem Namen einen Performance Case auf. Weil das schon teilweise Tief in die Netapp bzw. OS/Features rein gehen kann.

Ich lasse morgen mal Wireshark mitlaufen, bzw. ich verbinde die Server noch einmal ohne Switch dazwischen mit der NetApp.
Was möchtest du damit sehen? Zumal du so erst einmal nur eine Seite siehst.

absetze, habe ich bei beiden Servern Paketverluste (Zeitüberschreitung der Anfrage)
Erst seit der Umstellung/Konfiguration von Jumbo Frames oder tritt die Problematik auch schon mit der Standard Paketgröße auf?


Gruß,
Dani
Coreknabe
Coreknabe 28.01.2025 um 22:05:58 Uhr
Goto Top
Moin Dani,

Ich rede von einem Performance Case bei Netapp. Sowie ich das bisher verstehe hat ein SE deines DL und du mal mehr oder weniger tief drüber geschaut.

So isses, ich werde noch ein wenig testen, dann sollte NetApp sich das mal anschauen. Ich fürchte nur, dass die dann sagen, dass es eben nicht an der NetApp liegt, sondern an den Servern.

Das mit Wireshark, ehrlicherweise keine Ahnung, nur so eine Idee, ob man eben vielleicht doch etwas sieht.

absetze, habe ich bei beiden Servern Paketverluste (Zeitüberschreitung der Anfrage)
Erst seit der Umstellung/Konfiguration von Jumbo Frames oder tritt die Problematik auch schon mit der Standard Paketgröße auf?

Guter Punkt, selbst wenn ich keine Jumbo Frames einsetze (am Server MTU auf 1514, alles andere unverändert), habe ich Aussetzer. Auch bei einer Paketgröße von 500. Heute noch einmal Server und NetApp direkt ohne Switch dazwischen verkabelt, Kopiervorgang wie erwartet nach wie vor langsam. Die Aussetzer bleiben, wenn auch nicht mehr in der Menge.

Gruß