Performance mit iSCSI und MPIO auf QNAP NAS

Hallo,

ich probiere zur Zeit die Verbindung auf ein QNAP NAS TS-469U über iSCSI und MPIO auf Windows Server 2008R2.
Leider hält sich die Performance in Grenzen. Da es wohl einige Konfigurationsstellen gibt, bei welcher man Fehler machen kann, würde ich gerne einen Ratschlag einholen.

Bisher ist die Konfiguration folgende:

Server 2008R2 mit 3 Netzwerkschnittstellen

ETH1 192.168.3.20 für iSCSI, 9k Jumbo Frames aktiviert, alle Dienste bis auf TCP/IP v4 deaktiviert
ETH2 192.168.3.21 für iSCSI, 9k Jumbo Frames aktiviert, alle Dienste bis auf TCP/IP v4 deaktiviert
ETH3 192.168.3.22 für Management
Im iSCSI Initiator habe ich das Target zwei mal verbunden und dabei Multipath aktiviert und einmal ETH1 als Quellport und einmal ETH2 als Quellport verwendet
Im MPIO Manager ist Multipath für iSCSI-Geräte aktiviert
Verbindung funktioniert, zwei NTFS Datenträger erstellt mit 64k Cluster Size, bei den Datenträgeroption unter Reiter MPIO ist RoundRoubin als MPIO-Policy aktiviert

QNAP mit 2 Netzwerkschnittstellen

ETH1 & ETH2 gebündelt, 192.168.3.10, verschiedene Bündelungsverfahren getestet, Balance-TLB, Balance-ALB, Balance-RR und 802.3ad, 9k Jumbo Frames aktiviert
2 iSCSI LUNs, jeweils auf einem eigenen RAID1 Speicherpool

Switch Cisco SG300, Jumbo Frames aktiviert

Ich hatte mich etwas an die Anleitungen hier gehalten, auch wenn vieles da nicht im Detail drin steht:

Jetzt zur Performance: Die Tests die ich bisher gemacht habe, haben nie mehr als 60MB/s erbracht. Selbst, als es noch auf SMB2 lief, hatte mind. 100MB/s bei sequentiellem Schreiben.

Windows Explorer zeigt mir Datenrate von 120MB/s (nicht möglich, da QNAP mir 60MB/s anzeigt und die Netzwerkschnittstellen jeweils zu 50% ausgelastet sein müssten?!)
Netzwerk-Tab unter Task-Manager zeigt mir allerdings nur eine Auslastung auf beiden Schnittstellen zwischen 5 - 40% an (meistens liegt es zwischen 20-30%)
Im QNAP NAS wird mir auch höchstens 60MB/s angezeigt, wenn nicht sogar darunter. Je nach Bündelungsverfahren ist auf einem Netzwerkadapter auch gar keine Last und lediglich bei Balance-RR sind beide aktiv
Ich hab auch mit iometer getesetet (hoffe die Konfig dort stimmt), aber es schwankt auch zwischen 30-50MB/s

Jetzt meine Frage: Wo kann ich anknüpfen um den Flaschenhals zu finden? Erwarte ich vielleicht einfach zuviel? Ich kann mir aber nicht richtig vorstellen, dass auf einem RAID1 Verbund nicht mehr als 60MB/s drin sind (aktuelle SATA3-Festplatten 2TB). Wie gesagt, mit SMB2 hatte ich eine deutlich höhere Auslastung auch prozentual auf der Netzwerkschnittstelle und am QNAP.

Wenn ich es richtig verstanden habe, werden Verbindungen mit iSCSI auch meistens auf unterschiedliche Subnetze gemacht, d.h. ETH1 192.168.3.20 und ETH2 192.168.4.20. Dann müsste das QNAP Gerät jeweils eine IP aus dem jeweiligen Bereich bekommen und Port-Bündelung würde komplett wegfallen. Davon steht aber auch nichts in den PDFs, die ich oben verlinkt hatte.

Würde mich freuen über Tipps und Vorschläge!

Schönen Abend!

Burak

Please also mark the comments that contributed to the solution of the article

Content-Key: 363201

Url: https://administrator.de/contentid/363201

Printed on: April 20, 2024 at 03:04 o'clock

8 Comments

Latest comment

Moin...

was für festplatten sind drin?
Ram ..3 GB ?
ich habe das TS-469 auch im Labor liegen, und es geht mir auf die Nerven.

QNAP mit 2 Netzwerkschnittstellen
ETH1 & ETH2 gebündelt, 192.168.3.10, verschiedene Bündelungsverfahren getestet, Balance-TLB, Balance-ALB, Balance-RR und 802.3ad, 9k Jumbo Frames aktiviert
2 iSCSI LUNs, jeweils auf einem eigenen RAID1 Speicherpool

ich habe festgestellt, das wenn im QNAP-TS469 2 NiC´s aktiv sind, bricht die Leistung bis zu 40 % ein!
ist wohl ein CPU Problem...
Die SMB2 Rate ist sehr viel höher als unter iSCSI ...einzigst unter VMware komme ich auf fast 95 MB/s für kurze zeit!
ich denke die kiste hat zu wenig ram, und kann deswgen die daten nicht schnell genug wegschreiben.

Ich teste grade ein QNAP TS-431X -8G mit 10Gb SFP+ an einem TP-LINK JetStream T1700G-28TQ (10G SFP+ Twinax Verbindung) 3 x HGST Deskstar NAS 4TB Raid5 + 960 GB Toschiba HK4R als Cache...
für eine Low Cost Lösung ist da mächtig dampf drin... iSCSI mit weit über 300MB/s SMB3 ca.. 500 MB/s...
mal sehen.. bin noch am Testen

Frank

Hi,

der hat 3GB RAM und ein Intel Atom Dual Core.
Festplatten sind es 2x WD20EFRX und 2x ST4000VN000. Haben leider nur 5400 bzw. 5900 rpm.

ich habe festgestellt, das wenn im QNAP-TS469 2 NiC´s aktiv sind, bricht die Leistung bis zu 40 % ein!
ist wohl ein CPU Problem...

Das ist merkwürdig, hab nochmal iometer angeworfen und auf dem 2x 4TB LUN ein Test mit Paramtern 64kb, 100% write, 0% random gemacht. CPU ist zwischen 10-20% ausgelastet und RAM nur bei 13%. Krieg nur 35MB/s damit hin.

für eine Low Cost Lösung ist da mächtig dampf drin... iSCSI mit weit über 300MB/s SMB3 ca.. 500 MB/s...

Wie kann es sein, dass SMB3, das über TCP läuft schneller ist als iSCSI was blockbasierend über IP funktioniert? Ich hab immer gedacht, der ganze Overhead von SMB Protokoll entfernt dann und man kann den Storage richtig nutzen.

Gruß
Burak

Moin..

Zitat von @vBurak:

Hi,

der hat 3GB RAM und ein Intel Atom Dual Core.
Festplatten sind es 2x WD20EFRX und 2x ST4000VN000. Haben leider nur 5400 bzw. 5900 rpm.

hm.. bei den WD´s sollst du nur die Pro in den Qnap´s nutzen... und die 7200er...
ich finde die HGST besser....

ich habe festgestellt, das wenn im QNAP-TS469 2 NiC´s aktiv sind, bricht die Leistung bis zu 40 % ein!
ist wohl ein CPU Problem...

mit 7200 RPm kommst du auf etwa 55 MB/s... auch nicht das gelbe vom ei...
ist wohl ein Design Fehler von TS469... da habe ich mir mehr von versprochen. da ist selbst das TS-251 & TS-253 schneller...

für eine Low Cost Lösung ist da mächtig dampf drin... iSCSI mit weit über 300MB/s SMB3 ca.. 500 MB/s...

ja sollte so sein... ist aber wohl ein Treiber bzw. Config problem... da kann man noch dran drehen.

Gruß
Burak

Frank

Salut zusammen

Dein Fehler ist hier

QNAP mit 2 Netzwerkschnittstellen
ETH1 & ETH2 gebündelt, 192.168.3.10,

Weil für deinen Server ist es ja nur eine Verbindung die er zur Qnap hat.

Versuch mal jedem ETH Interface eine eigene IP zu vergeben.

Und dann im ISCSI Initiator von NAS IP 192.168.3.10 auf Server IP 192.168.3.21 verbinden
und von NAS IP 192.168.3.xx (neue IP) auf Server IP 192.168.3.22 verbinden.

Hier noch ein HowTo von Synology. Da sieht man es besser
https://www.synology.com/de-de/knowledgebase/DSM/tutorial/Virtualization ...

gruass affabanana

Probiere ich dann mal aus, aber wenn Balance-RR als Bündelungsverfahren beim QNAP eingestellt ist, zeigen beide Interfaces quasi die gleiche Geschwindigkeit an und auch auf dem Server sind beide Interfaces ausgelastet. Müsste dann nicht eine Verbindung sowohl beim QNAP als auch beim Server inaktiv sein bzw. abwechselnd aktiv sein?

Moin..
Balance-RR = Die pakete werden nacheinander nach über die Slave-Interfaces übertragen!
das muss dein Switch aber auch können, bzw, der Trunk muss so eingerichtet sein!
Allerdings ist Balance-RR auch sehr CPU lastig, und grade das TS469 ist kein Leistungswunder...
Andere QNAP Modelle können das Besser!

Frank

Hallo Burak.

Unsere alte "Forenweisheit":
"Wer misst, misst Mist!"

Wie du bereits festgestellt hast, kann man mit dem IOMeter so ziemlich alles messen, was man möchte.
Wichtig ist aber zu messen was man benötigt!
Wenn du das Storage tatsächlich als iSCSI Blockspeicher "missbrauchen" möchtest, sind 35MB/s durchaus realistisch. Du solltest hier aber noch eine kleinere Blockgröße (4-8kB) einstellen, wie sie in der Praxis bspw. bei Datenbanken oder ESX Servern vorkommt. Auch ein nur schreibender Betrieb halte ich eher für "praxisfremd". Realistisch sind z.B. ein 70/30 oder 50/50 R/W Ratio.
Allerdings ist die Übertragungsrate in solchen Umgebungen eher sekundär. Was bei Blockstorages wichtiger ist, wäre die Zugriffsgeschwindigkeit! Alles was länger als ca. 10-15ms dauert, wirst du in den Anwendungen deutlich merken...
Hier überforderst du aber m.M. ein kleines Billigteil für NAS Heimanwendungen deutlich!
Für so etwas gibt es "Profilösungen" mit 24 oder mehr 10k-15kU/min SAS Platten, entsprechend ausgelegtem Cache und besser für Blockstorage geeignetem FibreChannel oder SAS Zugang.
(Allerdings nicht für 200,-€ bei "Aldinate" zu bekommen...)

Wenn Du das Storage aber als NAS "Datengrab" benötigst kannst du ruhig große Datenblöcke (z.B. 64-256kB) messen.
Im Streaming erreicht auch eine kleine Büchse (rel.!) beeindruckende Werte.
Allerdings nie mehr als ca. 120MB/s, da über ein 1Gbit/s Ethernet nun mal nicht mehr übertragen werden kann.
Hier könnte man theoretisch mit mehreren Netzwerkports arbeiten und die Daten simultan zu mehreren Mac Adressen parallel übertragen.
Allerdings muss das Storage auch die Leistung bringen um dies zu bewerkstelligen. 4x 5400U/Min platten bringen höchstens 100MB/s, wenn sie unter idealen Bedingungen arbeiten können. Der Rest ist Cache, welcher meist nur ein paar Sekunden vorhält.
Daher halte ich ein 10Gbit/s Port bei solchen Geräten auch eher für "kosmetisch", wenn keine SSDs verbaut werden...