18
Gruselige NAS Performance bei kleinen Dateien
Hallo, zusammen,
ich habe eine QNAP TS-469U 4-Bay NAS mit 4 x 10TB IronWolf Platten im RAID 5. Firmware ist auf dem neuesten Stand.
Mein Problem: Wenn ich große Mengen kleiner Dateien schreibe, bricht die Performance extrem ein auf wenige kb/s. Bei großen Dateien ist die Performance gut. Weder CPU noch RAM sind massiv ausgelastet. Der interne Leistungstest der Platten zeigt normale Werte, alle SMART-Werte sind grün.
Das Problem tritt auch auf, wenn ich den Rechner direkt an die NAS anschließe, das Netzwerk als Bottleneck kann also ausgeschlossen werden.
Es laufen keine Prozesse, die das einbremsen (Backups oder so).
Habt Ihr eine Idee? Support-Ticket ist schon eröffnet, aber noch keine Antwort. Im QNAP Forum wusste auch bisher niemand Rat.
Danke für Eure Tipps
ich habe eine QNAP TS-469U 4-Bay NAS mit 4 x 10TB IronWolf Platten im RAID 5. Firmware ist auf dem neuesten Stand.
Mein Problem: Wenn ich große Mengen kleiner Dateien schreibe, bricht die Performance extrem ein auf wenige kb/s. Bei großen Dateien ist die Performance gut. Weder CPU noch RAM sind massiv ausgelastet. Der interne Leistungstest der Platten zeigt normale Werte, alle SMART-Werte sind grün.
Das Problem tritt auch auf, wenn ich den Rechner direkt an die NAS anschließe, das Netzwerk als Bottleneck kann also ausgeschlossen werden.
Es laufen keine Prozesse, die das einbremsen (Backups oder so).
Habt Ihr eine Idee? Support-Ticket ist schon eröffnet, aber noch keine Antwort. Im QNAP Forum wusste auch bisher niemand Rat.
Danke für Eure Tipps
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 5135418302
Url: https://administrator.de/contentid/5135418302
Printed on: July 27, 2024 at 12:07 o'clock
18 Comments
Latest comment
Moin,
das ist ganz normal bei einem Raid5 wenn es Spindel Platten sind. Das RAID kommt mit dem schreiben der vielen kleinen Dateien nicht so schnell hinter her und muss daher andauernd die Platten Köpfe versetzen.
Ein SSD Puffer könnte helfen.
Keine Ahnung ob dein NAS Platz dafür hat.
Gruß
Spirit
das ist ganz normal bei einem Raid5 wenn es Spindel Platten sind. Das RAID kommt mit dem schreiben der vielen kleinen Dateien nicht so schnell hinter her und muss daher andauernd die Platten Köpfe versetzen.
Ein SSD Puffer könnte helfen.
Keine Ahnung ob dein NAS Platz dafür hat.
Gruß
Spirit
Hallo,
das mit vielen kleinen Dateien ist normal.
Egal ob USB HDD, USB Stick, Windows-Freigabe oder NAS-Freigabe und selbst auf lokalen HDDs und SSDs.
Es wird im Prinzip nur durch Cache oder hohe IOPS (SSD) erträglich.
Ein (kleines) NAS mit einem SSD-Cache auszurüsten bringt aber auch nicht viel.
Einziger Tipp: Die Dateien in ein Archiv (zip, 7z, tgz) mit kleiner Kompression schreiben.
Wenn ich einen Linux-Server mit NVME-Storage habe wo ein dusseliger Shop mal wieder 1.000.000 4k-Dateien angelegt hat, dauert das löschen so 2-3 Stunden.
Stefan
das mit vielen kleinen Dateien ist normal.
Egal ob USB HDD, USB Stick, Windows-Freigabe oder NAS-Freigabe und selbst auf lokalen HDDs und SSDs.
Es wird im Prinzip nur durch Cache oder hohe IOPS (SSD) erträglich.
Ein (kleines) NAS mit einem SSD-Cache auszurüsten bringt aber auch nicht viel.
Einziger Tipp: Die Dateien in ein Archiv (zip, 7z, tgz) mit kleiner Kompression schreiben.
Wenn ich einen Linux-Server mit NVME-Storage habe wo ein dusseliger Shop mal wieder 1.000.000 4k-Dateien angelegt hat, dauert das löschen so 2-3 Stunden.
Stefan
1
Das ist Standard bei kleinen Dateien. Blockgröße ist oft 4KB, daher muss jede kleine Datei in den Block "gepackt" werden, dann neuer Block adressiert, gewartet werden bis die Köpfe in Position sind und dann wird geschrieben, das dauert seine Zeit. Bei großen Dateien hast du je nach MB/GB dann ein sequentielles Schreiben, so wird Block an Block an Block... gefüllt.
Selbst SSDs haben das gleiche Problem. Nicht so stark wie HDDs aber es ist spürbar.
Selbst SSDs haben das gleiche Problem. Nicht so stark wie HDDs aber es ist spürbar.
Noch ein Beispiel zur Klarstellung, dass es nicht dein NAS, die HDDs oder dein Netzwerk ist. Das ist auf einer VM mit Windows Server 2019 durchgeführt. Die virtuellen Festplatten befinden sich auf einem SAN Volume mit Enterprise SSDs und der Host ist mit 20Gb/s iSCSI angebunden.
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
1
Zitat von @DerMaddin:
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
Vielen Dank, dann habe ich mal einen Vergleich!
Moin @IllusionFACTORY,
Vielen Dank, dann habe ich mal einen Vergleich!
folgend noch ein Vergleich zur einem NAS von Infortrend, welches mit 5 HDD's (RAID5) bestückt ist und ebenfalls mit 1G am Netz hängt.
Sprich, die Performance von deiner QNAP ist zwar nicht die allerbeste, liegt aber im normalen Bereich.
Du solltest es jedoch vermeiden grössere Dateimengen über den Windows-Dateiexplorer zu kopieren, das kann dieser nicht wirklich.
Versuche mal alternativ mit robocopy oder xcopy und dem Zusatzparameter "/J" zu arbeiten, dann siehst du sofort was ich meine. 😉
Beste Grüsse aus BaWü
Alex
Zitat von @DerMaddin:
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
Vielen Dank, dann habe ich mal einen Vergleich!
folgend noch ein Vergleich zur einem NAS von Infortrend, welches mit 5 HDD's (RAID5) bestückt ist und ebenfalls mit 1G am Netz hängt.
Sprich, die Performance von deiner QNAP ist zwar nicht die allerbeste, liegt aber im normalen Bereich.
Du solltest es jedoch vermeiden grössere Dateimengen über den Windows-Dateiexplorer zu kopieren, das kann dieser nicht wirklich.
Versuche mal alternativ mit robocopy oder xcopy und dem Zusatzparameter "/J" zu arbeiten, dann siehst du sofort was ich meine. 😉
Beste Grüsse aus BaWü
Alex
Moin @DerMaddin,
dein AllFlash, respektive die iSCSI Anbindung schein nicht rund zu laufen.
Ab einer Blockgrösse von 1MB müsstest du die 20G mit einem AllFlash eigentlich komplett auslutschen können.
Sprich, du solltest beim Lesen > 2000 MB/s erreichen können.
Beim Schreiben eigentlich auch, weil die 256MB grosse Testdatei von ATTO, von jedem SAN durch sein Cache abgevespert werden sollte.
Folgend ein Vergleich zu einem (6 Jahre altem) AllFlash, eines unserer Kunden.
Das SAN ist übrigens per SAS angebunden, daher die Bandbreite.
Beste Grüsse aus BaWü
Alex
Noch ein Beispiel zur Klarstellung, dass es nicht dein NAS, die HDDs oder dein Netzwerk ist. Das ist auf einer VM mit Windows Server 2019 durchgeführt. Die virtuellen Festplatten befinden sich auf einem SAN Volume mit Enterprise SSDs und der Host ist mit 20Gb/s iSCSI angebunden.
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
Wie man deutlich erkennen kann, ist die Performance bis etwa 4KB ziemlich schlecht.
dein AllFlash, respektive die iSCSI Anbindung schein nicht rund zu laufen.
Ab einer Blockgrösse von 1MB müsstest du die 20G mit einem AllFlash eigentlich komplett auslutschen können.
Sprich, du solltest beim Lesen > 2000 MB/s erreichen können.
Beim Schreiben eigentlich auch, weil die 256MB grosse Testdatei von ATTO, von jedem SAN durch sein Cache abgevespert werden sollte.
Folgend ein Vergleich zu einem (6 Jahre altem) AllFlash, eines unserer Kunden.
Das SAN ist übrigens per SAS angebunden, daher die Bandbreite.
Beste Grüsse aus BaWü
Alex
Zitat von @MysticFoxDE:
folgend noch ein Vergleich zur einem NAS von Infortrend, welches mit 5 HDD's (RAID5) bestückt ist und ebenfalls mit 1G am Netz hängt.
Sprich, die Performance von deiner QNAP ist zwar nicht die allerbeste, liegt aber im normalen Bereich.
folgend noch ein Vergleich zur einem NAS von Infortrend, welches mit 5 HDD's (RAID5) bestückt ist und ebenfalls mit 1G am Netz hängt.
Sprich, die Performance von deiner QNAP ist zwar nicht die allerbeste, liegt aber im normalen Bereich.
Vielen Dank!
Hast Du irgendein NAS mit SSD Cache im Einsatz, damit ich weiß, ob sich der Umstieg lohnt?
@MysticFoxDE nein, das passt schon mit der Performance. Dass es nicht mehr ist, liegt an der Anbindung des SAN an die Hosts und der Core-Switches, sowie Konfiguration der VMs.
Deine Ergebnisse sind von einer Hardware-Maschine? Würde die 3GB/s erklären, denn mit einem 10Gb vNIC in einer VM ist das nicht machbar.
Deine Ergebnisse sind von einer Hardware-Maschine? Würde die 3GB/s erklären, denn mit einem 10Gb vNIC in einer VM ist das nicht machbar.
Moin @DerMaddin,
nein, das ist eine VM, die genau so wie bei dir auf dem SAN liegt.
Die 3GB/s kommen davon, weil das SAN per SAS und nicht per iSCSI oder FC angebunden ist.
Den SAS ist mit abstand die performanteste und auch effizienteste, der zuvor genannten Anbindungsmethoden.
Ich habe bei dem vorherigen Test ja auch nur gegen eine LUN getestet, wenn ich den Test auf mehrere LUN's ausweite, dann packt dieses SAN lesend in Summe ~14GB/s, bei einer durchschnittlichen Latenz von unter 1ms.
Doch, wenn die VM's auf demselben Host laufen und auch über denselben vSwitch angebunden sind,
da gilt das Limit der vSwitch Uplink-NIC nicht wirklich. 😁
Ich muss mal suchen ob ich noch den Screenshot finde, wo ein Dateitransfer von VM zu VM über eine 1G vmNIC, mit ~16G lief. 🤪
Beste Grüsse aus BaWü
Alex
Deine Ergebnisse sind von einer Hardware-Maschine?
nein, das ist eine VM, die genau so wie bei dir auf dem SAN liegt.
Würde die 3GB/s erklären
Die 3GB/s kommen davon, weil das SAN per SAS und nicht per iSCSI oder FC angebunden ist.
Den SAS ist mit abstand die performanteste und auch effizienteste, der zuvor genannten Anbindungsmethoden.
Ich habe bei dem vorherigen Test ja auch nur gegen eine LUN getestet, wenn ich den Test auf mehrere LUN's ausweite, dann packt dieses SAN lesend in Summe ~14GB/s, bei einer durchschnittlichen Latenz von unter 1ms.
denn mit einem 10Gb vNIC in einer VM ist das nicht machbar.
Doch, wenn die VM's auf demselben Host laufen und auch über denselben vSwitch angebunden sind,
da gilt das Limit der vSwitch Uplink-NIC nicht wirklich. 😁
Ich muss mal suchen ob ich noch den Screenshot finde, wo ein Dateitransfer von VM zu VM über eine 1G vmNIC, mit ~16G lief. 🤪
Beste Grüsse aus BaWü
Alex
Moin @IllusionFACTORY,
nein und ich habe noch nie ein NAS/SAN mit SSD-Caching in Betrieb genommen (getestet schon) und werde es auch niemals tun.
SSD-Chaching bringt in vielen Fällen eher einen Nachteil als das es einen Vorteil bring.
Daher setzen wir auch schon seit über 10 Jahren auf AllFlash. 😀
Das ist bei einem anständigen SAN und SSD's, ein ordentlicher Bums quasi durchgängig garantiert. 🤪
Zu dem Thema gab es hier zudem erst jüngst den folgenden Beitrag.
Taugt Cache bei QNAP zu was?
Beste Grüsse aus BaWü
Alex
Hast Du irgendein NAS mit SSD Cache im Einsatz, damit ich weiß, ob sich der Umstieg lohnt?
nein und ich habe noch nie ein NAS/SAN mit SSD-Caching in Betrieb genommen (getestet schon) und werde es auch niemals tun.
SSD-Chaching bringt in vielen Fällen eher einen Nachteil als das es einen Vorteil bring.
Daher setzen wir auch schon seit über 10 Jahren auf AllFlash. 😀
Das ist bei einem anständigen SAN und SSD's, ein ordentlicher Bums quasi durchgängig garantiert. 🤪
Zu dem Thema gab es hier zudem erst jüngst den folgenden Beitrag.
Taugt Cache bei QNAP zu was?
Beste Grüsse aus BaWü
Alex
Zitat von @IllusionFACTORY:
Zu dem Thema gab es hier zudem erst jüngst den folgenden Beitrag.
Taugt Cache bei QNAP zu was?
Zu dem Thema gab es hier zudem erst jüngst den folgenden Beitrag.
Taugt Cache bei QNAP zu was?
Danke für den Link. Wobei das Problem des Thread-Erstellers hier ja ein anderes war. Der Durchsatz insgesamt über 1GBE ist völlig ausreichend, nur eben das nervige Verhalten bei extrem kleinen Dateien.
Viele Grüße
Moin @IllusionFACTORY,
noch ein kleiner Nachtrag.
Schau dir mal genauer an, was dein "kleines" NAS welches nur mit HDD's bestückt ist, bei kleinen Blöcken so bis 16K, im Vergleich zu unseren ausgewachsenen AllFlash-SAN's liefert.
Arg so viel schneller sind unsere, mit SSD's vollgepackten SAN-Monsterchen in dieser Kategorie nun auch nicht. 😉
Glaub mir, mit xcopy oder robocopy + "/J", kannst du in deinem Fall noch viel mehr aus deiner Hardware herausholen.
Beste Grüsse aus BaWü
Alex
Hast Du irgendein NAS mit SSD Cache im Einsatz, damit ich weiß, ob sich der Umstieg lohnt?
noch ein kleiner Nachtrag.
Schau dir mal genauer an, was dein "kleines" NAS welches nur mit HDD's bestückt ist, bei kleinen Blöcken so bis 16K, im Vergleich zu unseren ausgewachsenen AllFlash-SAN's liefert.
Arg so viel schneller sind unsere, mit SSD's vollgepackten SAN-Monsterchen in dieser Kategorie nun auch nicht. 😉
Glaub mir, mit xcopy oder robocopy + "/J", kannst du in deinem Fall noch viel mehr aus deiner Hardware herausholen.
Beste Grüsse aus BaWü
Alex
Zitat von @MysticFoxDE:
Glaub mir, mit xcopy oder robocopy + "/J", kannst du in deinem Fall noch viel mehr aus deiner Hardware herausholen.
Glaube ich Dir blind. Aber die Benutzer… die Benutzer… und Kommandozeilentools mit Parametern… bei Kreativen… 🤣🤣
1
Moin @IllusionFACTORY,
😮, meinst du etwa Otto-Normal-Endbenutzer?
Wenn ja ... 😱 ... dann vergiss bitte ganz schnell den Tipp mit xcopy & robocopy, sonst hast du ratz fatz noch ein viel grösseres Problem. 🙃
Eventuell könntest du diesen jedoch die Nutzung von FreeCommander XE beibrigen.
Denn mit den folgenden Einstellungen ...
ist dieser ähnlich schnell, wie xcopy oder robocopy. 😉
Beste Grüsse aus BaWü
Alex
Glaube ich Dir blind. Aber die Benutzer… die Benutzer… und Kommandozeilentools mit Parametern… bei Kreativen… 🤣🤣
😮, meinst du etwa Otto-Normal-Endbenutzer?
Wenn ja ... 😱 ... dann vergiss bitte ganz schnell den Tipp mit xcopy & robocopy, sonst hast du ratz fatz noch ein viel grösseres Problem. 🙃
Eventuell könntest du diesen jedoch die Nutzung von FreeCommander XE beibrigen.
Denn mit den folgenden Einstellungen ...
Beste Grüsse aus BaWü
Alex
1 😮, meinst du etwa Otto-Normal-Endbenutzer?
Wenn ja ... 😱 ... dann vergiss bitte ganz schnell den Tipp mit xcopy & robocopy, sonst hast du ratz fatz noch ein viel grösseres Problem. 🙃
Eventuell könntest du diesen jedoch die Nutzung von FreeCommander XE beibrigen.
Denn mit den folgenden Einstellungen ...
ist dieser ähnlich schnell, wie xcopy oder robocopy. 😉
Wenn ja ... 😱 ... dann vergiss bitte ganz schnell den Tipp mit xcopy & robocopy, sonst hast du ratz fatz noch ein viel grösseres Problem. 🙃
Eventuell könntest du diesen jedoch die Nutzung von FreeCommander XE beibrigen.
Denn mit den folgenden Einstellungen ...
Ah, danke! Das probiere ich
Okay, ich werde jetzt die NAS neu formatieren, weil ich alle Daten gesichert habe.
Welches Dateisystem und welches RAID-Level sollte ich nutzen, um das Problem mit den kleinen Dateien zu minimieren?
Die NAS hat 4 Platten.
Danke
Welches Dateisystem und welches RAID-Level sollte ich nutzen, um das Problem mit den kleinen Dateien zu minimieren?
Die NAS hat 4 Platten.
Danke
Moin @IllusionFACTORY,
bei 4 Platten ist Raid 5 eigentlich schon ganz gut.
Gruss Alex
Welches Dateisystem und welches RAID-Level sollte ich nutzen, um das Problem mit den kleinen Dateien zu minimieren?
Die NAS hat 4 Platten.
Die NAS hat 4 Platten.
bei 4 Platten ist Raid 5 eigentlich schon ganz gut.
Gruss Alex