5
Server sehr langsam bei vielen kleinen Dateien
Hallo,
ich habe einen HP ProLiant ML350e Gen8 mit 1 GB NIC am HP Procurve 1 GB switch. Der Server hat 5 SATA Platten im RAID5. Wenn ich von meinem Win7 Client eine große Datei (900MB) auf den Server verschiebe, habe ich eine Geschwindigkeit von ca. 100 MByte/s. Wenn ich aber 1.000 kleine Dateien (insgesamt 83MB) nehme, habe ich in beide Richtungen eine Geschwindigkeit von ca. 400 KByte/s. Ist das normal?
Gruß Michi
ich habe einen HP ProLiant ML350e Gen8 mit 1 GB NIC am HP Procurve 1 GB switch. Der Server hat 5 SATA Platten im RAID5. Wenn ich von meinem Win7 Client eine große Datei (900MB) auf den Server verschiebe, habe ich eine Geschwindigkeit von ca. 100 MByte/s. Wenn ich aber 1.000 kleine Dateien (insgesamt 83MB) nehme, habe ich in beide Richtungen eine Geschwindigkeit von ca. 400 KByte/s. Ist das normal?
Gruß Michi
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 322377
Url: https://administrator.de/contentid/322377
Ausgedruckt am: 05.11.2024 um 12:11 Uhr
5 Kommentare
Neuester Kommentar
Moin
Nun dann hätte jede Datei ca 0,083MB bei 1k Menge.
Und ja es ist normal das bei vielen kleinen Daten die Tranferrate Langsam ist.
Jede Datei muss ja geöffnet werden ect was mehere Aktionen für das System ist als wenn eine große Datei am Stück eingelesen werden kann.
Dazu kommt es auch noch drauf an wie die Daten auf der HDD abgelegt sind (Fragmentiert,weite Sektorensprünge zur nächsten Datei ect) was alles die Leistung mindert.
Ob deine Transferrate jetzt OK ist eine andere Sache bei kleinen Daten.
Aber dafür gibt es ja genug Tools um die IOPS zu Testen wo du ja dann siehst wie schnell dein System bei welchen Datenmengen/größe ist.
Nun dann hätte jede Datei ca 0,083MB bei 1k Menge.
Und ja es ist normal das bei vielen kleinen Daten die Tranferrate Langsam ist.
Jede Datei muss ja geöffnet werden ect was mehere Aktionen für das System ist als wenn eine große Datei am Stück eingelesen werden kann.
Dazu kommt es auch noch drauf an wie die Daten auf der HDD abgelegt sind (Fragmentiert,weite Sektorensprünge zur nächsten Datei ect) was alles die Leistung mindert.
Ob deine Transferrate jetzt OK ist eine andere Sache bei kleinen Daten.
Aber dafür gibt es ja genug Tools um die IOPS zu Testen wo du ja dann siehst wie schnell dein System bei welchen Datenmengen/größe ist.
Zitat von @MichiBLNN:
Wenn ich von meinem Win7 Client eine große Datei (900MB) auf den Server verschiebe, habe ich eine Geschwindigkeit von ca. 100 MByte/s. Wenn ich aber 1.000 kleine Dateien (insgesamt 83MB) nehme, habe ich in beide Richtungen eine Geschwindigkeit von ca. 400 KByte/s. Ist das normal?
Wenn ich von meinem Win7 Client eine große Datei (900MB) auf den Server verschiebe, habe ich eine Geschwindigkeit von ca. 100 MByte/s. Wenn ich aber 1.000 kleine Dateien (insgesamt 83MB) nehme, habe ich in beide Richtungen eine Geschwindigkeit von ca. 400 KByte/s. Ist das normal?
Ja. Der Overhead bei kleinen Dateien ist um ein vielfaches höher bei einer großen Datei.
lks
Hi!
Kannst du schauen ob der RAID-Cache aktiviert und passend eingestellt ist?
Trotzdem wird es bei kleinen Dateien immer stark in der Leistung einbrechen.
Gruß, rudeboy
Kannst du schauen ob der RAID-Cache aktiviert und passend eingestellt ist?
Trotzdem wird es bei kleinen Dateien immer stark in der Leistung einbrechen.
Gruß, rudeboy
Das ist ein grundsätzliches Overhead-Problem.
Egal ob Netzwerk oder nicht.
Lösch mal eine 1GB Datei und dann 100.000 Dateien mit 1K.
Stefan
Egal ob Netzwerk oder nicht.
Lösch mal eine 1GB Datei und dann 100.000 Dateien mit 1K.
Stefan
Guten Morgen,
vielen Dank für Eure Antworten.
Ich möchte auf dem System einige SQL Datenbanken einrichten. Hier dürfte es aber nicht zu diesem overhead und der langsamen Geschwindigkeit kommen, da der Datenaustausch ja nicht auf Dateiebene stattfindet oder?
Gruß Michi
vielen Dank für Eure Antworten.
Ich möchte auf dem System einige SQL Datenbanken einrichten. Hier dürfte es aber nicht zu diesem overhead und der langsamen Geschwindigkeit kommen, da der Datenaustausch ja nicht auf Dateiebene stattfindet oder?
Gruß Michi
