michiblnn
Goto Top

Server sehr langsam bei vielen kleinen Dateien

Hallo,

ich habe einen HP ProLiant ML350e Gen8 mit 1 GB NIC am HP Procurve 1 GB switch. Der Server hat 5 SATA Platten im RAID5. Wenn ich von meinem Win7 Client eine große Datei (900MB) auf den Server verschiebe, habe ich eine Geschwindigkeit von ca. 100 MByte/s. Wenn ich aber 1.000 kleine Dateien (insgesamt 83MB) nehme, habe ich in beide Richtungen eine Geschwindigkeit von ca. 400 KByte/s. Ist das normal?

Gruß Michi

Content-ID: 322377

Url: https://administrator.de/contentid/322377

Ausgedruckt am: 22.11.2024 um 08:11 Uhr

kaiand1
kaiand1 29.11.2016 um 15:32:49 Uhr
Goto Top
Moin
Nun dann hätte jede Datei ca 0,083MB bei 1k Menge.
Und ja es ist normal das bei vielen kleinen Daten die Tranferrate Langsam ist.
Jede Datei muss ja geöffnet werden ect was mehere Aktionen für das System ist als wenn eine große Datei am Stück eingelesen werden kann.
Dazu kommt es auch noch drauf an wie die Daten auf der HDD abgelegt sind (Fragmentiert,weite Sektorensprünge zur nächsten Datei ect) was alles die Leistung mindert.
Ob deine Transferrate jetzt OK ist eine andere Sache bei kleinen Daten.
Aber dafür gibt es ja genug Tools um die IOPS zu Testen wo du ja dann siehst wie schnell dein System bei welchen Datenmengen/größe ist.
Lochkartenstanzer
Lochkartenstanzer 29.11.2016 um 15:42:15 Uhr
Goto Top
Zitat von @MichiBLNN:

Wenn ich von meinem Win7 Client eine große Datei (900MB) auf den Server verschiebe, habe ich eine Geschwindigkeit von ca. 100 MByte/s. Wenn ich aber 1.000 kleine Dateien (insgesamt 83MB) nehme, habe ich in beide Richtungen eine Geschwindigkeit von ca. 400 KByte/s. Ist das normal?

Ja. Der Overhead bei kleinen Dateien ist um ein vielfaches höher bei einer großen Datei.

lks
rudeboy
rudeboy 29.11.2016 um 15:57:34 Uhr
Goto Top
Hi!

Kannst du schauen ob der RAID-Cache aktiviert und passend eingestellt ist?
Trotzdem wird es bei kleinen Dateien immer stark in der Leistung einbrechen.

Gruß, rudeboy
StefanKittel
StefanKittel 29.11.2016 um 21:58:35 Uhr
Goto Top
Das ist ein grundsätzliches Overhead-Problem.
Egal ob Netzwerk oder nicht.

Lösch mal eine 1GB Datei und dann 100.000 Dateien mit 1K.

Stefan
MichiBLNN
MichiBLNN 30.11.2016 um 06:45:30 Uhr
Goto Top
Guten Morgen,

vielen Dank für Eure Antworten.

Ich möchte auf dem System einige SQL Datenbanken einrichten. Hier dürfte es aber nicht zu diesem overhead und der langsamen Geschwindigkeit kommen, da der Datenaustausch ja nicht auf Dateiebene stattfindet oder?

Gruß Michi