Rsync über Lan Langsam... richtig Langsam
1,5 MB/s via Gigabit Crosskabel
Hallo Leute.
Ich habe meinen Server (Win 2k3 SP2) direkt mit einem Kabel mit meinem Backup-Rechner (Win XP SP2) verbunden.
Dort will ich via RSync meine Backups rauffahren.
Also habe ich auf der Xp-Kiste den Rsync Server installiert und auf der 2k3-Kiste den Client.
Den Client starte ich dann wie folg:
Rsync -avHWt --progress *Quelle* *Ziel*
Dass er bei vielen tausend kleinen Dateien lange brauch ist ja fast OK.
Das Problem sehe ich bei größeren Dateien: eine 1GB datei braucht ca. 11 minuten (mehrfach gemessen).
Da wir eine Filmproduktionsfirma sind, sind Files dieser Größenordnung voll Normal.
Am Ende hänge ich da mit knapp 2TB Daten und muss meinen Leuten erklären, dass ein Wochenende für ein Backup nicht ausreicht.
Nun heißt es schnell wieder, dass Rsync ja immer die Files prüfen muss und so.
1. Der Parameter -W lässt Rsync nur den Timestamp und die Größe prüfen, und dann die ganze Datei kopieren.
2. Ich sehe dank -v und --Progress ja, wie er sich da einen abkrampft mit der Datei.
(er zeigt mir sogar stolz noch die Datenrate von 1,5Mb/s an)
Ich habe dann während des kopierprozesses auf beiden Rechnern Systemmonitore laufen lassen:
Selbst wenn ich alle Rsync Prozesse auf Echtzeit-Priorität laufen lasse, meint keine einzige CPU sich über die 5% Hürde hinweg bemühen zu müssen, die Netzwerkauslastung durchbricht selten die 2% Schallmauer und die Platten haben schon aufgeregter vor sich hingeklackert als ich mit 56k-Modem was 'gezogen' habe.
Alle Firewalls sind aus und das Kopieren via Explorer geht x-mal schneller.
Ist Rsync irgendwie 'beschrängt' oder sowas?
Hat da irgenwer ne Idee?
Ich dank euch schon im vorraus.
Beste Grüße,
Aranha
P.S.: So, habe grad mal mit Jumboframes rumgespielt: bei 9014Byte dauerts nur noch 8:30min Immernoch grotte Langsam, aber prozenzual gesehen schon ne Steigerung.
Hallo Leute.
Ich habe meinen Server (Win 2k3 SP2) direkt mit einem Kabel mit meinem Backup-Rechner (Win XP SP2) verbunden.
Dort will ich via RSync meine Backups rauffahren.
Also habe ich auf der Xp-Kiste den Rsync Server installiert und auf der 2k3-Kiste den Client.
Den Client starte ich dann wie folg:
Rsync -avHWt --progress *Quelle* *Ziel*
Dass er bei vielen tausend kleinen Dateien lange brauch ist ja fast OK.
Das Problem sehe ich bei größeren Dateien: eine 1GB datei braucht ca. 11 minuten (mehrfach gemessen).
Da wir eine Filmproduktionsfirma sind, sind Files dieser Größenordnung voll Normal.
Am Ende hänge ich da mit knapp 2TB Daten und muss meinen Leuten erklären, dass ein Wochenende für ein Backup nicht ausreicht.
Nun heißt es schnell wieder, dass Rsync ja immer die Files prüfen muss und so.
1. Der Parameter -W lässt Rsync nur den Timestamp und die Größe prüfen, und dann die ganze Datei kopieren.
2. Ich sehe dank -v und --Progress ja, wie er sich da einen abkrampft mit der Datei.
(er zeigt mir sogar stolz noch die Datenrate von 1,5Mb/s an)
Ich habe dann während des kopierprozesses auf beiden Rechnern Systemmonitore laufen lassen:
Selbst wenn ich alle Rsync Prozesse auf Echtzeit-Priorität laufen lasse, meint keine einzige CPU sich über die 5% Hürde hinweg bemühen zu müssen, die Netzwerkauslastung durchbricht selten die 2% Schallmauer und die Platten haben schon aufgeregter vor sich hingeklackert als ich mit 56k-Modem was 'gezogen' habe.
Alle Firewalls sind aus und das Kopieren via Explorer geht x-mal schneller.
Ist Rsync irgendwie 'beschrängt' oder sowas?
Hat da irgenwer ne Idee?
Ich dank euch schon im vorraus.
Beste Grüße,
Aranha
P.S.: So, habe grad mal mit Jumboframes rumgespielt: bei 9014Byte dauerts nur noch 8:30min Immernoch grotte Langsam, aber prozenzual gesehen schon ne Steigerung.
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 74758
Url: https://administrator.de/forum/rsync-ueber-lan-langsam-richtig-langsam-74758.html
Ausgedruckt am: 24.12.2024 um 17:12 Uhr
4 Kommentare
Neuester Kommentar
Guten Morgen,
hast du denn schon ein bisschen "Problemzonen" ausgeschlossen ... ?
Also ich würde erstmal so vorgehen.
1) Netzwerklasttest machen mit anderen Programmen, bei GBit solltest du zumindest 20 MB/s (megabyte, nicht megabit) erreichen.
2) Wenn transferrate mit anderen programm (ftp / smb / netzlasttest) besser ist: gehe zu 5)
3) Wenn transferrate schlecht ist --> netzwerkkarte tauschen. wenns dann besser: gehe zu 5)
4) Wenn transferrate schlecht ist --> verkabelung tauschen, muss mi. Cat5 sein, wenns dann besser: gehe zu 5)
5) Feddich
Gibt natürlcih auch noch andere Fehlerquellen, aber erstmal sollte man auschliessen das es am netzwerk liegt.
hast du denn schon ein bisschen "Problemzonen" ausgeschlossen ... ?
Also ich würde erstmal so vorgehen.
1) Netzwerklasttest machen mit anderen Programmen, bei GBit solltest du zumindest 20 MB/s (megabyte, nicht megabit) erreichen.
2) Wenn transferrate mit anderen programm (ftp / smb / netzlasttest) besser ist: gehe zu 5)
3) Wenn transferrate schlecht ist --> netzwerkkarte tauschen. wenns dann besser: gehe zu 5)
4) Wenn transferrate schlecht ist --> verkabelung tauschen, muss mi. Cat5 sein, wenns dann besser: gehe zu 5)
5) Feddich
Gibt natürlcih auch noch andere Fehlerquellen, aber erstmal sollte man auschliessen das es am netzwerk liegt.
Bei 4 könnte man noch addieren Das du mal deine Netzwerkkarte checken solltest....(leider teilst du uns das ja auch nicht mit was du da verwendest )
Ist es eine dumme PCI attachte mit Realtek Chipsatz die das Packet Handling der CPU aufbürdet ?? -> Austauschen
Der Netzwerk Adapter sollte bei GiG (wenne s denn GiG ist ??) mindestens PCIx attached sein oder eine PCIx Karte und dann möglichst ohne Realtek o.ä. Chipsatz sein.
Am besten ist für solche Zwecke einen GiG Adapter der Chipsatz angebunden ist auf dem MB über die North- oder Southbridge !!
Wie gesagt erstmal ohne den dummen Windows CIFS Overhead messen mit einem Programm wie z.B. NetIO
http://www.ars.de/ars/ars.nsf/docs/netio
das sagt dir wenigstens unabhängig vom Windows wie performant dein Netzwerk direkt ist.
Dann kann man weitersehen....
Netio ist selbsterklärend wenn du es in der Eingabeaufforderung ohne Parameter aufrufst. Starten geht mit
netio -t -s auf dem Server und netio -t <ip_addr_server> auf dem Client.
Ist es eine dumme PCI attachte mit Realtek Chipsatz die das Packet Handling der CPU aufbürdet ?? -> Austauschen
Der Netzwerk Adapter sollte bei GiG (wenne s denn GiG ist ??) mindestens PCIx attached sein oder eine PCIx Karte und dann möglichst ohne Realtek o.ä. Chipsatz sein.
Am besten ist für solche Zwecke einen GiG Adapter der Chipsatz angebunden ist auf dem MB über die North- oder Southbridge !!
Wie gesagt erstmal ohne den dummen Windows CIFS Overhead messen mit einem Programm wie z.B. NetIO
http://www.ars.de/ars/ars.nsf/docs/netio
das sagt dir wenigstens unabhängig vom Windows wie performant dein Netzwerk direkt ist.
Dann kann man weitersehen....
Netio ist selbsterklärend wenn du es in der Eingabeaufforderung ohne Parameter aufrufst. Starten geht mit
netio -t -s auf dem Server und netio -t <ip_addr_server> auf dem Client.