RSync Performance nach Extern langsam
Hallo zusammen,
ich probiere seit Tagen mit dem rSync rum und versuche halbwegs gescheite Übertragsraten zu bekommen.
Umgebung:
Synology RS2818RP+ soll ein paar TB Daten letztendlich Remote übers Internet an eine Backup-Synology DS1821+ senden.
Über das Synology Hauseigene Hyper Backup kriege ich das zwar gelöst, es dauert aber seine Ewigkeit. Mehrere Tage um es genau zu nehmen.
Daher kam mir die Idee, dass ich mir ein optimiertes rSync-Skript schreibe, welches dann mit höherem Durchsatz die Daten rüberschiebt.
Im Nachgang dann noch optimierter mit Verschlüsselung etc. Ich scheitere aber wie gesagt schon am Durchsatz.
Aktuell kriege ich eine Durchsatzrate von ca. 100MB/s innerhalb der RS2818RP+ (sprich von Ordner1 zu Ordner2)
und circa 50MB/s RS2818RP+ -> DS1821+ (sprich Gerät zu anderem Gerät) (beide Geräte intern/gleiches Netz)
Nun habe ich die DS1821+ außer Haus gebracht und mit dem Internet verbunden. Via Telnet melde ich mich an der großen Syno an und schieße mein Skript ab.
Maximaler Durchsatz von 12MB/s. Mehr ist nicht drin. Ich habe schon versucht die Kompression rauszunehmen, dann die Codierung zu wechseln, zwischen SSH und rsyncd hin und her gewechselt.. nichts zu machen. Ich kann im Übrigen auch ausschließen, dass es am Ziel DS1821+ liegt, da ich mir privat zuhause eine Linux Maschine mit OpenSSH-Server und rsyncd aufgesetzt habe und genau das selbe Ergebnis mit 12MB/s rauskommt.
Ich frage mich auch, wo ich genau angreifen muss. Liegt es an rSync dass nach Extern nur 12MB/s durchkommen? Welche Komponente limitiert die Bandbreite?
Mein Skript sieht wie folgt aus:
rsync -a --size-only --stats --progress /volume1/TestUser1/ user@xx.xx.xx.xx:873::files
Ich hoffe jemand hat Tipps/Anregungen! :/
ich probiere seit Tagen mit dem rSync rum und versuche halbwegs gescheite Übertragsraten zu bekommen.
Umgebung:
Synology RS2818RP+ soll ein paar TB Daten letztendlich Remote übers Internet an eine Backup-Synology DS1821+ senden.
Über das Synology Hauseigene Hyper Backup kriege ich das zwar gelöst, es dauert aber seine Ewigkeit. Mehrere Tage um es genau zu nehmen.
Daher kam mir die Idee, dass ich mir ein optimiertes rSync-Skript schreibe, welches dann mit höherem Durchsatz die Daten rüberschiebt.
Im Nachgang dann noch optimierter mit Verschlüsselung etc. Ich scheitere aber wie gesagt schon am Durchsatz.
Aktuell kriege ich eine Durchsatzrate von ca. 100MB/s innerhalb der RS2818RP+ (sprich von Ordner1 zu Ordner2)
und circa 50MB/s RS2818RP+ -> DS1821+ (sprich Gerät zu anderem Gerät) (beide Geräte intern/gleiches Netz)
Nun habe ich die DS1821+ außer Haus gebracht und mit dem Internet verbunden. Via Telnet melde ich mich an der großen Syno an und schieße mein Skript ab.
Maximaler Durchsatz von 12MB/s. Mehr ist nicht drin. Ich habe schon versucht die Kompression rauszunehmen, dann die Codierung zu wechseln, zwischen SSH und rsyncd hin und her gewechselt.. nichts zu machen. Ich kann im Übrigen auch ausschließen, dass es am Ziel DS1821+ liegt, da ich mir privat zuhause eine Linux Maschine mit OpenSSH-Server und rsyncd aufgesetzt habe und genau das selbe Ergebnis mit 12MB/s rauskommt.
Ich frage mich auch, wo ich genau angreifen muss. Liegt es an rSync dass nach Extern nur 12MB/s durchkommen? Welche Komponente limitiert die Bandbreite?
Mein Skript sieht wie folgt aus:
rsync -a --size-only --stats --progress /volume1/TestUser1/ user@xx.xx.xx.xx:873::files
Ich hoffe jemand hat Tipps/Anregungen! :/
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 1445536559
Url: https://administrator.de/contentid/1445536559
Ausgedruckt am: 24.11.2024 um 22:11 Uhr
8 Kommentare
Neuester Kommentar
Ich habe schon versucht die Kompression rauszunehmen, dann die Codierung zu wechseln
Das hat alles lediglich Einfluss auf die Datenmenge, nicht jedoch auf Übertragungsgeschwindigkeit.Es gibt halt immer einen Flaschenhals:
- bei rein lokaler Übertragung (Ordner1 -> Ordner2) ist es im Normalfall die Lese- bzw. Schreibgeschwindigkeit des Speichermediums
- innerhalb eines lokalen Netzwerks üblicherweise die max. Übertragungsgeschwindigkeit des verwendeten Mediums - zB 100MBit/s bei Cat5-Kaben, siehe hier:
https://de.wikipedia.org/wiki/Twisted-Pair-Kabel#Verbreitete_Twisted-Pai ...
- bei Übertragung via Internet eben der kleinste (!) Down- bzw. Upload-Wert der beteiligten Verbindungen
Kombinationen sind aber sozusagen auch denkbar: Selbst wenn du die fetteste Standleitung mit x GB/s Upload hast, wirst du nicht über 12 MB/s kommen, wenn da ein Cat5-Kabel zwischenhängt ;)
Hallo,
CAT5 gibbet nicht mehr. CAT5e kannst du noch kaufen, aber achte auf das Kupfer. Australisches Kupfer ist Schneller als Afikanisches oder Russisches Kupfer
Wird immer das gleiche Protokoll verwendet? Was sagt ein NetIO zu deinen Strecken/Switchen/NICs? http://www.nwlab.net/art/netio/netio.html oder iPerf. https://iperf.fr/
Bedenke die Download/Uploadraten deiner Provider und der unbekannten Technick zwischen deine zwei Standorten. Es kann auch sein das ein Provider ein Protokoll drosselt usw. Was im eigenen LAN auch gemacht sein kann.
Gruß,
Peter
CAT5 gibbet nicht mehr. CAT5e kannst du noch kaufen, aber achte auf das Kupfer. Australisches Kupfer ist Schneller als Afikanisches oder Russisches Kupfer
Wird immer das gleiche Protokoll verwendet? Was sagt ein NetIO zu deinen Strecken/Switchen/NICs? http://www.nwlab.net/art/netio/netio.html oder iPerf. https://iperf.fr/
Bedenke die Download/Uploadraten deiner Provider und der unbekannten Technick zwischen deine zwei Standorten. Es kann auch sein das ein Provider ein Protokoll drosselt usw. Was im eigenen LAN auch gemacht sein kann.
Gruß,
Peter
NetIO und (noch besser) iPerf3 sind die üblichen Klassiker die man für sowas kennen sollte:
http://www.nwlab.net/art/netio/netio.html
https://iperf.fr/iperf-download.php
http://www.nwlab.net/art/netio/netio.html
https://iperf.fr/iperf-download.php