RSync Performance nach Extern langsam

sireistee
Goto Top
Hallo zusammen,

ich probiere seit Tagen mit dem rSync rum und versuche halbwegs gescheite Übertragsraten zu bekommen.

Umgebung:
Synology RS2818RP+ soll ein paar TB Daten letztendlich Remote übers Internet an eine Backup-Synology DS1821+ senden.
Über das Synology Hauseigene Hyper Backup kriege ich das zwar gelöst, es dauert aber seine Ewigkeit. Mehrere Tage um es genau zu nehmen.

Daher kam mir die Idee, dass ich mir ein optimiertes rSync-Skript schreibe, welches dann mit höherem Durchsatz die Daten rüberschiebt.
Im Nachgang dann noch optimierter mit Verschlüsselung etc. Ich scheitere aber wie gesagt schon am Durchsatz.

Aktuell kriege ich eine Durchsatzrate von ca. 100MB/s innerhalb der RS2818RP+ (sprich von Ordner1 zu Ordner2)
und circa 50MB/s RS2818RP+ -> DS1821+ (sprich Gerät zu anderem Gerät) (beide Geräte intern/gleiches Netz)


Nun habe ich die DS1821+ außer Haus gebracht und mit dem Internet verbunden. Via Telnet melde ich mich an der großen Syno an und schieße mein Skript ab.
Maximaler Durchsatz von 12MB/s. Mehr ist nicht drin. Ich habe schon versucht die Kompression rauszunehmen, dann die Codierung zu wechseln, zwischen SSH und rsyncd hin und her gewechselt.. nichts zu machen. Ich kann im Übrigen auch ausschließen, dass es am Ziel DS1821+ liegt, da ich mir privat zuhause eine Linux Maschine mit OpenSSH-Server und rsyncd aufgesetzt habe und genau das selbe Ergebnis mit 12MB/s rauskommt.
Ich frage mich auch, wo ich genau angreifen muss. Liegt es an rSync dass nach Extern nur 12MB/s durchkommen? Welche Komponente limitiert die Bandbreite?

Mein Skript sieht wie folgt aus:
rsync -a --size-only --stats --progress /volume1/TestUser1/ user@xx.xx.xx.xx:873::files


Ich hoffe jemand hat Tipps/Anregungen! :/

Content-Key: 1445536559

Url: https://administrator.de/contentid/1445536559

Ausgedruckt am: 29.05.2022 um 08:05 Uhr

Mitglied: StefanKittel
Lösung StefanKittel 29.10.2021 um 14:03:11 Uhr
Goto Top
Moin,

12 MB/Sek = 100 MBit/Sek
Mitglied: SirEistee
SirEistee 29.10.2021 aktualisiert um 14:21:36 Uhr
Goto Top
Servus,

ich meine folgenden Unterschied:

Intern zu intern:
screenshot_172

Intern zu extern:
screenshot_175


Tut mir Leid, ich komm immer noch mit MB/s und Mbit/s durcheinander.. :( face-sad
Mitglied: AlRoDiSa
AlRoDiSa 29.10.2021 um 15:40:26 Uhr
Goto Top
Moin,

wenn du uns noch die Bandbreite der jeweiligen Internetzugänge mitteilen könntest...?

;-) face-wink
Mitglied: HanTrio
Lösung HanTrio 29.10.2021 um 21:01:23 Uhr
Goto Top
Ich habe schon versucht die Kompression rauszunehmen, dann die Codierung zu wechseln
Das hat alles lediglich Einfluss auf die Datenmenge, nicht jedoch auf Übertragungsgeschwindigkeit.

Es gibt halt immer einen Flaschenhals:
- bei rein lokaler Übertragung (Ordner1 -> Ordner2) ist es im Normalfall die Lese- bzw. Schreibgeschwindigkeit des Speichermediums
- innerhalb eines lokalen Netzwerks üblicherweise die max. Übertragungsgeschwindigkeit des verwendeten Mediums - zB 100MBit/s bei Cat5-Kaben, siehe hier:
https://de.wikipedia.org/wiki/Twisted-Pair-Kabel#Verbreitete_Twisted-Pai ...
- bei Übertragung via Internet eben der kleinste (!) Down- bzw. Upload-Wert der beteiligten Verbindungen

Kombinationen sind aber sozusagen auch denkbar: Selbst wenn du die fetteste Standleitung mit x GB/s Upload hast, wirst du nicht über 12 MB/s kommen, wenn da ein Cat5-Kabel zwischenhängt ;)
Mitglied: Pjordorf
Lösung Pjordorf 29.10.2021 um 22:26:28 Uhr
Goto Top
Hallo,

Zitat von @HanTrio:
verwendeten Mediums - zB 100MBit/s bei Cat5-Kaben, siehe hier:
CAT5 gibbet nicht mehr. CAT5e kannst du noch kaufen, aber achte auf das Kupfer. Australisches Kupfer ist Schneller als Afikanisches oder Russisches Kupfer :-) face-smile

Wird immer das gleiche Protokoll verwendet? Was sagt ein NetIO zu deinen Strecken/Switchen/NICs? http://www.nwlab.net/art/netio/netio.html oder iPerf. https://iperf.fr/

Bedenke die Download/Uploadraten deiner Provider und der unbekannten Technick zwischen deine zwei Standorten. Es kann auch sein das ein Provider ein Protokoll drosselt usw. Was im eigenen LAN auch gemacht sein kann.

Gruß,
Peter
Mitglied: SirEistee
SirEistee 02.11.2021 um 07:55:06 Uhr
Goto Top
Hallo zusammen,

ich habe das vermeidliche Problem gefunden, es ist viel banaler als man denkt.
Die Leitungen sind einfach nicht stark genug auf den Empfängerseiten...


Zitat von @StefanKittel:

Moin,

12 MB/Sek = 100 MBit/Sek

das ich dabei nicht drauf gekommen bin. :/
Im Endeffekt hattet ihr alle Recht, es liegt an den jeweiligen Downloadraten der Empfänger, welche dann nicht über ihre 100MBits/s gehen. Wieder etwas gelernt.

Trotzdem vielen Dank für die Hilfe!
Mitglied: SirEistee
SirEistee 02.11.2021 um 07:59:03 Uhr
Goto Top
Zitat von @Pjordorf:

Hallo,

Zitat von @HanTrio:
verwendeten Mediums - zB 100MBit/s bei Cat5-Kaben, siehe hier:
CAT5 gibbet nicht mehr. CAT5e kannst du noch kaufen, aber achte auf das Kupfer. Australisches Kupfer ist Schneller als Afikanisches oder Russisches Kupfer :-) face-smile

Wird immer das gleiche Protokoll verwendet? Was sagt ein NetIO zu deinen Strecken/Switchen/NICs? http://www.nwlab.net/art/netio/netio.html oder iPerf. https://iperf.fr/

Bedenke die Download/Uploadraten deiner Provider und der unbekannten Technick zwischen deine zwei Standorten. Es kann auch sein das ein Provider ein Protokoll drosselt usw. Was im eigenen LAN auch gemacht sein kann.

Gruß,
Peter

und danke für den Hinweis mit NetIO, so ein Tool habe ich bisher vergebens gesucht! Liegt auch möglicherweise an der Art und Weise wie ich Google angestrengt hatte. :) face-smile
Mitglied: aqui
aqui 02.11.2021 aktualisiert um 13:46:27 Uhr
Goto Top
NetIO und (noch besser) iPerf3 sind die üblichen Klassiker die man für sowas kennen sollte:
http://www.nwlab.net/art/netio/netio.html
https://iperf.fr/iperf-download.php