sireistee
Goto Top

RSync Performance nach Extern langsam

Hallo zusammen,

ich probiere seit Tagen mit dem rSync rum und versuche halbwegs gescheite Übertragsraten zu bekommen.

Umgebung:
Synology RS2818RP+ soll ein paar TB Daten letztendlich Remote übers Internet an eine Backup-Synology DS1821+ senden.
Über das Synology Hauseigene Hyper Backup kriege ich das zwar gelöst, es dauert aber seine Ewigkeit. Mehrere Tage um es genau zu nehmen.

Daher kam mir die Idee, dass ich mir ein optimiertes rSync-Skript schreibe, welches dann mit höherem Durchsatz die Daten rüberschiebt.
Im Nachgang dann noch optimierter mit Verschlüsselung etc. Ich scheitere aber wie gesagt schon am Durchsatz.

Aktuell kriege ich eine Durchsatzrate von ca. 100MB/s innerhalb der RS2818RP+ (sprich von Ordner1 zu Ordner2)
und circa 50MB/s RS2818RP+ -> DS1821+ (sprich Gerät zu anderem Gerät) (beide Geräte intern/gleiches Netz)


Nun habe ich die DS1821+ außer Haus gebracht und mit dem Internet verbunden. Via Telnet melde ich mich an der großen Syno an und schieße mein Skript ab.
Maximaler Durchsatz von 12MB/s. Mehr ist nicht drin. Ich habe schon versucht die Kompression rauszunehmen, dann die Codierung zu wechseln, zwischen SSH und rsyncd hin und her gewechselt.. nichts zu machen. Ich kann im Übrigen auch ausschließen, dass es am Ziel DS1821+ liegt, da ich mir privat zuhause eine Linux Maschine mit OpenSSH-Server und rsyncd aufgesetzt habe und genau das selbe Ergebnis mit 12MB/s rauskommt.
Ich frage mich auch, wo ich genau angreifen muss. Liegt es an rSync dass nach Extern nur 12MB/s durchkommen? Welche Komponente limitiert die Bandbreite?

Mein Skript sieht wie folgt aus:
rsync -a --size-only --stats --progress /volume1/TestUser1/ user@xx.xx.xx.xx:873::files


Ich hoffe jemand hat Tipps/Anregungen! :/

Content-Key: 1445536559

Url: https://administrator.de/contentid/1445536559

Printed on: April 26, 2024 at 11:04 o'clock

Member: StefanKittel
Solution StefanKittel Oct 29, 2021 at 12:03:11 (UTC)
Goto Top
Moin,

12 MB/Sek = 100 MBit/Sek
Member: SirEistee
SirEistee Oct 29, 2021 updated at 12:21:36 (UTC)
Goto Top
Servus,

ich meine folgenden Unterschied:

Intern zu intern:
screenshot_172

Intern zu extern:
screenshot_175


Tut mir Leid, ich komm immer noch mit MB/s und Mbit/s durcheinander.. face-sad
Member: AlRoDiSa
AlRoDiSa Oct 29, 2021 at 13:40:26 (UTC)
Goto Top
Moin,

wenn du uns noch die Bandbreite der jeweiligen Internetzugänge mitteilen könntest...?

face-wink
Member: HanTrio
Solution HanTrio Oct 29, 2021 at 19:01:23 (UTC)
Goto Top
Ich habe schon versucht die Kompression rauszunehmen, dann die Codierung zu wechseln
Das hat alles lediglich Einfluss auf die Datenmenge, nicht jedoch auf Übertragungsgeschwindigkeit.

Es gibt halt immer einen Flaschenhals:
- bei rein lokaler Übertragung (Ordner1 -> Ordner2) ist es im Normalfall die Lese- bzw. Schreibgeschwindigkeit des Speichermediums
- innerhalb eines lokalen Netzwerks üblicherweise die max. Übertragungsgeschwindigkeit des verwendeten Mediums - zB 100MBit/s bei Cat5-Kaben, siehe hier:
https://de.wikipedia.org/wiki/Twisted-Pair-Kabel#Verbreitete_Twisted-Pai ...
- bei Übertragung via Internet eben der kleinste (!) Down- bzw. Upload-Wert der beteiligten Verbindungen

Kombinationen sind aber sozusagen auch denkbar: Selbst wenn du die fetteste Standleitung mit x GB/s Upload hast, wirst du nicht über 12 MB/s kommen, wenn da ein Cat5-Kabel zwischenhängt ;)
Member: Pjordorf
Solution Pjordorf Oct 29, 2021 at 20:26:28 (UTC)
Goto Top
Hallo,

Zitat von @HanTrio:
verwendeten Mediums - zB 100MBit/s bei Cat5-Kaben, siehe hier:
CAT5 gibbet nicht mehr. CAT5e kannst du noch kaufen, aber achte auf das Kupfer. Australisches Kupfer ist Schneller als Afikanisches oder Russisches Kupfer face-smile

Wird immer das gleiche Protokoll verwendet? Was sagt ein NetIO zu deinen Strecken/Switchen/NICs? http://www.nwlab.net/art/netio/netio.html oder iPerf. https://iperf.fr/

Bedenke die Download/Uploadraten deiner Provider und der unbekannten Technick zwischen deine zwei Standorten. Es kann auch sein das ein Provider ein Protokoll drosselt usw. Was im eigenen LAN auch gemacht sein kann.

Gruß,
Peter
Member: SirEistee
SirEistee Nov 02, 2021 at 06:55:06 (UTC)
Goto Top
Hallo zusammen,

ich habe das vermeidliche Problem gefunden, es ist viel banaler als man denkt.
Die Leitungen sind einfach nicht stark genug auf den Empfängerseiten...


Zitat von @StefanKittel:

Moin,

12 MB/Sek = 100 MBit/Sek

das ich dabei nicht drauf gekommen bin. :/
Im Endeffekt hattet ihr alle Recht, es liegt an den jeweiligen Downloadraten der Empfänger, welche dann nicht über ihre 100MBits/s gehen. Wieder etwas gelernt.

Trotzdem vielen Dank für die Hilfe!
Member: SirEistee
SirEistee Nov 02, 2021 at 06:59:03 (UTC)
Goto Top
Zitat von @Pjordorf:

Hallo,

Zitat von @HanTrio:
verwendeten Mediums - zB 100MBit/s bei Cat5-Kaben, siehe hier:
CAT5 gibbet nicht mehr. CAT5e kannst du noch kaufen, aber achte auf das Kupfer. Australisches Kupfer ist Schneller als Afikanisches oder Russisches Kupfer face-smile

Wird immer das gleiche Protokoll verwendet? Was sagt ein NetIO zu deinen Strecken/Switchen/NICs? http://www.nwlab.net/art/netio/netio.html oder iPerf. https://iperf.fr/

Bedenke die Download/Uploadraten deiner Provider und der unbekannten Technick zwischen deine zwei Standorten. Es kann auch sein das ein Provider ein Protokoll drosselt usw. Was im eigenen LAN auch gemacht sein kann.

Gruß,
Peter

und danke für den Hinweis mit NetIO, so ein Tool habe ich bisher vergebens gesucht! Liegt auch möglicherweise an der Art und Weise wie ich Google angestrengt hatte. face-smile
Member: aqui
aqui Nov 02, 2021 updated at 12:46:27 (UTC)
Goto Top
NetIO und (noch besser) iPerf3 sind die üblichen Klassiker die man für sowas kennen sollte:
http://www.nwlab.net/art/netio/netio.html
https://iperf.fr/iperf-download.php