Rsync performance erhöhen

Mitglied: winlin
Hallo Zusammen,

welche Konfigurationsmöglichkeiten gibt es um Samba zu tunen? Ich habe eine Datenübertragungsrate von max 1Mb/sec. im lokalen Netzwerk von meinem MAC (Wlan) zur RaspberryPI4 (mit externer NVME, 1TB im USB 3.0 Enclosure) per Netzwerkkabel angeschlossen. Zu erwähnen wäre noch das die RPI4 über dlan mit dem Router verbunden ist, sprich: Router im Wohnzimmer, RPI4 im Büro und dort an der Steckdose hängt ein Vodafone dlan Adapter wo die RPI4 angeschlossen ist. Der MAC steht ebenfalls im Büro und ist per Wlan mit dem Router verbunden.

Was ich gerade mache ist das ich Videodateien vom MAC über rsync an die rpi4 übertrage:

Und die Übertragungsgeschwindigkeit ist immer unter 1MB/s. Liegt das daran weil der MAC per Wlan angeschlossen ist? ODer weil die RPI4 zwar per NEtzwerkkabel verbunden ist aber eben über dlan läuft?!

Wenn ich anstatt rsync SMB nutze ...also die RPI4 externe Festplatte an meinen MAC mounte und dann vom Mac eine 123MB grosse Videodatei an die ext. HDD schicke dann dauert das ca 2min33sek.

Content-Key: 666955

Url: https://administrator.de/contentid/666955

Ausgedruckt am: 23.09.2021 um 21:09 Uhr

Mitglied: aqui
aqui 21.05.2021 aktualisiert um 09:44:40 Uhr
Goto Top
Liegt das daran weil der MAC per Wlan angeschlossen ist?
Sehr wahrscheinlich... Dein Problem ist das du für beide Strecken eine Infrastruktur mit wechselnden Bandbreiten verwendest. WLAN und auch DLAN ändern ihre Bandbreiten dynamisch je nach Leitungsqualität.
Leider hast du keinerlei Messungen gemacht WIE hoch die aktuell verwendete Bandbreite auf dem WLAN und auf dem DLAN Link ist.
Dadurch ist es doch technisch völlig unmöglich eine verlöässliche Aussage über zu erwartende Bandbreiten oder Performance zu machen. Auch das beste Forum der Welt muss da passen. Weisst du ja sicher auch selber. Uns bleibt so dann hier auch nur die freitagliche Kristallkugel.

Sinnvoll und hilfreich wäre es wenn du dir einmal ein kleines Tool wie NetIO oder iPerf3 verwendest und einmal die WLAN Strecke und die DLAN Strecke bzw. die Gesamtstrecke ausmisst was die rein netto an Datenraten liefert die unabhängig von irgendwelchen Protokollen und Hardware ist. Die beiden o.a. Tools messen die reine Hardware und was deine NICs und die Intrafstruktur physisch übertragen können. Wie das geht steht hier:
http://www.nwlab.net/art/netio/netio.html

Erst danach hast du einen verlässlichen Überblick was deine Infrastruktur bezogen auf die Paketgröße liefern kann. SMB/CIFS ist bekanntlich recht ineffizient weil es recht kleine Pakete nutzt. Billige NICs und Switchhardware hat damit mehr Probleme als Protokolle die größeres Framing nutzen.
Mit den Daten von oben hast du aber verlässliche Werte die dir überhaupt erstmal sagen ob es an der Infrastruktur oder deinen verwendeten Endkomponenten liegt. Nur so hast du doch überhaupt erstmal die Chance zielgerichtet zu suchen fürs Troubleshooting.
Vorher einmal in aller Ruhe nachdenken und strategisch vorzugehen lohnt also. Raten ist immer der schlechteste aller Wege. Simple freitagliche Binsenweisheiten... ;-) face-wink
Mitglied: maretz
maretz 21.05.2021 um 09:57:23 Uhr
Goto Top
Moin,

wie sieht denn dein komplettes Kommando aus? Denn: Es gibt bei RSYNC ja mehr als 1 Weg das zu machen:
rsync ... /wasauchimmer user@135404:/wohinauchimmer
kann ja z.B. auch gehen - dann gehts halt (je nach konfig) über SSH und der kleine RasPi muss halt die ganze Verschlüsselung mit machen... Du kannst aber ja auch z.B. vorher das Verzeichnis vom RPI bei dir lokal via NFS, SMB,... mounten und dann lokal mittels
rsync ... /wasauimmer /wohinauchimmer
kopieren...

Weiterhin würde ich überlegen ob das "z" für compression im internen Netzwerk Sinn macht... IdR. verballerst du dafür dann mehr Zeit als du durch die Kompression gewinnst...
Mitglied: Lochkartenstanzer
Lochkartenstanzer 21.05.2021 aktualisiert um 11:08:28 Uhr
Goto Top
Moin,

rsync über nfs oder smb war schon immer langsamer als rsync über rsync-Server direkt oder ssh-Tunnel. je nach örtlichen Gegebenheiten kommt man manchmal auch über nfs/smb an die gleichen Datenraten wie mit ssh, aber manchmal auch deutlich drunter.

Allerdings mußt Du auch beachten, daß die Anzeige von rsync über die aktuelle Datenrate auch mehr als ein Schätzeisen als ein verläßlicher Wert ist, weil anscheinend die Berechnung nicht sehr konsistent ist. Ich habe da auch schon festgestellt, daß wenn man es über die Zeit und Datenmenge manuell ausrechnet, man oft zu deutlich andere Werten als das Programm rsync kommt und die deutlich näher beim normalen Netzwerkzugriff ist als druch rsync angezeigt.

zur Messung selber: Wenn Du PowerLine-Adapter und WLAN dazwischen hast, kannst Du eigentlich überhaupt keine zuverlässigen Aussagen machen, weil diese beiden Medien sehr stark "wetterabhängig" sind. Da kann mann in der einen Minute Höchtwerte haben und in der nächsten Minute langsamer als RS232-Verbindungen sein. Ist zwar meist weniger dramatisch, aber ich habe da schon diverses gesehen.

Wenn Du zuverlässige Messungen machen willst, mußt Du Client und NAS an den gleichen Switch per Kabel oder gar direkt verbinden.

Danach machst Du erstmal dieMessungen mit iperf und anschließend die Messungen mit SMB-Direktkopie und rsync über smb nd rsync über ssy/rsyncd. Dann hast Du verläßlichere Meßwerte und unsere Kristallkugeln müssen nicht heißlaufen.

lks
Mitglied: winlin
winlin 21.05.2021 um 17:46:03 Uhr
Goto Top
Also habe nun folgendes gemacht.
- Nextcloudpi mit angeschlossener nvme (1TB) im usb 3.0 enclosure direkt per Netzwerkkabel am router.
- macbook direkt per Netzwerkkabel am Router angeschlossen.

Kopiere jetzt videodateien vom mac per rsync auf die nextcloud mit
Rsync -avP —ignore-existing SOURCE DESTINATION

Übertragungsrate liegt jetzt natürlich viel höher bei va 30mb/sek als anfangs mit wlan und dlan wo es 1MB/sei waren. Ist aber trotzdem nicht der throughput den ein 1gbit netzwerk bringen müsste....hat ja nix mit dem Internet download/Upload zu tun da es ja im lokalen Netz ist....
Mitglied: aqui
aqui 21.05.2021 aktualisiert um 19:25:57 Uhr
Goto Top
Limitierender Faktor kann dann ja nur noch die USB Speed der Platte sein oder das falsche Dateisystem (siehe Kollege @148121 unten):
https://www.jeffgeerling.com/blog/2020/fastest-usb-storage-options-raspb ...
Interessant wäre im Vergleich dann die Nettodaten mit NetIO oder iPerf3 was das System rein nur vom Netzwerk schafft:
https://administrator.de/tutorial/netzwerk-management-server-mit-raspber ...
Mitglied: 148121
148121 21.05.2021 aktualisiert um 18:08:52 Uhr
Goto Top
Wie immer auch erst mal nen Protokoll unabhängigen iperf3 Test fahren.
Wenn der stimmig ist würde ich auch auf die USB Platte tippen. Welches Dateisystem verwendest du auf der Platte?
NTFS wäre hier eine schlechte Wahl das ist auf einem Pi sau lahm. Formatiere die mal mit ext4 oder XFS, das sollte das Problem dann in der Regel sofort fixen.
Man siehe auch den Post dazu
https://www.raspberrypi.org/forums/viewtopic.php?t=246690

Gruß w.
Mitglied: winlin
winlin 21.05.2021 um 19:37:25 Uhr
Goto Top
Habe iperf mal als Server und Client zusammen auf einem win10laptop ausgeführt heraus kam das der bandwith bei 322Mbits/sec lag das Singsang wohl die Messungen der Festplatte.

Dann habe ich meinen win10laptop und unten mac per Netzwerkkabel direkt an den Router angeschlossen und da lag der bandwidth bei 622mbits/sec.

Jetzt mach ich das mal mit der rpi die wird 10000%ig viel schlechter abschneiden.

Naja mal sehen ob die von mir heute gemessene Datenübertragung über ethernet welche bei ca 30mb/sec lag das wiedergibt was dann bei iperf rauskommt.

Am Ende ist eben fast immer die hardware schuld:( face-sad
Mitglied: aqui
aqui 21.05.2021 aktualisiert um 19:50:40 Uhr
Goto Top
kam das der bandwith bei 322Mbits/sec lag
Bei 1Gig ist das aber sehr armselig. Das sollte deutlich mehr sein. Die billigen Realtek Chips vom Chinesen die ein Gros des Paket Handlings auf die Rechner CPU abwälzen landen ja schon um die 800 Mbit/s.
und da lag der bandwidth bei 622mbits/sec.
Das kommt dann schon an gute Werte ran....
Jetzt mach ich das mal mit der rpi die wird 10000%ig viel schlechter abschneiden.
Eher das Gegenteil sofern es ein RasPi 4 ist:
https://www.youtube.com/watch?v=HbZbG1aM6-A
Mitglied: Lochkartenstanzer
Lochkartenstanzer 21.05.2021 um 19:54:35 Uhr
Goto Top
Zitat von @aqui:

kam das der bandwith bei 322Mbits/sec lag
Bei 1Gig ist das aber sehr armselig. Das sollte deutlich mehr sein.

Naja, wenn er "lokal" mißt (Server und client auf demselben Win10-rechner, wenn ich ihn richtig verstanden habe) und das über die Netzwerkkarte läuft könnte das bei Halbduplex durchaus sein, was mit

und da lag der bandwidth bei 622mbits/sec.

konsistent wäre, weil das ungefäht das doppelte der ersteren Messung ist.

lks
Mitglied: winlin
winlin 22.05.2021 um 09:25:01 Uhr
Goto Top
Die 322mbit wurden auf einem Rechner gemessen einem hp elitebook 840. also Server und Client darauf gestartet somit verlässt es nicht den Rechner da es lokal gemessen wird.
Die 622mbit gemessen auf dem hp book als Server und macbook als Client über ethernet...naja das geht so aber dachte der schafft 900mbit bei einem gigabit Netzwerk
Mitglied: Lochkartenstanzer
Lochkartenstanzer 22.05.2021 um 09:28:28 Uhr
Goto Top
Zitat von @winlin:

Die 322mbit wurden auf einem Rechner gemessen einem hp elitebook 840. also Server und Client darauf gestartet somit verlässt es nicht den Rechner da es lokal gemessen wird.
Die 622mbit gemessen auf dem hp book als Server und macbook als Client über ethernet...naja das geht so aber dachte der schafft 900mbit bei einem gigabit Netzwerk


Da scheint dann irgendetwas mit dem Elitebook nicht zu stimmen. Boote den mal mit knoppix und schau, ob da die Werte immer noch so schlecht sind.

lks
Mitglied: winlin
winlin 22.05.2021 um 09:42:48 Uhr
Goto Top
Das mache ich! Du sag mal wenn ich iperf Client und Server auf gleichem Rechner ausführe dann wird ja die Festplatte getestet, oder??? Der Test geht ja nicht über das Ethernet
Mitglied: Lochkartenstanzer
Lochkartenstanzer 22.05.2021 aktualisiert um 09:47:23 Uhr
Goto Top
Moin,

iperf hat nichts mit der festplatte zu tun, außer daß es i.d.r. von dort in den Speicher zum Ausführen geladen wird. Der testet die Netzwerkperformance. Sieh auch https://iperf.fr/

lks
Mitglied: winlin
winlin 22.05.2021 um 10:19:56 Uhr
Goto Top
Aber das is dann schon seltsam das er lokal 322mbits gemessen hat (als Client und Server)
Und 622mbits als Server und Mac als Client
Mitglied: winlin
winlin 22.05.2021 um 10:45:01 Uhr
Goto Top
Also bei nextcloudpi is es ja so das man die usb Festplatte anschließt und von sd Karte das iso mountet später im konfiguratinsschritt kann die Platte formatiert werden ich weiß jetzt nicht auswendig in welchem Format es dies macht?!? Ich tippe aber auf fat obwohl wie du sagst ext 4 besser wäre
Mitglied: winlin
winlin 22.05.2021 um 15:49:11 Uhr
Goto Top
Also mit meiner RPI4 schaffe ich tatsächlich mit iperf3 ein Ergebnis von 948Mbit/s wenn MAC und RPI direkt per eethernet an den Router angeschlossen sind.

Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.

Ich sagte ja das ich eine 1TB NVMe Festplatte per USB an die RPI4 angeschlossen habe. Mit hdparm bekomme ich 300-315Mb/s.

Und die SD Karte bringt gerade mal 45Mb/s.
Mitglied: Lochkartenstanzer
Lochkartenstanzer 22.05.2021 um 16:03:41 Uhr
Goto Top
Zitat von @winlin:

Also mit meiner RPI4 schaffe ich tatsächlich mit iperf3 ein Ergebnis von 948Mbit/s wenn MAC und RPI direkt per eethernet an den Router angeschlossen sind.

Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.

Ich sagte ja das ich eine 1TB NVMe Festplatte per USB an die RPI4 angeschlossen habe. Mit hdparm bekomme ich 300-315Mb/s.

Und die SD Karte bringt gerade mal 45Mb/s.


Dann wirf den Mac und den HP weg und nutz den RaspI als Laptop. :-) face-smile

lks
Mitglied: 148121
148121 22.05.2021 aktualisiert um 16:15:57 Uhr
Goto Top
Zitat von @winlin:
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.

Was willst du denn?? Für ein WLAN sind das doch Netto gute Werte je nach Gegebenheiten ... Das du da bei AC WiFi Netto kein Gigabit bekommst ist doch vollkommen normal. WiFi ist nunmal kein Kabel, das weiß doch jedes Kind.

Das erinnert mich hier langsam stark an die alte Golf2 Fraktion die bei jedem VW-Treffen immer größere Frittentheken verbaut hatten um bei 30 nicht aus der Kurve zu fliegen 😁
Mitglied: Lochkartenstanzer
Lochkartenstanzer 22.05.2021 um 16:14:01 Uhr
Goto Top
Zitat von @winlin:

Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.

Dann machst Du was falsch. du mußt den Antennen-Anschluß des WLAN-Moduls im MAC mit einem "WLAN_Kabel" direkt mit dem Antennenanschluß des AP verbinden. Dann bekommst Du, passenden Modul vorausgesetzt, auch deútlich bessere Werte, u.U. sogar mehr als 1Gbps, wenn die entsprechenden WLAn-Normen unterstützt werden. :-) face-smile

lks
Heiß diskutierte Beiträge
question
Unternehmensnetzwerk aufbauenbluelightVor 1 TagFrageNetzwerke12 Kommentare

Moin zusammen, erstmal vielen Dank an der Stelle, dass mir beim letzten mal so super geholfen wurde! Aktuelle Situation: -> 5 VMs bei Netcup -> ...

question
Netzwerkdosen verbindenR3nN1979Vor 1 TagFrageInternet7 Kommentare

Hallo, Ich ziehe bald um, und benötige dabei Hilfe, wie ich Netzwerkdosen miteinander verbinden kann. Habe überhaupt keine Ahnung davon, aber mir kann jemand von ...

general
Endpoint AV für FirmenumgebungKauzigVor 1 TagAllgemeinErkennung und -Abwehr18 Kommentare

Hallo, aktuell bin ich am Suchen einer Endpoint AV für meine Firmenumgebung wichtig wäre mir ein zentrales Management sowie ggf. sogar ein Patch System. Aktuell ...

question
Ein Domänenbenutzer für alle MitarbeiterMarabuntaVor 1 TagFrageWindows Userverwaltung6 Kommentare

Hi, ist es möglich/sinnvoll bzw. wie ist es lizenztechnisch, wenn es einen Domänen-Benutzer für alle Mitarbeiter(10) gibt, diese Benutzen eine Branchensoftware in der jeder eigene ...

question
Powershell Logon Script Problematikjoe2017Vor 1 TagFrageBatch & Shell19 Kommentare

Schönen guten Morgen, ich habe eine Frage an die Spezialisten hier. Denn ich bin gerade ratlos und am verzweifeln. Ich habe in meinem Domain Controler ...

question
Hardware Empfehlung für Selbstbau Firewall mit pfSense bzw. OPNsensePete55Vor 17 StundenFrageFirewall12 Kommentare

Hallo Zusammen, an meinem Anschluss von Vodafone (Red Business Internet & Phone 500 Cable) habe ich als Firewall immer noch ein APU1D4 auf dem IPfire ...

question
Was ist die beste Lösung für servergespeicherte Profile für 10 Rechner?Yan2021Vor 19 StundenFrageNetzwerke9 Kommentare

Hallo liebe Admin-User, in einem anderen Thread ging es um die Sicherung von Dienst-PCs per Image. Daraus entstand dann eine Diskussion über servergespeicherte Profile. Da ...

question
Bewertung von Rechnern (Gewichtung von CPU, RAM und Festspeicher)SarekHLVor 1 TagFrageBenchmarks11 Kommentare

Hallo zusammen, ich habe hier eine Aufstellung verschiedener Rechner mit - Leistungsbewertung der CPU mit CPUMark (Quelle: - Größe Arbeitsspeicher - SSD oder HDD Wie ...