19
Rsync performance erhöhen
Hallo Zusammen,
welche Konfigurationsmöglichkeiten gibt es um Samba zu tunen? Ich habe eine Datenübertragungsrate von max 1Mb/sec. im lokalen Netzwerk von meinem MAC (Wlan) zur RaspberryPI4 (mit externer NVME, 1TB im USB 3.0 Enclosure) per Netzwerkkabel angeschlossen. Zu erwähnen wäre noch das die RPI4 über dlan mit dem Router verbunden ist, sprich: Router im Wohnzimmer, RPI4 im Büro und dort an der Steckdose hängt ein Vodafone dlan Adapter wo die RPI4 angeschlossen ist. Der MAC steht ebenfalls im Büro und ist per Wlan mit dem Router verbunden.
Was ich gerade mache ist das ich Videodateien vom MAC über rsync an die rpi4 übertrage:
Und die Übertragungsgeschwindigkeit ist immer unter 1MB/s. Liegt das daran weil der MAC per Wlan angeschlossen ist? ODer weil die RPI4 zwar per NEtzwerkkabel verbunden ist aber eben über dlan läuft?!
Wenn ich anstatt rsync SMB nutze ...also die RPI4 externe Festplatte an meinen MAC mounte und dann vom Mac eine 123MB grosse Videodatei an die ext. HDD schicke dann dauert das ca 2min33sek.
welche Konfigurationsmöglichkeiten gibt es um Samba zu tunen? Ich habe eine Datenübertragungsrate von max 1Mb/sec. im lokalen Netzwerk von meinem MAC (Wlan) zur RaspberryPI4 (mit externer NVME, 1TB im USB 3.0 Enclosure) per Netzwerkkabel angeschlossen. Zu erwähnen wäre noch das die RPI4 über dlan mit dem Router verbunden ist, sprich: Router im Wohnzimmer, RPI4 im Büro und dort an der Steckdose hängt ein Vodafone dlan Adapter wo die RPI4 angeschlossen ist. Der MAC steht ebenfalls im Büro und ist per Wlan mit dem Router verbunden.
Was ich gerade mache ist das ich Videodateien vom MAC über rsync an die rpi4 übertrage:
rsync -azP --ignore-existing SOURCE DESTINATIONUnd die Übertragungsgeschwindigkeit ist immer unter 1MB/s. Liegt das daran weil der MAC per Wlan angeschlossen ist? ODer weil die RPI4 zwar per NEtzwerkkabel verbunden ist aber eben über dlan läuft?!
Wenn ich anstatt rsync SMB nutze ...also die RPI4 externe Festplatte an meinen MAC mounte und dann vom Mac eine 123MB grosse Videodatei an die ext. HDD schicke dann dauert das ca 2min33sek.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 666955
Url: https://administrator.de/contentid/666955
Printed on: April 25, 2024 at 01:04 o'clock
19 Comments
Latest comment
Liegt das daran weil der MAC per Wlan angeschlossen ist?
Sehr wahrscheinlich... Dein Problem ist das du für beide Strecken eine Infrastruktur mit wechselnden Bandbreiten verwendest. WLAN und auch DLAN ändern ihre Bandbreiten dynamisch je nach Leitungsqualität.Leider hast du keinerlei Messungen gemacht WIE hoch die aktuell verwendete Bandbreite auf dem WLAN und auf dem DLAN Link ist.
Dadurch ist es doch technisch völlig unmöglich eine verlöässliche Aussage über zu erwartende Bandbreiten oder Performance zu machen. Auch das beste Forum der Welt muss da passen. Weisst du ja sicher auch selber. Uns bleibt so dann hier auch nur die freitagliche Kristallkugel.
Sinnvoll und hilfreich wäre es wenn du dir einmal ein kleines Tool wie NetIO oder iPerf3 verwendest und einmal die WLAN Strecke und die DLAN Strecke bzw. die Gesamtstrecke ausmisst was die rein netto an Datenraten liefert die unabhängig von irgendwelchen Protokollen und Hardware ist. Die beiden o.a. Tools messen die reine Hardware und was deine NICs und die Intrafstruktur physisch übertragen können. Wie das geht steht hier:
http://www.nwlab.net/art/netio/netio.html
Erst danach hast du einen verlässlichen Überblick was deine Infrastruktur bezogen auf die Paketgröße liefern kann. SMB/CIFS ist bekanntlich recht ineffizient weil es recht kleine Pakete nutzt. Billige NICs und Switchhardware hat damit mehr Probleme als Protokolle die größeres Framing nutzen.
Mit den Daten von oben hast du aber verlässliche Werte die dir überhaupt erstmal sagen ob es an der Infrastruktur oder deinen verwendeten Endkomponenten liegt. Nur so hast du doch überhaupt erstmal die Chance zielgerichtet zu suchen fürs Troubleshooting.
Vorher einmal in aller Ruhe nachdenken und strategisch vorzugehen lohnt also. Raten ist immer der schlechteste aller Wege. Simple freitagliche Binsenweisheiten...
Moin,
wie sieht denn dein komplettes Kommando aus? Denn: Es gibt bei RSYNC ja mehr als 1 Weg das zu machen:
rsync ... /wasauchimmer user@server:/wohinauchimmer
kann ja z.B. auch gehen - dann gehts halt (je nach konfig) über SSH und der kleine RasPi muss halt die ganze Verschlüsselung mit machen... Du kannst aber ja auch z.B. vorher das Verzeichnis vom RPI bei dir lokal via NFS, SMB,... mounten und dann lokal mittels
rsync ... /wasauimmer /wohinauchimmer
kopieren...
Weiterhin würde ich überlegen ob das "z" für compression im internen Netzwerk Sinn macht... IdR. verballerst du dafür dann mehr Zeit als du durch die Kompression gewinnst...
wie sieht denn dein komplettes Kommando aus? Denn: Es gibt bei RSYNC ja mehr als 1 Weg das zu machen:
rsync ... /wasauchimmer user@server:/wohinauchimmer
kann ja z.B. auch gehen - dann gehts halt (je nach konfig) über SSH und der kleine RasPi muss halt die ganze Verschlüsselung mit machen... Du kannst aber ja auch z.B. vorher das Verzeichnis vom RPI bei dir lokal via NFS, SMB,... mounten und dann lokal mittels
rsync ... /wasauimmer /wohinauchimmer
kopieren...
Weiterhin würde ich überlegen ob das "z" für compression im internen Netzwerk Sinn macht... IdR. verballerst du dafür dann mehr Zeit als du durch die Kompression gewinnst...
Moin,
rsync über nfs oder smb war schon immer langsamer als rsync über rsync-Server direkt oder ssh-Tunnel. je nach örtlichen Gegebenheiten kommt man manchmal auch über nfs/smb an die gleichen Datenraten wie mit ssh, aber manchmal auch deutlich drunter.
Allerdings mußt Du auch beachten, daß die Anzeige von rsync über die aktuelle Datenrate auch mehr als ein Schätzeisen als ein verläßlicher Wert ist, weil anscheinend die Berechnung nicht sehr konsistent ist. Ich habe da auch schon festgestellt, daß wenn man es über die Zeit und Datenmenge manuell ausrechnet, man oft zu deutlich andere Werten als das Programm rsync kommt und die deutlich näher beim normalen Netzwerkzugriff ist als druch rsync angezeigt.
zur Messung selber: Wenn Du PowerLine-Adapter und WLAN dazwischen hast, kannst Du eigentlich überhaupt keine zuverlässigen Aussagen machen, weil diese beiden Medien sehr stark "wetterabhängig" sind. Da kann mann in der einen Minute Höchtwerte haben und in der nächsten Minute langsamer als RS232-Verbindungen sein. Ist zwar meist weniger dramatisch, aber ich habe da schon diverses gesehen.
Wenn Du zuverlässige Messungen machen willst, mußt Du Client und NAS an den gleichen Switch per Kabel oder gar direkt verbinden.
Danach machst Du erstmal dieMessungen mit iperf und anschließend die Messungen mit SMB-Direktkopie und rsync über smb nd rsync über ssy/rsyncd. Dann hast Du verläßlichere Meßwerte und unsere Kristallkugeln müssen nicht heißlaufen.
lks
rsync über nfs oder smb war schon immer langsamer als rsync über rsync-Server direkt oder ssh-Tunnel. je nach örtlichen Gegebenheiten kommt man manchmal auch über nfs/smb an die gleichen Datenraten wie mit ssh, aber manchmal auch deutlich drunter.
Allerdings mußt Du auch beachten, daß die Anzeige von rsync über die aktuelle Datenrate auch mehr als ein Schätzeisen als ein verläßlicher Wert ist, weil anscheinend die Berechnung nicht sehr konsistent ist. Ich habe da auch schon festgestellt, daß wenn man es über die Zeit und Datenmenge manuell ausrechnet, man oft zu deutlich andere Werten als das Programm rsync kommt und die deutlich näher beim normalen Netzwerkzugriff ist als druch rsync angezeigt.
zur Messung selber: Wenn Du PowerLine-Adapter und WLAN dazwischen hast, kannst Du eigentlich überhaupt keine zuverlässigen Aussagen machen, weil diese beiden Medien sehr stark "wetterabhängig" sind. Da kann mann in der einen Minute Höchtwerte haben und in der nächsten Minute langsamer als RS232-Verbindungen sein. Ist zwar meist weniger dramatisch, aber ich habe da schon diverses gesehen.
Wenn Du zuverlässige Messungen machen willst, mußt Du Client und NAS an den gleichen Switch per Kabel oder gar direkt verbinden.
Danach machst Du erstmal dieMessungen mit iperf und anschließend die Messungen mit SMB-Direktkopie und rsync über smb nd rsync über ssy/rsyncd. Dann hast Du verläßlichere Meßwerte und unsere Kristallkugeln müssen nicht heißlaufen.
lks
Also habe nun folgendes gemacht.
- Nextcloudpi mit angeschlossener nvme (1TB) im usb 3.0 enclosure direkt per Netzwerkkabel am router.
- macbook direkt per Netzwerkkabel am Router angeschlossen.
Kopiere jetzt videodateien vom mac per rsync auf die nextcloud mit
Rsync -avP —ignore-existing SOURCE DESTINATION
Übertragungsrate liegt jetzt natürlich viel höher bei va 30mb/sek als anfangs mit wlan und dlan wo es 1MB/sei waren. Ist aber trotzdem nicht der throughput den ein 1gbit netzwerk bringen müsste....hat ja nix mit dem Internet download/Upload zu tun da es ja im lokalen Netz ist....
- Nextcloudpi mit angeschlossener nvme (1TB) im usb 3.0 enclosure direkt per Netzwerkkabel am router.
- macbook direkt per Netzwerkkabel am Router angeschlossen.
Kopiere jetzt videodateien vom mac per rsync auf die nextcloud mit
Rsync -avP —ignore-existing SOURCE DESTINATION
Übertragungsrate liegt jetzt natürlich viel höher bei va 30mb/sek als anfangs mit wlan und dlan wo es 1MB/sei waren. Ist aber trotzdem nicht der throughput den ein 1gbit netzwerk bringen müsste....hat ja nix mit dem Internet download/Upload zu tun da es ja im lokalen Netz ist....
Limitierender Faktor kann dann ja nur noch die USB Speed der Platte sein oder das falsche Dateisystem (siehe Kollege @148121 unten):
https://www.jeffgeerling.com/blog/2020/fastest-usb-storage-options-raspb ...
Interessant wäre im Vergleich dann die Nettodaten mit NetIO oder iPerf3 was das System rein nur vom Netzwerk schafft:
Netzwerk Management Server mit Raspberry Pi
https://www.jeffgeerling.com/blog/2020/fastest-usb-storage-options-raspb ...
Interessant wäre im Vergleich dann die Nettodaten mit NetIO oder iPerf3 was das System rein nur vom Netzwerk schafft:
Netzwerk Management Server mit Raspberry Pi
Wie immer auch erst mal nen Protokoll unabhängigen iperf3 Test fahren.
Wenn der stimmig ist würde ich auch auf die USB Platte tippen. Welches Dateisystem verwendest du auf der Platte?
NTFS wäre hier eine schlechte Wahl das ist auf einem Pi sau lahm. Formatiere die mal mit ext4 oder XFS, das sollte das Problem dann in der Regel sofort fixen.
Man siehe auch den Post dazu
https://www.raspberrypi.org/forums/viewtopic.php?t=246690
Gruß w.
Wenn der stimmig ist würde ich auch auf die USB Platte tippen. Welches Dateisystem verwendest du auf der Platte?
NTFS wäre hier eine schlechte Wahl das ist auf einem Pi sau lahm. Formatiere die mal mit ext4 oder XFS, das sollte das Problem dann in der Regel sofort fixen.
Man siehe auch den Post dazu
https://www.raspberrypi.org/forums/viewtopic.php?t=246690
Gruß w.
Habe iperf mal als Server und Client zusammen auf einem win10laptop ausgeführt heraus kam das der bandwith bei 322Mbits/sec lag das Singsang wohl die Messungen der Festplatte.
Dann habe ich meinen win10laptop und unten mac per Netzwerkkabel direkt an den Router angeschlossen und da lag der bandwidth bei 622mbits/sec.
Jetzt mach ich das mal mit der rpi die wird 10000%ig viel schlechter abschneiden.
Naja mal sehen ob die von mir heute gemessene Datenübertragung über ethernet welche bei ca 30mb/sec lag das wiedergibt was dann bei iperf rauskommt.
Am Ende ist eben fast immer die hardware schuld
Dann habe ich meinen win10laptop und unten mac per Netzwerkkabel direkt an den Router angeschlossen und da lag der bandwidth bei 622mbits/sec.
Jetzt mach ich das mal mit der rpi die wird 10000%ig viel schlechter abschneiden.
Naja mal sehen ob die von mir heute gemessene Datenübertragung über ethernet welche bei ca 30mb/sec lag das wiedergibt was dann bei iperf rauskommt.
Am Ende ist eben fast immer die hardware schuld
kam das der bandwith bei 322Mbits/sec lag
Bei 1Gig ist das aber sehr armselig. Das sollte deutlich mehr sein. Die billigen Realtek Chips vom Chinesen die ein Gros des Paket Handlings auf die Rechner CPU abwälzen landen ja schon um die 800 Mbit/s.und da lag der bandwidth bei 622mbits/sec.
Das kommt dann schon an gute Werte ran....Jetzt mach ich das mal mit der rpi die wird 10000%ig viel schlechter abschneiden.
Eher das Gegenteil sofern es ein RasPi 4 ist:https://www.youtube.com/watch?v=HbZbG1aM6-A
Zitat von @aqui:
kam das der bandwith bei 322Mbits/sec lag
Bei 1Gig ist das aber sehr armselig. Das sollte deutlich mehr sein.Naja, wenn er "lokal" mißt (Server und client auf demselben Win10-rechner, wenn ich ihn richtig verstanden habe) und das über die Netzwerkkarte läuft könnte das bei Halbduplex durchaus sein, was mit
und da lag der bandwidth bei 622mbits/sec.
konsistent wäre, weil das ungefäht das doppelte der ersteren Messung ist.
lks
Die 322mbit wurden auf einem Rechner gemessen einem hp elitebook 840. also Server und Client darauf gestartet somit verlässt es nicht den Rechner da es lokal gemessen wird.
Die 622mbit gemessen auf dem hp book als Server und macbook als Client über ethernet...naja das geht so aber dachte der schafft 900mbit bei einem gigabit Netzwerk
Die 622mbit gemessen auf dem hp book als Server und macbook als Client über ethernet...naja das geht so aber dachte der schafft 900mbit bei einem gigabit Netzwerk
Zitat von @winlin:
Die 322mbit wurden auf einem Rechner gemessen einem hp elitebook 840. also Server und Client darauf gestartet somit verlässt es nicht den Rechner da es lokal gemessen wird.
Die 622mbit gemessen auf dem hp book als Server und macbook als Client über ethernet...naja das geht so aber dachte der schafft 900mbit bei einem gigabit Netzwerk
Die 322mbit wurden auf einem Rechner gemessen einem hp elitebook 840. also Server und Client darauf gestartet somit verlässt es nicht den Rechner da es lokal gemessen wird.
Die 622mbit gemessen auf dem hp book als Server und macbook als Client über ethernet...naja das geht so aber dachte der schafft 900mbit bei einem gigabit Netzwerk
Da scheint dann irgendetwas mit dem Elitebook nicht zu stimmen. Boote den mal mit knoppix und schau, ob da die Werte immer noch so schlecht sind.
lks
Das mache ich! Du sag mal wenn ich iperf Client und Server auf gleichem Rechner ausführe dann wird ja die Festplatte getestet, oder??? Der Test geht ja nicht über das Ethernet
Moin,
iperf hat nichts mit der festplatte zu tun, außer daß es i.d.r. von dort in den Speicher zum Ausführen geladen wird. Der testet die Netzwerkperformance. Sieh auch https://iperf.fr/
lks
iperf hat nichts mit der festplatte zu tun, außer daß es i.d.r. von dort in den Speicher zum Ausführen geladen wird. Der testet die Netzwerkperformance. Sieh auch https://iperf.fr/
lks
Aber das is dann schon seltsam das er lokal 322mbits gemessen hat (als Client und Server)
Und 622mbits als Server und Mac als Client
Und 622mbits als Server und Mac als Client
Also bei nextcloudpi is es ja so das man die usb Festplatte anschließt und von sd Karte das iso mountet später im konfiguratinsschritt kann die Platte formatiert werden ich weiß jetzt nicht auswendig in welchem Format es dies macht?!? Ich tippe aber auf fat obwohl wie du sagst ext 4 besser wäre
Also mit meiner RPI4 schaffe ich tatsächlich mit iperf3 ein Ergebnis von 948Mbit/s wenn MAC und RPI direkt per eethernet an den Router angeschlossen sind.
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Ich sagte ja das ich eine 1TB NVMe Festplatte per USB an die RPI4 angeschlossen habe. Mit hdparm bekomme ich 300-315Mb/s.
Und die SD Karte bringt gerade mal 45Mb/s.
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Ich sagte ja das ich eine 1TB NVMe Festplatte per USB an die RPI4 angeschlossen habe. Mit hdparm bekomme ich 300-315Mb/s.
Und die SD Karte bringt gerade mal 45Mb/s.
Zitat von @winlin:
Also mit meiner RPI4 schaffe ich tatsächlich mit iperf3 ein Ergebnis von 948Mbit/s wenn MAC und RPI direkt per eethernet an den Router angeschlossen sind.
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Ich sagte ja das ich eine 1TB NVMe Festplatte per USB an die RPI4 angeschlossen habe. Mit hdparm bekomme ich 300-315Mb/s.
Und die SD Karte bringt gerade mal 45Mb/s.
Also mit meiner RPI4 schaffe ich tatsächlich mit iperf3 ein Ergebnis von 948Mbit/s wenn MAC und RPI direkt per eethernet an den Router angeschlossen sind.
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Ich sagte ja das ich eine 1TB NVMe Festplatte per USB an die RPI4 angeschlossen habe. Mit hdparm bekomme ich 300-315Mb/s.
Und die SD Karte bringt gerade mal 45Mb/s.
Dann wirf den Mac und den HP weg und nutz den RaspI als Laptop.
lks
Zitat von @winlin:
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Was willst du denn?? Für ein WLAN sind das doch Netto gute Werte je nach Gegebenheiten ... Das du da bei AC WiFi Netto kein Gigabit bekommst ist doch vollkommen normal. WiFi ist nunmal kein Kabel, das weiß doch jedes Kind.Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Das erinnert mich hier langsam stark an die alte Golf2 Fraktion die bei jedem VW-Treffen immer größere Frittentheken verbaut hatten um bei 30 nicht aus der Kurve zu fliegen 😁
Zitat von @winlin:
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Wenn ich den gleichen Test mache aber den MAC per WLAN anbinde dann erhalte ich 278Mbit/s - das enttäuscht mich sehr dieses sch... WLAN.
Dann machst Du was falsch. du mußt den Antennen-Anschluß des WLAN-Moduls im MAC mit einem "WLAN_Kabel" direkt mit dem Antennenanschluß des AP verbinden. Dann bekommst Du, passenden Modul vorausgesetzt, auch deútlich bessere Werte, u.U. sogar mehr als 1Gbps, wenn die entsprechenden WLAn-Normen unterstützt werden.
lks
