winlin
Goto Top

Rsync Tipp fuer viele Dateien

Hallo Zusammen,

ich würde gerne wissen ob der folgende rsync Command die u.g. Punkte abdeckt:
rsync -avzP --ignore-existing SOURCE DESTINATION

1. Rekursives übertragen aller SOURCE Daten
2. Anzeigen des Fortschritts der Übertragung
3. Komprimierung um Netzwerkübertragung zu reduzieren
4. Flag -P kombiniert ja wohl --progress und --partial

Im Punkt 4 --partial soll ja unterbrochene kopiervorgänge wiederaufnehmen. Ich hatte gerade das Problem das ich mit dem o.g. Befehl ein grosses Verzecihnis mit vielen Dateien von lokal nach Remote kopieren wollte. Irgendwann brach es ab....

Nun weiss ich nicht was ist schon übertragen worden und welche Dateien sind vielleicht korrupt??? Und dann frage ich mich wie dieses --partial funktioniert? Muss ich den o.g. Befehl neu starten?

Ich möchte nun rsync neu starten und würde gerne korrupte dateien neu rüberkopieren ... vorhandene nicht korrupte DAteien nicht nochmal übertragen. Wie kann man das checken?

Und im eigentlichen ist der o.g. Rsync Befehl ausreichend? Um einfach lokale grosse und viele Daten auf eine remote destination zu kopieren. Es muss eben sichergestellt sein das wirklich alles korrekt übertragen worden ist...und wenn mal was abbricht das ich dem rsync sage übertrage kaputte files neu, korrekt übertragene files auslassen.

Content-ID: 666932

Url: https://administrator.de/forum/rsync-tipp-fuer-viele-dateien-666932.html

Ausgedruckt am: 07.04.2025 um 07:04 Uhr

tagol01
tagol01 20.05.2021 um 14:16:04 Uhr
Goto Top
Zitat von @winlin:
ich würde gerne wissen ob der folgende rsync Command die u.g. Punkte abdeckt:
> rsync -avzP --ignore-existing SOURCE DESTINATION
> 

hallo

auf den ersten blick - JA

Im Punkt 4 --partial soll ja unterbrochene kopiervorgänge wiederaufnehmen. Ich hatte gerade das Problem das ich mit dem o.g. Befehl ein grosses Verzecihnis mit vielen Dateien von lokal nach Remote kopieren wollte. Irgendwann brach es ab....


welche fehlermeldung
evt. debug level erhoehen "-d4"

Nun weiss ich nicht was ist schon übertragen worden und welche Dateien sind vielleicht korrupt??? Und dann frage ich mich wie dieses --partial funktioniert? Muss ich den o.g. Befehl neu starten?
Ich möchte nun rsync neu starten und würde gerne korrupte dateien neu rüberkopieren ... vorhandene nicht korrupte DAteien nicht nochmal übertragen. Wie kann man das checken?

einfach rsync nochmal starten, wenn source und destination nicht gleich sind, dann wird es nochmal kopiert.
was gleich ist, wird nicht nochmal kopiert.


Und im eigentlichen ist der o.g. Rsync Befehl ausreichend? Um einfach lokale grosse und viele Daten auf eine remote destination zu kopieren. Es muss eben sichergestellt sein das wirklich alles korrekt übertragen worden ist...und wenn mal was abbricht das ich dem rsync sage übertrage kaputte files neu, korrekt übertragene files auslassen.

JA - rsync funktioniert!

wenn es dazu noch fragen gibt, dann melde dich einfach
winlin
winlin 20.05.2021 um 14:34:36 Uhr
Goto Top
Also zuerst habe ich das ausgeführt:
rsync -azP SOURCE DESTINATION

Irgendwann kam dieser Fehler:
Write failed: Broken pipeMB/s 0:26:30
rsync: writefd_unbuffered failed to write 16385 bytes [sender]: Broken pipe (32)
rsync: connection unexpectedly closed (2866 bytes received so far) [sender]
rsync error: unexplained error (code 255) at /SourceCache/rsync/rsync-45/rsync/io.c(453) [sender=2.6.9]

Danach habe ich den Befehl ausgeführt und der läuft aktuell noch:
rsync -azP --ignore-existing SOURCE DESTINATION
tagol01
tagol01 20.05.2021 um 15:32:58 Uhr
Goto Top
Zitat von @winlin:
Irgendwann kam dieser Fehler:
> Write failed: Broken pipeMB/s 0:26:30
> rsync: writefd_unbuffered failed to write 16385 bytes [sender]: Broken pipe (32)
> rsync: connection unexpectedly closed (2866 bytes received so far) [sender]
> rsync error: unexplained error (code 255) at /SourceCache/rsync/rsync-45/rsync/io.c(453) [sender=2.6.9]
> 

rsync kann nicht schreiben -
sieht nach Netzwerk / Festplatte Fehler aus,

Gibt es Netzwerk Fehler oder Festplatte Error?
( Rechte Problem? )
winlin
winlin 20.05.2021 um 23:06:09 Uhr
Goto Top
Fehler gibt es keine is ne neue Festplatte aber evtl Netzwerk??? Hmmm weiß halt nicht wie ich das troubleshooten soll
maretz
maretz 21.05.2021 um 07:48:20 Uhr
Goto Top
Wie soll dir hier jemand helfen - es kann ja alles mögliche sein... Du kannst auf dem Zielserver ja auch nen qouta haben was sagt du darfst einfach nich mehr speichern,... Das ganze ohne die ganze Umgebung zu kennen is nen reines raten was es sein könnte...
winlin
winlin 21.05.2021 um 08:18:19 Uhr
Goto Top
Ich werde einfach im ausschlussverfahen versuchen das Problem zu finden was anderes bleibt mir nicht übrig. Evtl finde ich im Internet Hinweise auf die o.g. Fehlermeldung
maretz
Lösung maretz 21.05.2021 um 08:30:52 Uhr
Goto Top
Broken Pipe meint halt das die Verbindung unterbrochen wurde... dies kann ein Timeout sein, der Server wurde neu gestartet oder der Server hat aktiv die Verbindung gekillt... Hier müsstest du also auf dem Server gucken was da los war...
winlin
winlin 21.05.2021 um 08:44:26 Uhr
Goto Top
Server war ganze Zeit up. Ich gehe davon aus das das Netzwerk hier das Problem war, werde mal die logs erneut checken.
Danke!