Rsync Tipp fuer viele Dateien
Hallo Zusammen,
ich würde gerne wissen ob der folgende rsync Command die u.g. Punkte abdeckt:
1. Rekursives übertragen aller SOURCE Daten
2. Anzeigen des Fortschritts der Übertragung
3. Komprimierung um Netzwerkübertragung zu reduzieren
4. Flag -P kombiniert ja wohl --progress und --partial
Im Punkt 4 --partial soll ja unterbrochene kopiervorgänge wiederaufnehmen. Ich hatte gerade das Problem das ich mit dem o.g. Befehl ein grosses Verzecihnis mit vielen Dateien von lokal nach Remote kopieren wollte. Irgendwann brach es ab....
Nun weiss ich nicht was ist schon übertragen worden und welche Dateien sind vielleicht korrupt??? Und dann frage ich mich wie dieses --partial funktioniert? Muss ich den o.g. Befehl neu starten?
Ich möchte nun rsync neu starten und würde gerne korrupte dateien neu rüberkopieren ... vorhandene nicht korrupte DAteien nicht nochmal übertragen. Wie kann man das checken?
Und im eigentlichen ist der o.g. Rsync Befehl ausreichend? Um einfach lokale grosse und viele Daten auf eine remote destination zu kopieren. Es muss eben sichergestellt sein das wirklich alles korrekt übertragen worden ist...und wenn mal was abbricht das ich dem rsync sage übertrage kaputte files neu, korrekt übertragene files auslassen.
ich würde gerne wissen ob der folgende rsync Command die u.g. Punkte abdeckt:
rsync -avzP --ignore-existing SOURCE DESTINATION
1. Rekursives übertragen aller SOURCE Daten
2. Anzeigen des Fortschritts der Übertragung
3. Komprimierung um Netzwerkübertragung zu reduzieren
4. Flag -P kombiniert ja wohl --progress und --partial
Im Punkt 4 --partial soll ja unterbrochene kopiervorgänge wiederaufnehmen. Ich hatte gerade das Problem das ich mit dem o.g. Befehl ein grosses Verzecihnis mit vielen Dateien von lokal nach Remote kopieren wollte. Irgendwann brach es ab....
Nun weiss ich nicht was ist schon übertragen worden und welche Dateien sind vielleicht korrupt??? Und dann frage ich mich wie dieses --partial funktioniert? Muss ich den o.g. Befehl neu starten?
Ich möchte nun rsync neu starten und würde gerne korrupte dateien neu rüberkopieren ... vorhandene nicht korrupte DAteien nicht nochmal übertragen. Wie kann man das checken?
Und im eigentlichen ist der o.g. Rsync Befehl ausreichend? Um einfach lokale grosse und viele Daten auf eine remote destination zu kopieren. Es muss eben sichergestellt sein das wirklich alles korrekt übertragen worden ist...und wenn mal was abbricht das ich dem rsync sage übertrage kaputte files neu, korrekt übertragene files auslassen.
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 666932
Url: https://administrator.de/forum/rsync-tipp-fuer-viele-dateien-666932.html
Ausgedruckt am: 07.04.2025 um 07:04 Uhr
8 Kommentare
Neuester Kommentar
Zitat von @winlin:
ich würde gerne wissen ob der folgende rsync Command die u.g. Punkte abdeckt:
ich würde gerne wissen ob der folgende rsync Command die u.g. Punkte abdeckt:
> rsync -avzP --ignore-existing SOURCE DESTINATION
>
hallo
auf den ersten blick - JA
Im Punkt 4 --partial soll ja unterbrochene kopiervorgänge wiederaufnehmen. Ich hatte gerade das Problem das ich mit dem o.g. Befehl ein grosses Verzecihnis mit vielen Dateien von lokal nach Remote kopieren wollte. Irgendwann brach es ab....
welche fehlermeldung
evt. debug level erhoehen "-d4"
Nun weiss ich nicht was ist schon übertragen worden und welche Dateien sind vielleicht korrupt??? Und dann frage ich mich wie dieses --partial funktioniert? Muss ich den o.g. Befehl neu starten?
Ich möchte nun rsync neu starten und würde gerne korrupte dateien neu rüberkopieren ... vorhandene nicht korrupte DAteien nicht nochmal übertragen. Wie kann man das checken?
Ich möchte nun rsync neu starten und würde gerne korrupte dateien neu rüberkopieren ... vorhandene nicht korrupte DAteien nicht nochmal übertragen. Wie kann man das checken?
einfach rsync nochmal starten, wenn source und destination nicht gleich sind, dann wird es nochmal kopiert.
was gleich ist, wird nicht nochmal kopiert.
Und im eigentlichen ist der o.g. Rsync Befehl ausreichend? Um einfach lokale grosse und viele Daten auf eine remote destination zu kopieren. Es muss eben sichergestellt sein das wirklich alles korrekt übertragen worden ist...und wenn mal was abbricht das ich dem rsync sage übertrage kaputte files neu, korrekt übertragene files auslassen.
JA - rsync funktioniert!
wenn es dazu noch fragen gibt, dann melde dich einfach
Zitat von @winlin:
Irgendwann kam dieser Fehler:
Irgendwann kam dieser Fehler:
> Write failed: Broken pipeMB/s 0:26:30
> rsync: writefd_unbuffered failed to write 16385 bytes [sender]: Broken pipe (32)
> rsync: connection unexpectedly closed (2866 bytes received so far) [sender]
> rsync error: unexplained error (code 255) at /SourceCache/rsync/rsync-45/rsync/io.c(453) [sender=2.6.9]
>
rsync kann nicht schreiben -
sieht nach Netzwerk / Festplatte Fehler aus,
Gibt es Netzwerk Fehler oder Festplatte Error?
( Rechte Problem? )