andre-xs
Goto Top

Zwei sehr grosse Festplatten synchronisieren

article-picture
Hallo Allerseits,
ich habe 2 grosse externe Festplatten (jeweils 8 TB).

Eine der Festplatten dient als Auslagerung und Backup-Ziel für meinen Laptop, nennen wir sie mal "Backup1". Diese Festplatte wird nur gelegentlich (~einmal pro Woche) an den Laptop angeschlossen, z.B. wenn ich ein Backup mache, neue Dateien auslagern möchte, u.ä.

Die zweite Festplatte dient als Backup von "Backup1" (nennen wir sie "Backup2"), und soll an einem von "Backup1" getrennten Ort aufbewahrt werden. D.h., alle paar Wochen nehme ich "Backup2" und schliesse sie gemeinsam mit "Backup1" an den Laptop an.

Jetzt sollen alle Änderungen von Backup1 auf Backup2 synchronisiert werden, d.h. neue Dateien von Backup1 auf Backup2 kopiert werden, und Dateien die auf Backup1 gelöscht wurden sollen auf Backup2 gelöscht werden. (Backup2 kann nicht wirklich alte Versionen von Backup1 vorhalten, die Datenmengen sind zu gross und Backup 2 wäre im Nu voll - insofern muss auch gelöscht werden).

Das Problem ist die Datenmenge: Die Festplatten sind gut gefüllt, ca 6.5 TByte, und z.T. mit hundert-tausenden (ev sogar Millionen?) von Dateien (es sind z.T. Messdaten, wo jede Datei nur ein paar kB gross ist). Alle normalen Synchronisationsprogramme machen da einfach die Grätsche, stürzen ab, verheddern sich und brauchen ewig lange (>24h), etc.

Das Ganze soll unter Windows10 laufen. Ich habe ein klein wenig Erfahrung mit Batch/Programmieren allgemein, so dass ich z.B. vorhandene Scripte nach Anleitung etwas anpassen könnte - aber nicht von Null auf programmieren könnte.

Nur zur Anmerkung: Dies ist nicht die einzige Backupstrategie. Ganz wichtige Daten (z.B. die Roh-Messdaten) sind nochmal extra gesichert (z.T. auf DVDs), und meine Alltags-Daten (Dokumente etc, sind viel weniger Daten) ebenfalls.

Herzlichen Dank schonmal!

Viele Grüsse,
Andre

Content-ID: 1243832478

Url: https://administrator.de/contentid/1243832478

Ausgedruckt am: 24.11.2024 um 22:11 Uhr

departure69
departure69 09.09.2021 um 16:49:59 Uhr
Goto Top
@andre-xs:

Hallo.

Alle normalen Synchronisationsprogramme machen da einfach die Grätsche ...


Hhmmm, kommt sicher auch darauf an, was Du mit "normalen" meinst.

Eigentlich wäre Robocopy, falls gewünscht auch mit GUI, der passende Kandidat dafür.


Viele Grüße

von

departure69
Lochkartenstanzer
Lochkartenstanzer 09.09.2021 um 16:50:53 Uhr
Goto Top
Moin,

Sowohl robocopy als auch rsync machen das eigentlich zuverlässig und relativ schnell.

lks
ukulele-7
ukulele-7 09.09.2021 um 17:22:11 Uhr
Goto Top
Ich hätte etwas Angst das Windows in einem Wahn mal die Partitionen aller angeschlossenen USB Datenträger killt (aber gut, dann hast du ja noch die Original Daten etc.). Es gibt auch kleine Geräte zum Platte klonen die das auf Knopfdruck machen, habe ich aber noch nicht besessen und kosten natürlich was. Ansonsten robocopy.
andre-xs
andre-xs 09.09.2021 um 17:32:21 Uhr
Goto Top
Vielen Dank für die Tips.

Mit 'normal' meinte ich eher so kommerzielle Programme wie Syncredible, Goodsync, etc (keine Ahnung welche das genau waren, hatte mal 2 oder 3 ausprobiert).

Ich schaue mir robocopy und rsync beide mal an, was ist denn leichter zu erlernen? GUI wäre für den Alltag auch nicht sooo schlecht...

Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).
andre-xs
andre-xs 09.09.2021 um 17:33:56 Uhr
Goto Top
Ach ja, ich habe ein Gerät zum Platten klonen, da kommen aber nur "Roh-Platten" rein, also keine externen USB Platten.

Da kriege ich immer die Krise, dass ich es evtl. falsch herum anschliesse und die (veraltete) Backup2 auf die neue Backup1 draufgeschrieben wird anstatt andersrum face-smile
ipzipzap
Lösung ipzipzap 09.09.2021 aktualisiert um 18:16:44 Uhr
Goto Top
Hi,

nehmen wir mal an, Deine Platte "Backup1" ist E: und "Backup2" ist F:, dann

robocopy "E:\ " "F:\ " /mir /r:0 /w:0 /np /dst /fft  

ich schreibe mir die Bildschirmausgabe immer in eine Log-Datei, da eventuelle Fehler zu schnell vorbeirauschen, also dann in etwa so:

robocopy "E:\ " "F:\ " /mir /r:0 /w:0 /log:"C:\robocopy.log" /np /dst /fft  

Achtung: Die Leerzeichen hinter E:\ und F:\ sind wichtig, sonst funktioniert das nicht.

Robocopy ist bei Windows 10 dabei, kannst Du also einfach so auf der Kommandozeile ausführen.

cu,
ipzipzap

Edit: Der Parameter /mir steht für "Mirror" und spiegelt E:\ auf F:\ und löscht somit auch Daten auf F:\, wenn die auf E:\ nicht mehr vorhanden sind bzw. gelöscht wurden. Also genau, was Du willst.

Für einen Sync mit 7 TB und über 250.000 Dateien braucht Robocopy bei mir ca. 2,5 Minuten, wenn keine Änderungen da sind. Der Erst-Sync dauert natürlich etwas.
Lochkartenstanzer
Lösung Lochkartenstanzer 09.09.2021 aktualisiert um 18:43:55 Uhr
Goto Top
Zitat von @andre-xs:

Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).

Das kommt drauf an, wie Du sicherst und welche Parameter Du angibst.

ich sichere z.B. meinen mailserver mit rsync und erzeuge jeden Tag ein neues Verzeichis mit hardlinks, in das ich dann mit rsync wider alles reinsynchronisiere in etwas so:

cp -avl /srv/backup-verzeichnis/gestern   /srv/backup-verzeichnis/heute  2>&1 >logdatei-heute
rsync -avSH --delete /mounts/mailserver/.  /srv/backup-verzeichnis/heute/.  2>&1 >>logdatei-heute

Dabei ist "gestern" und "heute" natürlich durch entsprechendes Datum ersetzt. Bei mir ändern sich da täglich ca. 1-2GB von ca. 100GB die in kurzer zeit übers Netzwerk gesichert werden.

Da kann ich dann viele Monate tägliche Backups aufheben.

Bei USB-Platten ist wesentlich, daß man die an einem USB3-Anschluß hängen hat und die auch tatsächlich mehr als 100MB/s schaffen. Ansonsten vertrödelt man bei 8TB Tage mit dem langsamen USB2-Bus.

lks
andre-xs
andre-xs 09.09.2021 um 18:42:04 Uhr
Goto Top
Super, vielen Dank!

Das schaue ich mir dann mal an. Das sieht "einfach genug" aus, so dass ich mir das von hier aus dann selbst erarbeiten kann (und z.B. in der Hilfe nachschaue, was die Optionen/Parameter genau bedeuten und machen).

Ja, es sind USB3-Platten die an USB3-Ports hängen. Allerdings bricht bei unendlich vielen winzigen Dateien die Übertragungsrate auch bei USB3 ganz schön ein (natürlich immer noch mehr als bei USB2). Für's erste Rüberkopieren plane ich durchaus 1-2 Tage ein, was ja ok ist, da es ja nur ein einmal-Job ist...
maretz
maretz 09.09.2021 um 20:00:54 Uhr
Goto Top
Moin,

ich würde mir da aber mal Gedanken um dein Konzept machen. Was passiert denn wenn du heute $WichtigeDatei1.doc löscht - z.B. deine Doktor-Arbeit mit 800 Seiten (und nich wie in der Politik üblich nur zusammenkopiert ;) ). Du machst ein Backup auf Backup1... und weil du grad dran denkst - auch von Backup1 auf Backup2... Morgen willst du weiterschreiben und huch - die Datei is weg... blöd...

Ich würde daher immer abwechselnd auf die Platten schreiben... Ungrade wochen z.B. auf Backup 1, Grade auf Backup2. Schon hast du zumindest immer 3 Versionen deiner Daten: Die auf dem Rechner, die vom letzten und die vom vorletztem Backup. Selbst wenn also Backup1 abraucht UND du auch gleichzeitig das Laptop weggehauen hast - ok, dann hast du halt ne 1 Woche alte Sicherung... und von deinen 800 Seiten brauchst du ggf. nur 50 nochmal schreiben ;)
andre-xs
andre-xs 09.09.2021 aktualisiert um 21:17:49 Uhr
Goto Top
Danke für den Kommentar. Solche Sachen sind nochmal extra gesichert, OneDrive und eine Art versioniertes Backup auf ein Netzlaufwerk (mit dem simplen Programm "Abakt", sehr angenehm und leicht durchschaubar face-smile ).

Die beiden grossen HDDs sind für Daten anderer Natur. Daten an die ich eher selten mal ranmuss, sie aber trotzdem im Zugriff haben möchte. Es sind auch alles Daten die entweder nicht so wichtig sind oder von denen es noch eine 3. Kopie gibt (z.B. im Büro auf DVD). Kein tägliches Backup des "Dokumente"-Ordners oder so.

Eine der Festplatten ist zu Hause, die andere auf der Arbeit. So habe ich an beiden Orten Zugriff auf die Daten. Änderungen am Datenbestand sind eher seltener, und dann nehme ich halt mal ein der HDDs mit nach Hause/auf die Arbeit zum Abgleichen. Und genau um dieses Abgleichen geht es mir hier, das ist bislang noch ein bissl umständlich manuell und daher leicht fehleranfällig, oder ich vergesse was, oder so...
andre-xs
andre-xs 09.09.2021 um 21:16:28 Uhr
Goto Top
Nachtrag: Mir ist in der Tat schonmal der Laptop geklaut worden. Dank OneDrive und Backup Null Datenverlust...
HenryBln
HenryBln 10.09.2021 um 19:09:38 Uhr
Goto Top
schau dir freefilesync an damit synchronisere ich alles!