Zwei sehr grosse Festplatten synchronisieren
Hallo Allerseits,
ich habe 2 grosse externe Festplatten (jeweils 8 TB).
Eine der Festplatten dient als Auslagerung und Backup-Ziel für meinen Laptop, nennen wir sie mal "Backup1". Diese Festplatte wird nur gelegentlich (~einmal pro Woche) an den Laptop angeschlossen, z.B. wenn ich ein Backup mache, neue Dateien auslagern möchte, u.ä.
Die zweite Festplatte dient als Backup von "Backup1" (nennen wir sie "Backup2"), und soll an einem von "Backup1" getrennten Ort aufbewahrt werden. D.h., alle paar Wochen nehme ich "Backup2" und schliesse sie gemeinsam mit "Backup1" an den Laptop an.
Jetzt sollen alle Änderungen von Backup1 auf Backup2 synchronisiert werden, d.h. neue Dateien von Backup1 auf Backup2 kopiert werden, und Dateien die auf Backup1 gelöscht wurden sollen auf Backup2 gelöscht werden. (Backup2 kann nicht wirklich alte Versionen von Backup1 vorhalten, die Datenmengen sind zu gross und Backup 2 wäre im Nu voll - insofern muss auch gelöscht werden).
Das Problem ist die Datenmenge: Die Festplatten sind gut gefüllt, ca 6.5 TByte, und z.T. mit hundert-tausenden (ev sogar Millionen?) von Dateien (es sind z.T. Messdaten, wo jede Datei nur ein paar kB gross ist). Alle normalen Synchronisationsprogramme machen da einfach die Grätsche, stürzen ab, verheddern sich und brauchen ewig lange (>24h), etc.
Das Ganze soll unter Windows10 laufen. Ich habe ein klein wenig Erfahrung mit Batch/Programmieren allgemein, so dass ich z.B. vorhandene Scripte nach Anleitung etwas anpassen könnte - aber nicht von Null auf programmieren könnte.
Nur zur Anmerkung: Dies ist nicht die einzige Backupstrategie. Ganz wichtige Daten (z.B. die Roh-Messdaten) sind nochmal extra gesichert (z.T. auf DVDs), und meine Alltags-Daten (Dokumente etc, sind viel weniger Daten) ebenfalls.
Herzlichen Dank schonmal!
Viele Grüsse,
Andre
ich habe 2 grosse externe Festplatten (jeweils 8 TB).
Eine der Festplatten dient als Auslagerung und Backup-Ziel für meinen Laptop, nennen wir sie mal "Backup1". Diese Festplatte wird nur gelegentlich (~einmal pro Woche) an den Laptop angeschlossen, z.B. wenn ich ein Backup mache, neue Dateien auslagern möchte, u.ä.
Die zweite Festplatte dient als Backup von "Backup1" (nennen wir sie "Backup2"), und soll an einem von "Backup1" getrennten Ort aufbewahrt werden. D.h., alle paar Wochen nehme ich "Backup2" und schliesse sie gemeinsam mit "Backup1" an den Laptop an.
Jetzt sollen alle Änderungen von Backup1 auf Backup2 synchronisiert werden, d.h. neue Dateien von Backup1 auf Backup2 kopiert werden, und Dateien die auf Backup1 gelöscht wurden sollen auf Backup2 gelöscht werden. (Backup2 kann nicht wirklich alte Versionen von Backup1 vorhalten, die Datenmengen sind zu gross und Backup 2 wäre im Nu voll - insofern muss auch gelöscht werden).
Das Problem ist die Datenmenge: Die Festplatten sind gut gefüllt, ca 6.5 TByte, und z.T. mit hundert-tausenden (ev sogar Millionen?) von Dateien (es sind z.T. Messdaten, wo jede Datei nur ein paar kB gross ist). Alle normalen Synchronisationsprogramme machen da einfach die Grätsche, stürzen ab, verheddern sich und brauchen ewig lange (>24h), etc.
Das Ganze soll unter Windows10 laufen. Ich habe ein klein wenig Erfahrung mit Batch/Programmieren allgemein, so dass ich z.B. vorhandene Scripte nach Anleitung etwas anpassen könnte - aber nicht von Null auf programmieren könnte.
Nur zur Anmerkung: Dies ist nicht die einzige Backupstrategie. Ganz wichtige Daten (z.B. die Roh-Messdaten) sind nochmal extra gesichert (z.T. auf DVDs), und meine Alltags-Daten (Dokumente etc, sind viel weniger Daten) ebenfalls.
Herzlichen Dank schonmal!
Viele Grüsse,
Andre
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 1243832478
Url: https://administrator.de/contentid/1243832478
Ausgedruckt am: 14.11.2024 um 17:11 Uhr
12 Kommentare
Neuester Kommentar
@andre-xs:
Hallo.
Hhmmm, kommt sicher auch darauf an, was Du mit "normalen" meinst.
Eigentlich wäre Robocopy, falls gewünscht auch mit GUI, der passende Kandidat dafür.
Viele Grüße
von
departure69
Hallo.
Alle normalen Synchronisationsprogramme machen da einfach die Grätsche ...
Hhmmm, kommt sicher auch darauf an, was Du mit "normalen" meinst.
Eigentlich wäre Robocopy, falls gewünscht auch mit GUI, der passende Kandidat dafür.
Viele Grüße
von
departure69
Ich hätte etwas Angst das Windows in einem Wahn mal die Partitionen aller angeschlossenen USB Datenträger killt (aber gut, dann hast du ja noch die Original Daten etc.). Es gibt auch kleine Geräte zum Platte klonen die das auf Knopfdruck machen, habe ich aber noch nicht besessen und kosten natürlich was. Ansonsten robocopy.
Hi,
nehmen wir mal an, Deine Platte "Backup1" ist E: und "Backup2" ist F:, dann
ich schreibe mir die Bildschirmausgabe immer in eine Log-Datei, da eventuelle Fehler zu schnell vorbeirauschen, also dann in etwa so:
Achtung: Die Leerzeichen hinter E:\ und F:\ sind wichtig, sonst funktioniert das nicht.
Robocopy ist bei Windows 10 dabei, kannst Du also einfach so auf der Kommandozeile ausführen.
cu,
ipzipzap
Edit: Der Parameter /mir steht für "Mirror" und spiegelt E:\ auf F:\ und löscht somit auch Daten auf F:\, wenn die auf E:\ nicht mehr vorhanden sind bzw. gelöscht wurden. Also genau, was Du willst.
Für einen Sync mit 7 TB und über 250.000 Dateien braucht Robocopy bei mir ca. 2,5 Minuten, wenn keine Änderungen da sind. Der Erst-Sync dauert natürlich etwas.
nehmen wir mal an, Deine Platte "Backup1" ist E: und "Backup2" ist F:, dann
robocopy "E:\ " "F:\ " /mir /r:0 /w:0 /np /dst /fft
ich schreibe mir die Bildschirmausgabe immer in eine Log-Datei, da eventuelle Fehler zu schnell vorbeirauschen, also dann in etwa so:
robocopy "E:\ " "F:\ " /mir /r:0 /w:0 /log:"C:\robocopy.log" /np /dst /fft
Achtung: Die Leerzeichen hinter E:\ und F:\ sind wichtig, sonst funktioniert das nicht.
Robocopy ist bei Windows 10 dabei, kannst Du also einfach so auf der Kommandozeile ausführen.
cu,
ipzipzap
Edit: Der Parameter /mir steht für "Mirror" und spiegelt E:\ auf F:\ und löscht somit auch Daten auf F:\, wenn die auf E:\ nicht mehr vorhanden sind bzw. gelöscht wurden. Also genau, was Du willst.
Für einen Sync mit 7 TB und über 250.000 Dateien braucht Robocopy bei mir ca. 2,5 Minuten, wenn keine Änderungen da sind. Der Erst-Sync dauert natürlich etwas.
Zitat von @andre-xs:
Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).
Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).
Das kommt drauf an, wie Du sicherst und welche Parameter Du angibst.
ich sichere z.B. meinen mailserver mit rsync und erzeuge jeden Tag ein neues Verzeichis mit hardlinks, in das ich dann mit rsync wider alles reinsynchronisiere in etwas so:
cp -avl /srv/backup-verzeichnis/gestern /srv/backup-verzeichnis/heute 2>&1 >logdatei-heute
rsync -avSH --delete /mounts/mailserver/. /srv/backup-verzeichnis/heute/. 2>&1 >>logdatei-heute
Dabei ist "gestern" und "heute" natürlich durch entsprechendes Datum ersetzt. Bei mir ändern sich da täglich ca. 1-2GB von ca. 100GB die in kurzer zeit übers Netzwerk gesichert werden.
Da kann ich dann viele Monate tägliche Backups aufheben.
Bei USB-Platten ist wesentlich, daß man die an einem USB3-Anschluß hängen hat und die auch tatsächlich mehr als 100MB/s schaffen. Ansonsten vertrödelt man bei 8TB Tage mit dem langsamen USB2-Bus.
lks
Moin,
ich würde mir da aber mal Gedanken um dein Konzept machen. Was passiert denn wenn du heute $WichtigeDatei1.doc löscht - z.B. deine Doktor-Arbeit mit 800 Seiten (und nich wie in der Politik üblich nur zusammenkopiert ;) ). Du machst ein Backup auf Backup1... und weil du grad dran denkst - auch von Backup1 auf Backup2... Morgen willst du weiterschreiben und huch - die Datei is weg... blöd...
Ich würde daher immer abwechselnd auf die Platten schreiben... Ungrade wochen z.B. auf Backup 1, Grade auf Backup2. Schon hast du zumindest immer 3 Versionen deiner Daten: Die auf dem Rechner, die vom letzten und die vom vorletztem Backup. Selbst wenn also Backup1 abraucht UND du auch gleichzeitig das Laptop weggehauen hast - ok, dann hast du halt ne 1 Woche alte Sicherung... und von deinen 800 Seiten brauchst du ggf. nur 50 nochmal schreiben ;)
ich würde mir da aber mal Gedanken um dein Konzept machen. Was passiert denn wenn du heute $WichtigeDatei1.doc löscht - z.B. deine Doktor-Arbeit mit 800 Seiten (und nich wie in der Politik üblich nur zusammenkopiert ;) ). Du machst ein Backup auf Backup1... und weil du grad dran denkst - auch von Backup1 auf Backup2... Morgen willst du weiterschreiben und huch - die Datei is weg... blöd...
Ich würde daher immer abwechselnd auf die Platten schreiben... Ungrade wochen z.B. auf Backup 1, Grade auf Backup2. Schon hast du zumindest immer 3 Versionen deiner Daten: Die auf dem Rechner, die vom letzten und die vom vorletztem Backup. Selbst wenn also Backup1 abraucht UND du auch gleichzeitig das Laptop weggehauen hast - ok, dann hast du halt ne 1 Woche alte Sicherung... und von deinen 800 Seiten brauchst du ggf. nur 50 nochmal schreiben ;)