12
Zwei sehr grosse Festplatten synchronisieren
Hallo Allerseits,
ich habe 2 grosse externe Festplatten (jeweils 8 TB).
Eine der Festplatten dient als Auslagerung und Backup-Ziel für meinen Laptop, nennen wir sie mal "Backup1". Diese Festplatte wird nur gelegentlich (~einmal pro Woche) an den Laptop angeschlossen, z.B. wenn ich ein Backup mache, neue Dateien auslagern möchte, u.ä.
Die zweite Festplatte dient als Backup von "Backup1" (nennen wir sie "Backup2"), und soll an einem von "Backup1" getrennten Ort aufbewahrt werden. D.h., alle paar Wochen nehme ich "Backup2" und schliesse sie gemeinsam mit "Backup1" an den Laptop an.
Jetzt sollen alle Änderungen von Backup1 auf Backup2 synchronisiert werden, d.h. neue Dateien von Backup1 auf Backup2 kopiert werden, und Dateien die auf Backup1 gelöscht wurden sollen auf Backup2 gelöscht werden. (Backup2 kann nicht wirklich alte Versionen von Backup1 vorhalten, die Datenmengen sind zu gross und Backup 2 wäre im Nu voll - insofern muss auch gelöscht werden).
Das Problem ist die Datenmenge: Die Festplatten sind gut gefüllt, ca 6.5 TByte, und z.T. mit hundert-tausenden (ev sogar Millionen?) von Dateien (es sind z.T. Messdaten, wo jede Datei nur ein paar kB gross ist). Alle normalen Synchronisationsprogramme machen da einfach die Grätsche, stürzen ab, verheddern sich und brauchen ewig lange (>24h), etc.
Das Ganze soll unter Windows10 laufen. Ich habe ein klein wenig Erfahrung mit Batch/Programmieren allgemein, so dass ich z.B. vorhandene Scripte nach Anleitung etwas anpassen könnte - aber nicht von Null auf programmieren könnte.
Nur zur Anmerkung: Dies ist nicht die einzige Backupstrategie. Ganz wichtige Daten (z.B. die Roh-Messdaten) sind nochmal extra gesichert (z.T. auf DVDs), und meine Alltags-Daten (Dokumente etc, sind viel weniger Daten) ebenfalls.
Herzlichen Dank schonmal!
Viele Grüsse,
Andre
ich habe 2 grosse externe Festplatten (jeweils 8 TB).
Eine der Festplatten dient als Auslagerung und Backup-Ziel für meinen Laptop, nennen wir sie mal "Backup1". Diese Festplatte wird nur gelegentlich (~einmal pro Woche) an den Laptop angeschlossen, z.B. wenn ich ein Backup mache, neue Dateien auslagern möchte, u.ä.
Die zweite Festplatte dient als Backup von "Backup1" (nennen wir sie "Backup2"), und soll an einem von "Backup1" getrennten Ort aufbewahrt werden. D.h., alle paar Wochen nehme ich "Backup2" und schliesse sie gemeinsam mit "Backup1" an den Laptop an.
Jetzt sollen alle Änderungen von Backup1 auf Backup2 synchronisiert werden, d.h. neue Dateien von Backup1 auf Backup2 kopiert werden, und Dateien die auf Backup1 gelöscht wurden sollen auf Backup2 gelöscht werden. (Backup2 kann nicht wirklich alte Versionen von Backup1 vorhalten, die Datenmengen sind zu gross und Backup 2 wäre im Nu voll - insofern muss auch gelöscht werden).
Das Problem ist die Datenmenge: Die Festplatten sind gut gefüllt, ca 6.5 TByte, und z.T. mit hundert-tausenden (ev sogar Millionen?) von Dateien (es sind z.T. Messdaten, wo jede Datei nur ein paar kB gross ist). Alle normalen Synchronisationsprogramme machen da einfach die Grätsche, stürzen ab, verheddern sich und brauchen ewig lange (>24h), etc.
Das Ganze soll unter Windows10 laufen. Ich habe ein klein wenig Erfahrung mit Batch/Programmieren allgemein, so dass ich z.B. vorhandene Scripte nach Anleitung etwas anpassen könnte - aber nicht von Null auf programmieren könnte.
Nur zur Anmerkung: Dies ist nicht die einzige Backupstrategie. Ganz wichtige Daten (z.B. die Roh-Messdaten) sind nochmal extra gesichert (z.T. auf DVDs), und meine Alltags-Daten (Dokumente etc, sind viel weniger Daten) ebenfalls.
Herzlichen Dank schonmal!
Viele Grüsse,
Andre
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 1243832478
Url: https://administrator.de/contentid/1243832478
Printed on: April 18, 2024 at 19:04 o'clock
12 Comments
Latest comment
@andre-xs:
Hallo.
Hhmmm, kommt sicher auch darauf an, was Du mit "normalen" meinst.
Eigentlich wäre Robocopy, falls gewünscht auch mit GUI, der passende Kandidat dafür.
Viele Grüße
von
departure69
Hallo.
Alle normalen Synchronisationsprogramme machen da einfach die Grätsche ...
Hhmmm, kommt sicher auch darauf an, was Du mit "normalen" meinst.
Eigentlich wäre Robocopy, falls gewünscht auch mit GUI, der passende Kandidat dafür.
Viele Grüße
von
departure69
Moin,
Sowohl robocopy als auch rsync machen das eigentlich zuverlässig und relativ schnell.
lks
Sowohl robocopy als auch rsync machen das eigentlich zuverlässig und relativ schnell.
lks
Ich hätte etwas Angst das Windows in einem Wahn mal die Partitionen aller angeschlossenen USB Datenträger killt (aber gut, dann hast du ja noch die Original Daten etc.). Es gibt auch kleine Geräte zum Platte klonen die das auf Knopfdruck machen, habe ich aber noch nicht besessen und kosten natürlich was. Ansonsten robocopy.
Vielen Dank für die Tips.
Mit 'normal' meinte ich eher so kommerzielle Programme wie Syncredible, Goodsync, etc (keine Ahnung welche das genau waren, hatte mal 2 oder 3 ausprobiert).
Ich schaue mir robocopy und rsync beide mal an, was ist denn leichter zu erlernen? GUI wäre für den Alltag auch nicht sooo schlecht...
Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).
Mit 'normal' meinte ich eher so kommerzielle Programme wie Syncredible, Goodsync, etc (keine Ahnung welche das genau waren, hatte mal 2 oder 3 ausprobiert).
Ich schaue mir robocopy und rsync beide mal an, was ist denn leichter zu erlernen? GUI wäre für den Alltag auch nicht sooo schlecht...
Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).
Ach ja, ich habe ein Gerät zum Platten klonen, da kommen aber nur "Roh-Platten" rein, also keine externen USB Platten.
Da kriege ich immer die Krise, dass ich es evtl. falsch herum anschliesse und die (veraltete) Backup2 auf die neue Backup1 draufgeschrieben wird anstatt andersrum
Da kriege ich immer die Krise, dass ich es evtl. falsch herum anschliesse und die (veraltete) Backup2 auf die neue Backup1 draufgeschrieben wird anstatt andersrum
Hi,
nehmen wir mal an, Deine Platte "Backup1" ist E: und "Backup2" ist F:, dann
ich schreibe mir die Bildschirmausgabe immer in eine Log-Datei, da eventuelle Fehler zu schnell vorbeirauschen, also dann in etwa so:
Achtung: Die Leerzeichen hinter E:\ und F:\ sind wichtig, sonst funktioniert das nicht.
Robocopy ist bei Windows 10 dabei, kannst Du also einfach so auf der Kommandozeile ausführen.
cu,
ipzipzap
Edit: Der Parameter /mir steht für "Mirror" und spiegelt E:\ auf F:\ und löscht somit auch Daten auf F:\, wenn die auf E:\ nicht mehr vorhanden sind bzw. gelöscht wurden. Also genau, was Du willst.
Für einen Sync mit 7 TB und über 250.000 Dateien braucht Robocopy bei mir ca. 2,5 Minuten, wenn keine Änderungen da sind. Der Erst-Sync dauert natürlich etwas.
nehmen wir mal an, Deine Platte "Backup1" ist E: und "Backup2" ist F:, dann
robocopy "E:\ " "F:\ " /mir /r:0 /w:0 /np /dst /fft ich schreibe mir die Bildschirmausgabe immer in eine Log-Datei, da eventuelle Fehler zu schnell vorbeirauschen, also dann in etwa so:
robocopy "E:\ " "F:\ " /mir /r:0 /w:0 /log:"C:\robocopy.log" /np /dst /fft Achtung: Die Leerzeichen hinter E:\ und F:\ sind wichtig, sonst funktioniert das nicht.
Robocopy ist bei Windows 10 dabei, kannst Du also einfach so auf der Kommandozeile ausführen.
cu,
ipzipzap
Edit: Der Parameter /mir steht für "Mirror" und spiegelt E:\ auf F:\ und löscht somit auch Daten auf F:\, wenn die auf E:\ nicht mehr vorhanden sind bzw. gelöscht wurden. Also genau, was Du willst.
Für einen Sync mit 7 TB und über 250.000 Dateien braucht Robocopy bei mir ca. 2,5 Minuten, wenn keine Änderungen da sind. Der Erst-Sync dauert natürlich etwas.
3Zitat von @andre-xs:
Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).
Und wenn ich mich eh schon in eins einarbeiten muss, kann eins davon auch "Backups" machen? Ganz dunkel in der Erinnerung meine ich, dass rsync (oder was anderes?) in einem Unterverzeichnis mit Datum nur die neuen Daten reinschreibt (man aber das Gefühl hat, es ist eine komplette Kopie, weil der Rest nur links auf die erste Vollkopie sind).
Das kommt drauf an, wie Du sicherst und welche Parameter Du angibst.
ich sichere z.B. meinen mailserver mit rsync und erzeuge jeden Tag ein neues Verzeichis mit hardlinks, in das ich dann mit rsync wider alles reinsynchronisiere in etwas so:
cp -avl /srv/backup-verzeichnis/gestern /srv/backup-verzeichnis/heute 2>&1 >logdatei-heute
rsync -avSH --delete /mounts/mailserver/. /srv/backup-verzeichnis/heute/. 2>&1 >>logdatei-heute
Dabei ist "gestern" und "heute" natürlich durch entsprechendes Datum ersetzt. Bei mir ändern sich da täglich ca. 1-2GB von ca. 100GB die in kurzer zeit übers Netzwerk gesichert werden.
Da kann ich dann viele Monate tägliche Backups aufheben.
Bei USB-Platten ist wesentlich, daß man die an einem USB3-Anschluß hängen hat und die auch tatsächlich mehr als 100MB/s schaffen. Ansonsten vertrödelt man bei 8TB Tage mit dem langsamen USB2-Bus.
lks
Super, vielen Dank!
Das schaue ich mir dann mal an. Das sieht "einfach genug" aus, so dass ich mir das von hier aus dann selbst erarbeiten kann (und z.B. in der Hilfe nachschaue, was die Optionen/Parameter genau bedeuten und machen).
Ja, es sind USB3-Platten die an USB3-Ports hängen. Allerdings bricht bei unendlich vielen winzigen Dateien die Übertragungsrate auch bei USB3 ganz schön ein (natürlich immer noch mehr als bei USB2). Für's erste Rüberkopieren plane ich durchaus 1-2 Tage ein, was ja ok ist, da es ja nur ein einmal-Job ist...
Das schaue ich mir dann mal an. Das sieht "einfach genug" aus, so dass ich mir das von hier aus dann selbst erarbeiten kann (und z.B. in der Hilfe nachschaue, was die Optionen/Parameter genau bedeuten und machen).
Ja, es sind USB3-Platten die an USB3-Ports hängen. Allerdings bricht bei unendlich vielen winzigen Dateien die Übertragungsrate auch bei USB3 ganz schön ein (natürlich immer noch mehr als bei USB2). Für's erste Rüberkopieren plane ich durchaus 1-2 Tage ein, was ja ok ist, da es ja nur ein einmal-Job ist...
Moin,
ich würde mir da aber mal Gedanken um dein Konzept machen. Was passiert denn wenn du heute $WichtigeDatei1.doc löscht - z.B. deine Doktor-Arbeit mit 800 Seiten (und nich wie in der Politik üblich nur zusammenkopiert ;) ). Du machst ein Backup auf Backup1... und weil du grad dran denkst - auch von Backup1 auf Backup2... Morgen willst du weiterschreiben und huch - die Datei is weg... blöd...
Ich würde daher immer abwechselnd auf die Platten schreiben... Ungrade wochen z.B. auf Backup 1, Grade auf Backup2. Schon hast du zumindest immer 3 Versionen deiner Daten: Die auf dem Rechner, die vom letzten und die vom vorletztem Backup. Selbst wenn also Backup1 abraucht UND du auch gleichzeitig das Laptop weggehauen hast - ok, dann hast du halt ne 1 Woche alte Sicherung... und von deinen 800 Seiten brauchst du ggf. nur 50 nochmal schreiben ;)
ich würde mir da aber mal Gedanken um dein Konzept machen. Was passiert denn wenn du heute $WichtigeDatei1.doc löscht - z.B. deine Doktor-Arbeit mit 800 Seiten (und nich wie in der Politik üblich nur zusammenkopiert ;) ). Du machst ein Backup auf Backup1... und weil du grad dran denkst - auch von Backup1 auf Backup2... Morgen willst du weiterschreiben und huch - die Datei is weg... blöd...
Ich würde daher immer abwechselnd auf die Platten schreiben... Ungrade wochen z.B. auf Backup 1, Grade auf Backup2. Schon hast du zumindest immer 3 Versionen deiner Daten: Die auf dem Rechner, die vom letzten und die vom vorletztem Backup. Selbst wenn also Backup1 abraucht UND du auch gleichzeitig das Laptop weggehauen hast - ok, dann hast du halt ne 1 Woche alte Sicherung... und von deinen 800 Seiten brauchst du ggf. nur 50 nochmal schreiben ;)
Danke für den Kommentar. Solche Sachen sind nochmal extra gesichert, OneDrive und eine Art versioniertes Backup auf ein Netzlaufwerk (mit dem simplen Programm "Abakt", sehr angenehm und leicht durchschaubar ).
Die beiden grossen HDDs sind für Daten anderer Natur. Daten an die ich eher selten mal ranmuss, sie aber trotzdem im Zugriff haben möchte. Es sind auch alles Daten die entweder nicht so wichtig sind oder von denen es noch eine 3. Kopie gibt (z.B. im Büro auf DVD). Kein tägliches Backup des "Dokumente"-Ordners oder so.
Eine der Festplatten ist zu Hause, die andere auf der Arbeit. So habe ich an beiden Orten Zugriff auf die Daten. Änderungen am Datenbestand sind eher seltener, und dann nehme ich halt mal ein der HDDs mit nach Hause/auf die Arbeit zum Abgleichen. Und genau um dieses Abgleichen geht es mir hier, das ist bislang noch ein bissl umständlich manuell und daher leicht fehleranfällig, oder ich vergesse was, oder so...
).Die beiden grossen HDDs sind für Daten anderer Natur. Daten an die ich eher selten mal ranmuss, sie aber trotzdem im Zugriff haben möchte. Es sind auch alles Daten die entweder nicht so wichtig sind oder von denen es noch eine 3. Kopie gibt (z.B. im Büro auf DVD). Kein tägliches Backup des "Dokumente"-Ordners oder so.
Eine der Festplatten ist zu Hause, die andere auf der Arbeit. So habe ich an beiden Orten Zugriff auf die Daten. Änderungen am Datenbestand sind eher seltener, und dann nehme ich halt mal ein der HDDs mit nach Hause/auf die Arbeit zum Abgleichen. Und genau um dieses Abgleichen geht es mir hier, das ist bislang noch ein bissl umständlich manuell und daher leicht fehleranfällig, oder ich vergesse was, oder so...
Nachtrag: Mir ist in der Tat schonmal der Laptop geklaut worden. Dank OneDrive und Backup Null Datenverlust...
schau dir freefilesync an damit synchronisere ich alles!
