17
Erkennen von Fehlern in Langzeitarchiven
Hallo,
diese Frage betrifft sowohl mich privat (Fotos) als eigentlich auch Kunden.
Bleiben wir bei meinen privaten Fotos.
Die legen ich nach Datum sortiert ab.
Datenmenge ca. 120.000 Datein in 2 TB.
Also z.B. \2020\200624 Störche beim Obsthof
Darin sind dann cr2 (canon raw) oder jpeg-Dateien.
Diese habe ich auf meinen PC und sichere diese täglich mit der normalen Sicherung auf ein NAS und 2x jährlich auf externe Festplatten.
Jetzt kann durchaus vorkommen, dass ich aufgrund eines Benutzersfehlers oder Adobe aufgrund eines Programmfehlers eine Datei löscht oder beschädigt.
Die Sicherung überträgt diese neue Datei und die alte Version wird nach und nach ausgeschlichen.
Es kann ja durchaus 10 Jahre dauern bis ich genau dieses Bild (1. Geburtstag Kinder etc) mal anschauen und dabei feststellen, dass alle Bilder in diesem Ordner nicht mehr lesbar sind.
Dann habe ich eventuell kein Backup mehr was vor dem "Vorfall" liegt.
Kennt Jemand ein Programm für Windows welches solche Ordner täglich überprüft und Änderungen meldet?
Dann kann ich die Datei aus dem Backup wiederherstellen.
Danke
Stefan
diese Frage betrifft sowohl mich privat (Fotos) als eigentlich auch Kunden.
Bleiben wir bei meinen privaten Fotos.
Die legen ich nach Datum sortiert ab.
Datenmenge ca. 120.000 Datein in 2 TB.
Also z.B. \2020\200624 Störche beim Obsthof
Darin sind dann cr2 (canon raw) oder jpeg-Dateien.
Diese habe ich auf meinen PC und sichere diese täglich mit der normalen Sicherung auf ein NAS und 2x jährlich auf externe Festplatten.
Jetzt kann durchaus vorkommen, dass ich aufgrund eines Benutzersfehlers oder Adobe aufgrund eines Programmfehlers eine Datei löscht oder beschädigt.
Die Sicherung überträgt diese neue Datei und die alte Version wird nach und nach ausgeschlichen.
Es kann ja durchaus 10 Jahre dauern bis ich genau dieses Bild (1. Geburtstag Kinder etc) mal anschauen und dabei feststellen, dass alle Bilder in diesem Ordner nicht mehr lesbar sind.
Dann habe ich eventuell kein Backup mehr was vor dem "Vorfall" liegt.
Kennt Jemand ein Programm für Windows welches solche Ordner täglich überprüft und Änderungen meldet?
Dann kann ich die Datei aus dem Backup wiederherstellen.
Danke
Stefan
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 611867
Url: https://administrator.de/contentid/611867
Printed on: April 19, 2024 at 15:04 o'clock
17 Comments
Latest comment
Wie hier schon mehrmals gesagt wurde, ein Backup ist kein Archiv - meist andersrum, aber zählt auch so. Du brauchst ein Archiv...
Aber was für eine Software kann ich als Privatperson bei 2 TB Fotos und Videos verwenden?
Es muss ja kein rechtssicheres Archiv sein, aber die gleichen Funktionen.
Ich könnte im Netzwerk einen Nextcloud-Server aufsetzen z.B.
Aber so richtig optimal klingt das auch nicht.
Es muss ja kein rechtssicheres Archiv sein, aber die gleichen Funktionen.
Ich könnte im Netzwerk einen Nextcloud-Server aufsetzen z.B.
Aber so richtig optimal klingt das auch nicht.
Moin,
Ein richtiges Archiv wäre ja ein WORM-Medium!?
Wenn man auf LTO ginge (gut, etwas teuer...), reicht ja die LTO7-Geberation dicke für 2TB...
Ggf. Geht ja auch RDX als WORM, habe dazu aber bisweilen noch nie etwas recherchiert.
Gruß
em-pie
Ein richtiges Archiv wäre ja ein WORM-Medium!?
Wenn man auf LTO ginge (gut, etwas teuer...), reicht ja die LTO7-Geberation dicke für 2TB...
Ggf. Geht ja auch RDX als WORM, habe dazu aber bisweilen noch nie etwas recherchiert.
Gruß
em-pie
Das ist kein Archiv in dem Sinne, kann ich dir sagen, weil ich einmal mit dem Gedanken gespielt habe.
@em-pie: Korrekt, ein WORM Medium wäre ein Beispiel. Aber auch hier gilt es auf die Redundanz zu achten. Umsonst wirst du aber nicht zum Ziel kommen. Nicht alles ist digital besser geworden, wenn ich die Uralten Bilder von damals (tm) anschaue.
@em-pie: Korrekt, ein WORM Medium wäre ein Beispiel. Aber auch hier gilt es auf die Redundanz zu achten. Umsonst wirst du aber nicht zum Ziel kommen. Nicht alles ist digital besser geworden, wenn ich die Uralten Bilder von damals (tm) anschaue.
Hallo,
das Medium ist auf dieser Ebene erst einmal egal.
Denn diese WORM Medien müsste ich auch regelmäßig prüfen.
Und auch hier gilt: wie kann ich Fehler in einzelnen Dateien erkennen?
Ich bräuchte also eine Liste mit Hash-Werten für jede Datei und eine Software die das abgleicht.
Mit genau so einer Software könnte ich auch meine Festplatte gegen eine Liste vergleichen.
Stefan
das Medium ist auf dieser Ebene erst einmal egal.
Denn diese WORM Medien müsste ich auch regelmäßig prüfen.
Und auch hier gilt: wie kann ich Fehler in einzelnen Dateien erkennen?
Ich bräuchte also eine Liste mit Hash-Werten für jede Datei und eine Software die das abgleicht.
Mit genau so einer Software könnte ich auch meine Festplatte gegen eine Liste vergleichen.
Stefan
Ich habe MO-WORMs schon vor ca. 15 Jahren eingesetzt als die noch bei 1,3 GB lagen.
Ich verwende aktuell M-Disc-R als.
Aber wie prüfen ob die OK sind und wie prüfen ob meine primär-Dateien beschädigt sind?
Problem: Meine Original-Datei auf dem PC ist defekt.
Ich öffne die nie und stelle das nicht fest.
Das Medium ist irgendwan mal defekt.
Kein Problem, ich habe ja das Original.
Oh, das Original ist auch defekt... doof
Stefan
Ich verwende aktuell M-Disc-R als.
Aber wie prüfen ob die OK sind und wie prüfen ob meine primär-Dateien beschädigt sind?
Problem: Meine Original-Datei auf dem PC ist defekt.
Ich öffne die nie und stelle das nicht fest.
Das Medium ist irgendwan mal defekt.
Kein Problem, ich habe ja das Original.
Oh, das Original ist auch defekt... doof
Stefan
Den Abgleich kann ja ein PS-Script durchführen. Du musst halt „nur“ beim ersten archivieren den Hashwert irgendwo speichern.
Am besten eine Datei/ Datenbank auf einem separierten Medium, welche pro Datenpfad den Hashwert speichert.
Das Script prüft dann zyklisch, ob die Datei noch den Hashwert entspricht...
Von der Umsetzung her trivial. Von der Performance: das könnte u.U. ein wenig dauern
Am besten eine Datei/ Datenbank auf einem separierten Medium, welche pro Datenpfad den Hashwert speichert.
Das Script prüft dann zyklisch, ob die Datei noch den Hashwert entspricht...
Von der Umsetzung her trivial. Von der Performance: das könnte u.U. ein wenig dauern
Ach das meinst du, ich denke dass die WORM Medien grundsätzlich eine längere Haltbarkeit haben, wie oben erwähnt, Redundanz ist nie schlecht. Prüfung dürfte aber im Prinzip trivial sein, nach dem schreiben kannst du dir Hashwerte ablegen lassen auf die du A und B prüfst.
Das ist aber eine einfache Operation.
Das ist aber eine einfache Operation.
Ja, ich kann so eine Software schreiben.
Die Frage ist ja ob es dafür etwas fertiges gibt.
Die Frage ist ja ob es dafür etwas fertiges gibt.
wäre mir ad hoc (insb. für deinen Zweck) nichts bekannt. Bei Backupsoftware weiss ich dunkel, dass die von Zeit zu Zeit integritätsprüfungen machen (sollten). Veeam macht das afaik ad hoc.
Klingt irgendwie wie eine Marktlücke für die es kein Angebot gibt....
könnte auch erst noch aufkommen...und am ende landet der ganze schmodder sowieso bei Facebook... 
Es dürfte vor Allem ein Problem sein den Nutzern das zu erklären.
"Ich habe doch eine HDD/SSD mit Smart und eine Datensicherung auf eine USB-Festplatte. Was soll da bitte schiefgehen?"
"Ich habe doch eine HDD/SSD mit Smart und eine Datensicherung auf eine USB-Festplatte. Was soll da bitte schiefgehen?"
Hallo in die Runde,
ich lese seit Jahren immer wieder mal mit und freue mich über die guten Ideen und Lösungen, die ich hier finde.
Heute kann ich einmal etwas zurückgeben:
Für diese Zwecke nutze ich eine Kombination aus Multipar und RHash (bin fast überwiegend auf Windows unterwegs).
Multipar ist ein Windows-GUI-Tool, das über ganze Verzeichnisstrukturen hinweg Checksummen erzeugt und vergleicht (es wird eine PAR2-Datei erzeugt, ein Doppelklick startet dann die Verifikation), aber vor allem auch redundante Wiederherstellungsinformationen ablegt, so dass beschädigte Dateien bis zu einem gewissen Grad wiederhergestellt werden können. Das benötigt zwar deutlich mehr Speicherplatz, wende ich aber bei Dateien der wichtigsten Kategorie an, bspw. bei unwiederbringlichen Fotos. MultiPar ist Open Source, birgt aber, wie immer bei Langzeitaufbewahrung, die Gefahr, dass nach vielen Jahren das Programm nicht mehr lauffähig ist.
Die normale Absicherung von Langzeitdaten erledige ich über Hash-Funktionen. Für die Kommandozeile und die Verifikation benutze ich rhash. Es wird ständig weiterentwickelt, ist Open Source, unterstützt verschiedenste Hash-Algorithmen und kann gut automatisiert eingesetzt werden:
Erzeugt eine files.sfv im übergeordneten Verzeichnis, in der SHA3-512 Hashes von allen Dateien des aktuellen Verzeichnisses und sämtlicher Unterverzeichnisse erzeugt werden.
rhash kann auch nur bestimmte Dateierweiterungen hashen oder bestimmte Dateierweiterungen vom hashing ausschließen.
Diese Prozedur starte ich vor der Langzeitarchivierung (wenn alle Daten i.O. sind). Anschließend wird kopiert. Direkt danach erfolgt die Verifizierung. Bei allen späteren Kopierläufen erfolgt vorher ein verify an der Quelle, ob noch alles in Ordnung ist.
Verifikation:
--skip-ok sorgt dafür, dass nur fehlerhafte Zeilen erscheinen. Das Ergebnis wird hier angezeigt, kann aber natürlich einfach mit > in eine Datei umgeleitet werden.
Der Output mit 2 defekten bzw. modifizierten Dateien und 1 gelöschten Datei sieht bspw. so aus:
Läuft alles glatt, sieht es so aus:
Ein Update-Lauf:
fügt Hashes für alle Dateien hinzu, die neu hinzugekommen sind.
Über das Ergebnis lässt sich also schnell auch auf der Kommandozeile abgleichen, ob ein Problem besteht (Errors oder Miss). Dann ist bei mir sowieso händisches Eingreifen erforderlich, um zu schauen, wo das Problem liegt.
MultiPar lasse ich zur Verifikation in großen Abständen laufen (weil es dann ggf. auch Fehler beheben kann).
Nebenbei: da ich seit Ewigkeiten (kommend von DOS mit Norton Commander) ein Fan des Total Commanders bin, erzeugte ich mitunter die Hashdateien auch über die entsprechende Funktion "Erzeuge Quersummen" im Total Commander. Diese kann von rhash zur Verifikation eingelesen und verarbeitet werden.
Gruß
captainfly
ich lese seit Jahren immer wieder mal mit und freue mich über die guten Ideen und Lösungen, die ich hier finde.
Heute kann ich einmal etwas zurückgeben:
Für diese Zwecke nutze ich eine Kombination aus Multipar und RHash (bin fast überwiegend auf Windows unterwegs).
Multipar ist ein Windows-GUI-Tool, das über ganze Verzeichnisstrukturen hinweg Checksummen erzeugt und vergleicht (es wird eine PAR2-Datei erzeugt, ein Doppelklick startet dann die Verifikation), aber vor allem auch redundante Wiederherstellungsinformationen ablegt, so dass beschädigte Dateien bis zu einem gewissen Grad wiederhergestellt werden können. Das benötigt zwar deutlich mehr Speicherplatz, wende ich aber bei Dateien der wichtigsten Kategorie an, bspw. bei unwiederbringlichen Fotos. MultiPar ist Open Source, birgt aber, wie immer bei Langzeitaufbewahrung, die Gefahr, dass nach vielen Jahren das Programm nicht mehr lauffähig ist.
Die normale Absicherung von Langzeitdaten erledige ich über Hash-Funktionen. Für die Kommandozeile und die Verifikation benutze ich rhash. Es wird ständig weiterentwickelt, ist Open Source, unterstützt verschiedenste Hash-Algorithmen und kann gut automatisiert eingesetzt werden:
rhash.exe --sha3-512 -r -P * >..\files.sfvErzeugt eine files.sfv im übergeordneten Verzeichnis, in der SHA3-512 Hashes von allen Dateien des aktuellen Verzeichnisses und sämtlicher Unterverzeichnisse erzeugt werden.
rhash kann auch nur bestimmte Dateierweiterungen hashen oder bestimmte Dateierweiterungen vom hashing ausschließen.
Diese Prozedur starte ich vor der Langzeitarchivierung (wenn alle Daten i.O. sind). Anschließend wird kopiert. Direkt danach erfolgt die Verifizierung. Bei allen späteren Kopierläufen erfolgt vorher ein verify an der Quelle, ob noch alles in Ordnung ist.
Verifikation:
rhash --skip-ok -cr ..\files.sfv--skip-ok sorgt dafür, dass nur fehlerhafte Zeilen erscheinen. Das Ergebnis wird hier angezeigt, kann aber natürlich einfach mit > in eine Datei umgeleitet werden.
Der Output mit 2 defekten bzw. modifizierten Dateien und 1 gelöschten Datei sieht bspw. so aus:
--( Verifying files.sfv )-------------------------------------------------------
xxxx.txt ERR
xxxx.zip ERR
xxxx.pdf No such file or directory
--------------------------------------------------------------------------------
Errors Occurred: Errors:2 Miss:1 Success:360 Total:364Läuft alles glatt, sieht es so aus:
--( Verifying ..\files.sfv )----------------------------------------------------
--------------------------------------------------------------------------------
Everything OKEin Update-Lauf:
rhash.exe --sha3-512 -r --update=..\files.sfv -P *fügt Hashes für alle Dateien hinzu, die neu hinzugekommen sind.
Über das Ergebnis lässt sich also schnell auch auf der Kommandozeile abgleichen, ob ein Problem besteht (Errors oder Miss). Dann ist bei mir sowieso händisches Eingreifen erforderlich, um zu schauen, wo das Problem liegt.
MultiPar lasse ich zur Verifikation in großen Abständen laufen (weil es dann ggf. auch Fehler beheben kann).
Nebenbei: da ich seit Ewigkeiten (kommend von DOS mit Norton Commander) ein Fan des Total Commanders bin, erzeugte ich mitunter die Hashdateien auch über die entsprechende Funktion "Erzeuge Quersummen" im Total Commander. Diese kann von rhash zur Verifikation eingelesen und verarbeitet werden.
Gruß
captainfly
1
Hallo captainfly,
Dein Ansatz klingt interessant und schlüssig, dürfte aber oftmals ein Problem mit der notwendigen Disziplin und konsequenten Umsetzung bekommen.
Was mich noch konkret interessieren würde:
seit wann praktizierst Du diese Absicherung und wie oft hat die Hash-Prüfung angeschlagen? Bezogen auf welche Datenmenge?
Gruss
George
Dein Ansatz klingt interessant und schlüssig, dürfte aber oftmals ein Problem mit der notwendigen Disziplin und konsequenten Umsetzung bekommen.
Was mich noch konkret interessieren würde:
seit wann praktizierst Du diese Absicherung und wie oft hat die Hash-Prüfung angeschlagen? Bezogen auf welche Datenmenge?
Gruss
George
Zitat von @george44:
Dein Ansatz klingt interessant und schlüssig, dürfte aber oftmals ein Problem mit der notwendigen Disziplin und konsequenten Umsetzung bekommen.
Es müsste eine Software sein die regelmäßig bestimmte Verzeichnisse überprüft und bei Änderungen eine Meldung anzeigen.Dein Ansatz klingt interessant und schlüssig, dürfte aber oftmals ein Problem mit der notwendigen Disziplin und konsequenten Umsetzung bekommen.
Oder ein Datei-Langzeitarchiv. Quasi Mailstore für Dateien.
seit wann praktizierst Du diese Absicherung und wie oft hat die Hash-Prüfung angeschlagen? Bezogen auf welche Datenmenge?
Die Frage war zwar nicht an mich gerichtet, aber ich antworte mal aus meiner Sicht 
Bezogen Fotos:
Beim Umzug auf einen neuen PC hat Lightroom gemeckert, dass er die Fotos in einem Verzeichnis (aus 2001) nicht lesen konnte.
In meinem ältesten Backup waren die auch schon beschädigt. Es waren 14 Fotos betroffen. Diese waren zum Glück nicht so wichtig.
Darüber hinaus habe ich bestimmt schon 30-50 mal eine Datei geöffnet wo ein Block fehlte.
Du hast 5 Editor-Fenster auf, denkst Du bist in Fenster A, tippst, kommt nix, Fenster neu angeklickt.
Das 1. Tippen war leider in einem ganz anderem Fenster und hat da etwas überschrieben.
