kreuzberger

LTFS und Restore

Ok, es ist nicht Freitag. Aber trotzdem hallo Digitalfreunde,

da ist ein LTO5 Bandstreamer (SAS) und ein oller PC mit Hostbusadapter (SAS) und es sollen einige Kisten voll mit LTO5 Bändern zurückgeschrieben werden auf Festplatten. Das klappt auch soweit.

So schlecht: Es scheint, dass bei meiner Weise zurück zu kopieren mit robocopy das Band oft kilometerweit her und hin gespult wird und dann erst die nächste Datei kopiert wird.

Gibt es da einen Weg, die Daten vom Band einfach in der Reihenfolge wie sie auf den Band sind auszulesen?

Kreuzberger
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilen

Content-ID: 673589

Url: https://administrator.de/forum/ltfs-lto5-bandstreamer-backup-673589.html

Ausgedruckt am: 28.06.2025 um 17:06 Uhr

Penny.Cilin
Penny.Cilin 28.06.2025 um 11:51:10 Uhr
Goto Top
Mal 'ne blöde Frage: Wie wurden die Daten auf die Bänder geschrieben?
Und das Verhalten von robocopy entspricht dem verhalten, daß keine Collocation für die Daten gemacht wurde.

Bei vernünftigen Datensicherungsprogrammen macht man das. Um genau diesen Vor- und Rückspuleffekt zu vermeiden. Und somit einen linearen Datenstrom auf Bänder zu schreiben.

Gruss Penny.
kreuzberger
kreuzberger 28.06.2025 um 12:05:15 Uhr
Goto Top
Hallo @Penny.Cilin

Danke

Es ist leider nicht bekannt wie die Daten auf die Bänder geschrieben wurden. Man weiß nicht einmal was da drauf ist, was die komplette Rücksicherung auch erforderlich macht. Man hat an Ort und stelle auch kein LTO5 mehr. Darum sind die Kisten mit dem Bändern nun bei mir.

wie gesagt: Die Daten liegen per LTFS vor. Da war also in dem sinne kein wirkliches Datensicherungsprogramm am start, sondern nur ein banale draufkopieren wie auch ein Laufwerk.

Kreuzberger
Penny.Cilin
Penny.Cilin 28.06.2025 um 12:18:08 Uhr
Goto Top
Es gibt verschiedene Versionen von LTFS, siehe Wikiepediaartikel.

Mir ist keine Möglichkeit bekannt, diesen Vor- und Rückspuleffekt zu verhindern. Möglicherweise sind die Daten auf dem Band fragmentiert, wodurch auch das Vor- und Rückspulen kommt.

Gruss Penny.
kreuzberger
kreuzberger 28.06.2025 um 12:36:35 Uhr
Goto Top
@Penny.Cilin

Ich dachte immer LTFS ist LTFS ist LTFS, also der eigentliche Sinn der Sache ist eben die allumfassende Kompatibilität. Immerhin weiss bei diesen Bändern kein Mensch mehr, wie die Daten auf die Bänder kamen.

Ich hatte befürchtet, dass die Bänder ggf. fragmentiert sind, weil Daten mitten drin gelöscht, und andere Daten dann nachträglich drauf kopiert wurden.

So dauert das Rückkopieren dann eben sehr viel länger. Schade.

Ich habe hier ein HP-LTO5 (HP StorageWorks Ultrium 3280 SAS) und die HP LTFS Software auf Windows Server 2022. Das Funktioniert so weit.
Leider kann man auch so gar nicht vorher sehen, wie viele Daten auf den Bändern sind, bzw. wie viel Platz noch drauf leer ist.
Leider kann man auch nicht einsehen, ob der LTO nun nur spult, oder auch Daten liesst, und wenn ja wie flott das geht. Ich kann es nur anhand von robocopy sehen, dass er gerade die eine oder andere Datei liesst.

Erfreulich bei der Sache: Man braucht keine völlig überteuerte Backupsoftware um Daten auf ein LTO zu schreiben. Es geht mit jedem Kopierprogramm.

Kreuzberger
Penny.Cilin
Penny.Cilin 28.06.2025 um 13:06:21 Uhr
Goto Top
Ich dachte immer LTFS ist LTFS ist LTFS, also der eigentliche Sinn der Sache ist eben die allumfassende Kompatibilität. Immerhin weiss bei diesen Bändern kein Mensch mehr, wie die Daten auf die Bänder kamen.
Wie sich die Spezifikationen unterscheiden weiß ich jetzt nicht. Habe mich auch nie mit LTFS beschäftigt.
Und das ist das Dilemma, Es Werden Bänder erstellt, aber nirgends dokumentiert wann, wie und mit was.
Mir reicht's wenn ich die alten Legato Networker Bänder migriert habe. Hier habe ich gottweidank noch die Software und die alte Quantum Library.
Ich restore von Legato auf extra SAN Storage. Von dort aus mache ich dann das Backup mit IBM Spectrum Protect (ehemals Tivoli Storage Manager). Es wird genau dokumentiert, was auf den Bändern gesichert wurde. Wie lange diese gesperrt sind. Und dann werden noch Kopien für die Lagerung in den Tresoren erstellt.
Die Bänder werden dann aus der Library entnommen und im Schrank im RZ aufbewahrt.

Ich hatte befürchtet, dass die Bänder ggf. fragmentiert sind, weil Daten mitten drin gelöscht, und andere Daten dann nachträglich drauf kopiert wurden.
Simpel gesagt, ist das nur eine lineare Form eines Datenträgers (HDD SSD). Wenn man dann mittendrin Dateien löscht, wird der Platz nicht sofort aufgefüllt.

Gruss Penny.
kreuzberger
kreuzberger 28.06.2025 um 13:17:38 Uhr
Goto Top
@Penny.Cilin

Vom Prinzip her ist mir ja LTFS klar, und eine pfiffige Sache wenn man Kompatibilität hat und Laufwerke hat / einlagert, mit denen man das wieder auslesen kann. Das war hier eben nicht der fall, es war kein Laufwerk mehr da weil man längst auf neuere LTOx gewechselt war, die LTO5 Bänder mit Archiv und LTFS vergessen hatte.
Tja, das ist eben das Problem dabei immer wieder: Man archiviert etwas, vergisst aber die Technik bereit zu halten, wie man notfalls das Archiv zurück holen kann.

Wie ich das hier beobachte kommt dann noch dazu, dass da jede menge gepackte Archiv-Dateien dabei sind, wo ich / kein mensch weiss mit welcher Software die gepackten Archive entstanden.

TOLL!

Kreuzberger
cykes
cykes 28.06.2025 aktualisiert um 13:33:36 Uhr
Goto Top
Moin,

das sind eben die Nachteile einer LTFS "Sicherung", mal eben eine handvoll Dateien aus der Sicherung von gestern zurückspielen - kein Problem, aber eine komplette Rücksicherung von überwiegend relativ kleinen Dateien dauert ewig.

Für letzteren Zweck ist doch eher eine richtige Backup-Software geeignet oder man schaltet bspw. eine Imagesoftware vor und sichert das Image auf LTFS.

Dann könnte man auch jeweils die Installationsdatei der verwendeten Software auf das LTFS Medium mit draufpacken, falls dann mal so ein Fall, wie er jetzt auf Deinem Tisch liegt, eintritt.

Im übrigen mach is es inzwischen so, dass ich auf das Bandlabel verwendete Software inkl. Version draufschreibe. Aber das ist nur mein persönlicher Spleen face-wink Habe aber auch viel Software (nur) getestet für Bandbackups, deswegen ist das auch für mich hilfreich...

Gruß

cykes

[EDIT]
Wie ich das hier beobachte kommt dann noch dazu, dass da jede menge gepackte Archiv-Dateien dabei sind, wo ich / kein mensch weiss mit welcher Software die gepackten Archive entstanden.
Wie lauten denn die Dateiendungen dieser Archivdateien? Darüber müsste sich doch herausfinden lassen, mit welcher Software die erstellt worden sind. Ansonsten mal auf eine Datei 7zip loslassen, das kann recht viele Formate entpacken.
kreuzberger
kreuzberger 28.06.2025 um 13:26:19 Uhr
Goto Top
@cykes

Danke

Aber was nützt mir "nur" die Installationsdatei für eine Software, wenn diese auf aktuellen Systemen nicht mehr installierbar ist?

Archive haben den Sinn, lange Daten einzulagern. Aber wie lange dauert es, dass die betreffende Sicherungssoftware noch Kompatibel verfügbar ist?

Muss man am ende doch einen alten 386er im Keller aufbewahren, damit man mit Windows 3 und irgendwas altem die Daten zurückholen kann?

Darum war mir ja die Idee mit LTFS durchaus Sympathisch. Aber man sollte ein darauf verzichten, zusätzliche Hürden einzubauen und die Daten wie auch immer zu verschlüsseln und zu Packen.

Kreuzberger
cykes
cykes 28.06.2025 um 13:35:03 Uhr
Goto Top
... hat sich jetzt etwas überschnitten, aber ich hatte zwischenzeitlich oben noch was ergänzt. [EDIT] ....
kreuzberger
kreuzberger 28.06.2025 um 13:42:55 Uhr
Goto Top
@cykes

derzeit schaufelt er tonnenweise "laufende_nummerierung.exr" Dateien.

Es waren aber auch noch andere Endungen zu sehen.

Kreuzberger
kaiand1
kaiand1 28.06.2025 um 13:46:52 Uhr
Goto Top
Ist es evtl möglich unter Linux mit DD ein Image vom Band zu erstellen und dieses dann zu Mounten ?
kreuzberger
kreuzberger 28.06.2025 um 13:50:02 Uhr
Goto Top
@kaiand1

Danke

Es ist derzeit nicht das Problem die Daten vom Band zu kratzen. Das funktioniert ja, wenn auch langsam.

Ich weiß leider nicht, wie ich den SAS-HBA und das SAS LTO-Laufwerk in ein Linux einbinden könnte. Daher steht DD nicht zur Verfügung.

Kreuzberger
cykes
cykes 28.06.2025 aktualisiert um 15:07:10 Uhr
Goto Top
Zitat von @kreuzberger:
derzeit schaufelt er tonnenweise "laufende_nummerierung.exr" Dateien.
*.exr sind tatsächlich keine gepackten Archive in dem Sinne. Das sind HDR-Bilddateien, siehe u.a. https://de.wikipedia.org/wiki/OpenEXR
Dafür gibt es u.a. ein Photoshop-Plugin: https://www-exr--io-com.translate.goog/?_x_tr_sl=en&_x_tr_tl=de& ...
(Google(s KI) meinte es bei dem Link besonders gut und hat den Übersetzer angeworfen, hier noch der originale Link: https://www.exr-io.com/)
Wahrscheinlich ist der Rest etwas ähnliches, aber nenne doch einfach später nochmal die Dateiendungen ...
cykes
cykes 28.06.2025 um 14:45:39 Uhr
Goto Top
[...] Daher steht DD nicht zur Verfügung.
Notfalls unter Win* mal folgendes probieren: http://www.chrysocome.net/dd
kreuzberger
kreuzberger 28.06.2025 um 14:52:59 Uhr
Goto Top
@cykes

Ich hab jetzt erst einen Gedanken begriffen. Man macht ein Image vom Band und kann wenn es auf der Platte ist schneller auf die innenliegenden Daten des Images Zugreifen.

Bei LTFS wird das Band partitioniert. Ich weiss nicht, ob das dann so einfach funktioniert. In einem kleinen ersten Bandabschnitt scheint mir eine art Inhaltstabelle zu liegen, im dann folgenden größeren Abschnitt (Partition) eben die eigentlichen Daten.

Kreuzberger
kaiand1
kaiand1 28.06.2025 um 15:34:19 Uhr
Goto Top
Zitat von @kreuzberger:

@cykes

Ich hab jetzt erst einen Gedanken begriffen. Man macht ein Image vom Band und kann wenn es auf der Platte ist schneller auf die innenliegenden Daten des Images Zugreifen.

Bei LTFS wird das Band partitioniert. Ich weiss nicht, ob das dann so einfach funktioniert. In einem kleinen ersten Bandabschnitt scheint mir eine art Inhaltstabelle zu liegen, im dann folgenden größeren Abschnitt (Partition) eben die eigentlichen Daten.

Kreuzberger

Ja des war der Gedanke dazu.
Denn würde des Band am Stück eingelesen und von der Platte denn Ausgelesen werden wo des "Rumspulen" entfällt und auch ggfs Schneller ist beim Auslesen...
kreuzberger
kreuzberger 28.06.2025 um 15:38:01 Uhr
Goto Top
@kaiand1

Ja, im Prinzip ne kuhle Idee, aber ich weiss nicht, wie ich den SAS Controller und das LTO5 Laufwerk (SAS) in ein Linux einbinde, samt dann welche LTFS-Software für Linux dann halt funktioniert.

Krezberger
StefanKittel
StefanKittel 28.06.2025 um 15:51:44 Uhr
Goto Top
Moin,
das ist jetzt voll ins Blaue geraten.

Mit Winimage habe ich ganz früher images von Diskette und später Images von USB Sticks erstellt.
Vieleicht funktioniert das mit diesem Device auch?
https://www.chip.de/downloads/WinImage-64-Bit_40730445.html

Oder eine sonstige Images-Software für Windows probieren?

Stefan
em-pie
em-pie 28.06.2025 aktualisiert um 19:18:11 Uhr
Goto Top
Zitat von @kreuzberger:

@kaiand1

Ja, im Prinzip ne kuhle Idee, aber ich weiss nicht, wie ich den SAS Controller und das LTO5 Laufwerk (SAS) in ein Linux einbinde, samt dann welche LTFS-Software für Linux dann halt funktioniert.
Teste doch einfach mal, wie sich ein Knoppix verhält. Vom Stick starten und schauen ob das Drive und auch das gemountete Tape erkannt wird!?

Hier mal etwas Lesestoff für Debian:
https://forum.vcfed.org/index.php?threads/tapes-a-few-pointers-when-usin ...
(Selbst aber nicht nachgestellt…)
MysticFoxDE
MysticFoxDE 28.06.2025 um 19:27:30 Uhr
Goto Top
Moin @kreuzberger,

Ja, im Prinzip ne kuhle Idee,

wenn du die Daten schnell zurücksichern möchtest, dann kommst du an dieser Idee fürchte ich nicht wirklich vorbei.

aber ich weiss nicht, wie ich den SAS Controller und das LTO5 Laufwerk (SAS) in ein Linux einbinde, samt dann welche LTFS-Software für Linux dann halt funktioniert.

LTFS Treiber installieren.

Dann Bandgerät identifizieren ...

lsscsi

... LTFS mounten ...

sudo mkdir /mnt/ltfs
sudo ltfs /mnt/ltfs -o devname=/dev/st0

... und dann denn Inhalt des Bandes ...

sudo tar -cvf ltfs_band_backup.tar /mnt/ltfs

... in ein TAR Archiv speichern. 😉

Ein RAW Image von dem Band, kannst du übrigens folgen ...

sudo dd if=/dev/st0 of=ltfs_band_raw.img bs=512

... erzeugen.

Gruss Alex
kreuzberger
kreuzberger 28.06.2025 um 19:32:04 Uhr
Goto Top
@em-pie

Danke.

Aber ... aus dem nichts heraus nach dem booten von Knoppix kann so ein band doch nicht automatisch gemutet sein, oder?
danach bleibt die frage, wie konoppix das LTFS (FileSeystem) behandelt. Es ist eben ein eigenes FileSystem, was unterstützt werden müsste.

Derzeit liesst der per robocopy ein band aus. Das funktioniert audf Windows Server 2022, aber eben langsaaaaaaaaam, für jeden Mist muss der her und hin spulen. Das dauert bis Ostern 2076.
Ich hatte die Idee, dass man einfach copy oder xcopy benutzt, weil das ggf das zuerst kopiert, was es als erstes findet, und nicht wie robocopy auf den alphabetisch geordneten Verzeichnisbaum Rücksicht nimmt. Kann das hinkommen?

Was die Ideen mit Linux angeht hab ich da zu wenig Erfahrung / Ahnung. Ich hatte das Problem bereits bei meinem Bacula-Projekt, dass die Hardware-Einbindung von SAS und LTO mir nicht klar ist. Das ist dann auch hier so. Hier käme dann das FileSystem LTFS noch oben drauf.

Es gibt ja offensichtlich hier ein paar tolle ITler, die sich mit Linux super auskennen. Aber eben diese Stelle der Hardware-Implementierung wurde bisher nicht beschrieben.

Kreuzberger