Storage und Backup-Strategie gesucht (Medienbereich)
Hallo Allerseits!
Ich bin Entwickler und neu in meiner Abteilung. Meine Aufgabe ist es hier einen neuen Bereich aufzubauen und etablieren.
Bisher war mein Team rein spezialisiert auf Filmproduktion und so sind hier gewisse Strukturen gewachsen, die den aktuellen Anforderungen nicht mehr entsprechen.
Bisher lief die Geschichte so:
Schnittplatz1 + 2 externe Raid5 Laufwerke (mit 4 Platten) über SAS Schnittstelle
Die Arbeitsdaten befinden sich auf den beiden Raids verteilt. Teilweise bis zu 3 Jahre alte Projekte. Die Raidplatten sind fast voll, jeweils 5TB Kapazität.
Schnittplatz2 + 2 externe Raid5 Laufwerke (mit 4 Platten) über SAS Schnittstelle
Die Arbeitsdaten befinden sich auf den beiden Raids verteilt. Teilweise bis zu 3 Jahre alte Projekte. Die Raidplatten sind fast voll, jeweils 5TB Kapazität.
Die Daten wurden dann je nachdem wie Zeit war auf externe Festplatten kopiert und nach einer langen Zeit dann mittels eines LTO 5-Geräts über einen extra Arbeitsplatz unkomprimiert archiviert )von den externen USB Festplatten. Ich brauch glaube nicht zu erwähnen, wie lange die Archivierung des gesamten Datenbestands hinterher hängt...
Es werden ca. 5-10 TB Filmdaten im Jahr generiert und natürlich auch einiges weggeschmissen. Aber der Verwaltungsoverhead behindert die eigentliche Arbeit schon enorm und gleichzeitig hängt die Archivierung hinterher. Die Daten müssen auch mind. 10 Jahre aufbewahrt werden.
Neu dazugekommen ist:
Synology NAS mit 20 TB effektiver Kapazität mit Raid 6.
2 Workstations für Entwicklung.
Das NAS dient als Backup und Projektaustauschplattform. Die Filmleute wollten diese gern auch einbinden, das wird aber mangels Kapazität nur eingeschränkt möglich sein.
Nun sollten von dem NAS ja auch Backups geschossen werden. Die werden momentan im NAS selbst gelagert.
Wir haben uns nun überlegt, die externen Raids alle zunächst ins NAS zu kippen um zumindest von da aus geordnet die alten Projekten mittels LTO über Netzwerk runterzusichern.
Die Schnittplätze bekommen jeweils nur noch einen Raid und wir benutzen übergangsweise die übrigen 2 Raids an einem anderen Rechner als Backup für das NAS. Da wird dann einmal die Woche runtergesichert.... das ist zumindest der vorläufige Plan.
Das ist aber alles keine zufriedenstellende Lösung.
Meine Idee wäre die Anschaffung eines großen SynologyNAS (ca. 100TB) und dort alle Archive und NAS-Backups reinzukippen. Damit man dann in Ruhe die gesammelten Daten nebenher herunter sichern kann und genug Zeitpuffer hat um die Daten vernünftig vorzuhalten. Zum runtersichern sollte dann am besten ein LTO-7 angeschafft werden, weil man ja sonst nie fertig wird. Lösungen wie NEO's Storageloader klingt auch ganz interessant.
Habt ihr vielleicht bessere bzw. ausgereiftere Ideen? Ich bin zwar nur Entwickler (mit einem leichten IT-Hintergrund) aber habe hier im Team den besten Sachverstand. Ich möchte mich auch mehr meiner eigentlichen Arbeit widmen können ohne Angst zu haben, dass hier die Daten irgendwann im Nirvana verschwinden.
Vielen Dank und habt einen schönen Tag!
Ich bin Entwickler und neu in meiner Abteilung. Meine Aufgabe ist es hier einen neuen Bereich aufzubauen und etablieren.
Bisher war mein Team rein spezialisiert auf Filmproduktion und so sind hier gewisse Strukturen gewachsen, die den aktuellen Anforderungen nicht mehr entsprechen.
Bisher lief die Geschichte so:
Schnittplatz1 + 2 externe Raid5 Laufwerke (mit 4 Platten) über SAS Schnittstelle
Die Arbeitsdaten befinden sich auf den beiden Raids verteilt. Teilweise bis zu 3 Jahre alte Projekte. Die Raidplatten sind fast voll, jeweils 5TB Kapazität.
Schnittplatz2 + 2 externe Raid5 Laufwerke (mit 4 Platten) über SAS Schnittstelle
Die Arbeitsdaten befinden sich auf den beiden Raids verteilt. Teilweise bis zu 3 Jahre alte Projekte. Die Raidplatten sind fast voll, jeweils 5TB Kapazität.
Die Daten wurden dann je nachdem wie Zeit war auf externe Festplatten kopiert und nach einer langen Zeit dann mittels eines LTO 5-Geräts über einen extra Arbeitsplatz unkomprimiert archiviert )von den externen USB Festplatten. Ich brauch glaube nicht zu erwähnen, wie lange die Archivierung des gesamten Datenbestands hinterher hängt...
Es werden ca. 5-10 TB Filmdaten im Jahr generiert und natürlich auch einiges weggeschmissen. Aber der Verwaltungsoverhead behindert die eigentliche Arbeit schon enorm und gleichzeitig hängt die Archivierung hinterher. Die Daten müssen auch mind. 10 Jahre aufbewahrt werden.
Neu dazugekommen ist:
Synology NAS mit 20 TB effektiver Kapazität mit Raid 6.
2 Workstations für Entwicklung.
Das NAS dient als Backup und Projektaustauschplattform. Die Filmleute wollten diese gern auch einbinden, das wird aber mangels Kapazität nur eingeschränkt möglich sein.
Nun sollten von dem NAS ja auch Backups geschossen werden. Die werden momentan im NAS selbst gelagert.
Wir haben uns nun überlegt, die externen Raids alle zunächst ins NAS zu kippen um zumindest von da aus geordnet die alten Projekten mittels LTO über Netzwerk runterzusichern.
Die Schnittplätze bekommen jeweils nur noch einen Raid und wir benutzen übergangsweise die übrigen 2 Raids an einem anderen Rechner als Backup für das NAS. Da wird dann einmal die Woche runtergesichert.... das ist zumindest der vorläufige Plan.
Das ist aber alles keine zufriedenstellende Lösung.
Meine Idee wäre die Anschaffung eines großen SynologyNAS (ca. 100TB) und dort alle Archive und NAS-Backups reinzukippen. Damit man dann in Ruhe die gesammelten Daten nebenher herunter sichern kann und genug Zeitpuffer hat um die Daten vernünftig vorzuhalten. Zum runtersichern sollte dann am besten ein LTO-7 angeschafft werden, weil man ja sonst nie fertig wird. Lösungen wie NEO's Storageloader klingt auch ganz interessant.
Habt ihr vielleicht bessere bzw. ausgereiftere Ideen? Ich bin zwar nur Entwickler (mit einem leichten IT-Hintergrund) aber habe hier im Team den besten Sachverstand. Ich möchte mich auch mehr meiner eigentlichen Arbeit widmen können ohne Angst zu haben, dass hier die Daten irgendwann im Nirvana verschwinden.
Vielen Dank und habt einen schönen Tag!
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 365582
Url: https://administrator.de/forum/storage-und-backup-strategie-gesucht-medienbereich-365582.html
Ausgedruckt am: 23.04.2025 um 09:04 Uhr
16 Kommentare
Neuester Kommentar
Moin,
das ist ein typischer Fall für ein spezialisiertes Systemhaus. Eine solche Lösung braucht Wartung und Updates. Auf dem Niveau ist das nichts mehr für nebenher.
Tu dir selbst einen Gefallen und zerbrich dir darüber nicht den Kopf - lass es machen. Schont deine Nerven und belastet dein Arbeitsplatz weniger.
Gruß
das ist ein typischer Fall für ein spezialisiertes Systemhaus. Eine solche Lösung braucht Wartung und Updates. Auf dem Niveau ist das nichts mehr für nebenher.
Tu dir selbst einen Gefallen und zerbrich dir darüber nicht den Kopf - lass es machen. Schont deine Nerven und belastet dein Arbeitsplatz weniger.
Gruß
Zitat von @Tunkali:
Habt ihr vielleicht bessere bzw. ausgereiftere Ideen? Ich bin zwar nur Entwickler (mit einem leichten IT-Hintergrund) aber habe hier im Team den besten Sachverstand. Ich möchte mich auch mehr meiner eigentlichen Arbeit widmen können ohne Angst zu haben, dass hier die Daten irgendwann im Nirvana verschwinden.
Habt ihr vielleicht bessere bzw. ausgereiftere Ideen? Ich bin zwar nur Entwickler (mit einem leichten IT-Hintergrund) aber habe hier im Team den besten Sachverstand. Ich möchte mich auch mehr meiner eigentlichen Arbeit widmen können ohne Angst zu haben, dass hier die Daten irgendwann im Nirvana verschwinden.
Stelle Dir selbst die richtigen Fragen:
- Welchen Zweck verfolgt Ihr: Betriebserhaltung oder Datensicherung?
- Wie wird gesichert? Archivierung oder Datensicherung?
- Wie lange soll der gesicherte Datenbestand aufbewahrt werden?
- Sind besondere gesetzliche Verordnungen hinsichtlich der gesicherten Daten zu beachten?
- Sind versicherungsrechtliche Dinge hinsichtlich der gesicherten Daten zu beachten (Haftbarkeit im Katastrophen- oder Verlustfall)?
Erklärungen:
Welchen Zweck verfolgt Ihr: Betriebserhaltung oder Datensicherung?
Der Unterschied liegt in der Bereitstellungsgeschwindigkeit der Datensicherung.
Wie wird gesichert? Archivierung oder Datensicherung?
Archivierung bedeutet "Runter von den Produktivsystemen", Datensicherung bedeutet, dass eine Kopie auf den Produktivsystemen verbleibt.
Wie lange soll der gesicherte Datenbestand aufbewahrt werden?
Wenn Ihr zur Betriebserhaltung sichert, wohl nicht lange, eine Datensicherung u.U. 30 Jahre oder noch länger.
Sind besondere gesetzliche Verordnungen hinsichtlich der gesicherten Daten zu beachten?
Wenn Ihr Geschäftsvorfallsdaten (Emails, Faktura etc) sichert, gelten gesetzliche Regelungen.
Sind versicherungsrechtliche Dinge hinsichtlich der gesicherten Daten zu beachten (Haftbarkeit im Katastrophen- oder Verlustfall)?
Wenn Ihr Produktionsdaten verliert, kann es sein, dass wenn die Sicherungsschiene bzw. das Konzept nicht sauber ist, die Assekuranz nicht zahlt.
Erst dann würde ich mir Gedanken um die Technik machen.
Das ist gut...
Dann seit ihr nicht nur auf "individuelle linuxoide Bastellösungen" angewiesen, sondern könnt den "Industriestandard" nutzen.
Nach diesem würde ich folgendes Vorschlagen:
Zwei gut dimensionierte, mit DFS gespiegelte, Windows File-Server, um bereits in der "Produktion" Hochverfügbarkeit und hohe Geschwindigkeit zu gewährleisten.
Mit einem Backup-Programm (da gibt es viele...) mehrmals täglich eine Disk to Disk Sicherung der Daten am lokalen Standort auf einen Backup Server.
Von diesem eine tägliche Replik auf einen zweites Storage an einem zweiten Standort über die WAN Leitung (Z.B. auf die "NAS-Büchse").
Mehrmals wöchentlich eine Archivierung auf LTO oder RDX Laufwerke, mit Auslagerung der Medien an einen dritten Standort.
Okay...
Nicht ganz "unaufwändig"! (3 Server, Backup Software, Archiv Laufwerk)
Aber sicher!
(Da kann man als Admin auch mal beruhigt Urlaub machen...
)
Dann seit ihr nicht nur auf "individuelle linuxoide Bastellösungen" angewiesen, sondern könnt den "Industriestandard" nutzen.
Nach diesem würde ich folgendes Vorschlagen:
Zwei gut dimensionierte, mit DFS gespiegelte, Windows File-Server, um bereits in der "Produktion" Hochverfügbarkeit und hohe Geschwindigkeit zu gewährleisten.
Mit einem Backup-Programm (da gibt es viele...) mehrmals täglich eine Disk to Disk Sicherung der Daten am lokalen Standort auf einen Backup Server.
Von diesem eine tägliche Replik auf einen zweites Storage an einem zweiten Standort über die WAN Leitung (Z.B. auf die "NAS-Büchse").
Mehrmals wöchentlich eine Archivierung auf LTO oder RDX Laufwerke, mit Auslagerung der Medien an einen dritten Standort.
Okay...
Nicht ganz "unaufwändig"! (3 Server, Backup Software, Archiv Laufwerk)
Aber sicher!
(Da kann man als Admin auch mal beruhigt Urlaub machen...
Dem stimme ich voll und ganz zu!
Was Du da planst ist höchstens ein "verschlimmbessern" der momentanen Situation.
Der Fehler ist, das eure Firma offenbar nicht professionell mit EDV umgehen kann!
Ansonsten gäbe es diese Diskussion nicht.
Dies ist nicht nur ein technisches Problem, sondern es fehlt anscheinend auch ein Controller der die "TCO" berechnen und auf die richtigen Kostenstellen buchen kann. Gäbe es einen, würde nicht über Kosten gejammert.
Ausserdem drängt sich mir der Verdacht auf, das eure Abeilung eine "Schatten-IT", an der "offiziellen" EDV Abteilung des Konzern vorbei aufbauen möchte:
Mit nur etwas Pech endet die Sache im Desaster...
Die Frage dabei ist nicht ob, sondern wann!
Sorry, aber spätestens als Du eine Workstation zum Backup-Server vergew.... äh... "missbrauchen" wolltest, bin ich aus dem Thema raus.
Ich bin mir aber ziemlich sicher, das es hier ein paar "Jungforscher" gibt, die dir einiges mit fernöstlicher Billighardware und spaßigen "Freeware" ein paar Lösungen zurechtbasteln werden.
Ich wünsche Dir für deine zukünftige berufliche Laufbahn viel Glück...

Was Du da planst ist höchstens ein "verschlimmbessern" der momentanen Situation.
Der Fehler ist, das eure Firma offenbar nicht professionell mit EDV umgehen kann!
Ansonsten gäbe es diese Diskussion nicht.
Dies ist nicht nur ein technisches Problem, sondern es fehlt anscheinend auch ein Controller der die "TCO" berechnen und auf die richtigen Kostenstellen buchen kann. Gäbe es einen, würde nicht über Kosten gejammert.
Ausserdem drängt sich mir der Verdacht auf, das eure Abeilung eine "Schatten-IT", an der "offiziellen" EDV Abteilung des Konzern vorbei aufbauen möchte:
Mit nur etwas Pech endet die Sache im Desaster...
Die Frage dabei ist nicht ob, sondern wann!
Sorry, aber spätestens als Du eine Workstation zum Backup-Server vergew.... äh... "missbrauchen" wolltest, bin ich aus dem Thema raus.
Ich bin mir aber ziemlich sicher, das es hier ein paar "Jungforscher" gibt, die dir einiges mit fernöstlicher Billighardware und spaßigen "Freeware" ein paar Lösungen zurechtbasteln werden.
Ich wünsche Dir für deine zukünftige berufliche Laufbahn viel Glück...
Das Problem scheint mir der gewaltige Datenzuwachs und die schon jetzt enorme Datenmenge zu sein.
Es gibt aus meiner Sicht keinen stabilen Langzeitspeicher dafür, der ausreichende Kapazität, ausreichende Unempfindlichkeit und ausreichende Lagerbeständigkeit aufweist.
Kapazität liegt in magnetischen Datenträgern, auch im bezahlbaren Rahmen.
Ob LTO in den TB-Bereich geht, weiß ich jetzt nicht genau. Ich weiß nur, dass diese Technik, wie alles andere einer gewissen geplanten Obsoleszenz unterworfen ist. Das heißt -nach meinem Kenntnisstand-, dass LTO-Bänder von vor 10 Jahren eventuell nicht (mehr) gelesen werden können, wenn Du kein geeignetes Laufwerk hast.
Aus diesem Grund rate ich zu folgender Überlegung:
Datensicherungsinfrastruktur:
4 NAS-Systeme mit viel Power und Kapazität.
2 davon verbleiben räumlich getrennt im Betrieb (getrennte Brandabschnitte) und spiegeln sich permanent.
2 weitere sind Offline-Spiegel. Diese rotieren jeden Tag. Ab 0 Uhr RSYNC von einem der ONLINE_NAS bis Feierabend des zuständigen Mitarbeiters. Der fährt das Ding runter und hängt das andere ans Netz mit gleicher Konfiguration.
Das OFFLINE_NAS wird außerhalb des Büros verbracht und verbleibt bis zum nächsten Morgen. Der RSYNC darf auf keinem der OFFLINE_NAS etwas löschen, nur ergänzen. Somit bekommst Du die Archivierung hin. Durch die regelmäßige Rotation wird die Magnetisierung der Platten aufgefrischt. Das macht dann die Lagerfähigkeit. Und wenn es knallt, hast Du verschiedene Alarmstufen.
Deine ONLINE_NAS verkraften den Ausfall mehrerer Platten in bestimmten Szenarien und können sich ggf. komplett ersetzen.
Das macht aus meiner Sicht doppelte Redundanz in den Platten und Redundanz in den Geräten.
Und sollte die Hütte abfackeln hast Du mit dem Offline_NAS außer Haus eine valide Sicherung der Firmenwerte.
Ferner kannst Du die Dinger bei entsprechender Konfiguration sogar zur Laufzeit mit aktueller Firmware topfit halten.
Keins der NAS dient dazu, produktiv darauf zu arbeiten. Das ist nur Absicherung.
Es gibt aus meiner Sicht keinen stabilen Langzeitspeicher dafür, der ausreichende Kapazität, ausreichende Unempfindlichkeit und ausreichende Lagerbeständigkeit aufweist.
Kapazität liegt in magnetischen Datenträgern, auch im bezahlbaren Rahmen.
Ob LTO in den TB-Bereich geht, weiß ich jetzt nicht genau. Ich weiß nur, dass diese Technik, wie alles andere einer gewissen geplanten Obsoleszenz unterworfen ist. Das heißt -nach meinem Kenntnisstand-, dass LTO-Bänder von vor 10 Jahren eventuell nicht (mehr) gelesen werden können, wenn Du kein geeignetes Laufwerk hast.
Aus diesem Grund rate ich zu folgender Überlegung:
Datensicherungsinfrastruktur:
4 NAS-Systeme mit viel Power und Kapazität.
2 davon verbleiben räumlich getrennt im Betrieb (getrennte Brandabschnitte) und spiegeln sich permanent.
2 weitere sind Offline-Spiegel. Diese rotieren jeden Tag. Ab 0 Uhr RSYNC von einem der ONLINE_NAS bis Feierabend des zuständigen Mitarbeiters. Der fährt das Ding runter und hängt das andere ans Netz mit gleicher Konfiguration.
Das OFFLINE_NAS wird außerhalb des Büros verbracht und verbleibt bis zum nächsten Morgen. Der RSYNC darf auf keinem der OFFLINE_NAS etwas löschen, nur ergänzen. Somit bekommst Du die Archivierung hin. Durch die regelmäßige Rotation wird die Magnetisierung der Platten aufgefrischt. Das macht dann die Lagerfähigkeit. Und wenn es knallt, hast Du verschiedene Alarmstufen.
Deine ONLINE_NAS verkraften den Ausfall mehrerer Platten in bestimmten Szenarien und können sich ggf. komplett ersetzen.
Das macht aus meiner Sicht doppelte Redundanz in den Platten und Redundanz in den Geräten.
Und sollte die Hütte abfackeln hast Du mit dem Offline_NAS außer Haus eine valide Sicherung der Firmenwerte.
Ferner kannst Du die Dinger bei entsprechender Konfiguration sogar zur Laufzeit mit aktueller Firmware topfit halten.
Keins der NAS dient dazu, produktiv darauf zu arbeiten. Das ist nur Absicherung.