tunkali
Goto Top

Storage und Backup-Strategie gesucht (Medienbereich)

Hallo Allerseits!

Ich bin Entwickler und neu in meiner Abteilung. Meine Aufgabe ist es hier einen neuen Bereich aufzubauen und etablieren.
Bisher war mein Team rein spezialisiert auf Filmproduktion und so sind hier gewisse Strukturen gewachsen, die den aktuellen Anforderungen nicht mehr entsprechen.

Bisher lief die Geschichte so:

Schnittplatz1 + 2 externe Raid5 Laufwerke (mit 4 Platten) über SAS Schnittstelle
Die Arbeitsdaten befinden sich auf den beiden Raids verteilt. Teilweise bis zu 3 Jahre alte Projekte. Die Raidplatten sind fast voll, jeweils 5TB Kapazität.

Schnittplatz2 + 2 externe Raid5 Laufwerke (mit 4 Platten) über SAS Schnittstelle
Die Arbeitsdaten befinden sich auf den beiden Raids verteilt. Teilweise bis zu 3 Jahre alte Projekte. Die Raidplatten sind fast voll, jeweils 5TB Kapazität.

Die Daten wurden dann je nachdem wie Zeit war auf externe Festplatten kopiert und nach einer langen Zeit dann mittels eines LTO 5-Geräts über einen extra Arbeitsplatz unkomprimiert archiviert )von den externen USB Festplatten. Ich brauch glaube nicht zu erwähnen, wie lange die Archivierung des gesamten Datenbestands hinterher hängt...

Es werden ca. 5-10 TB Filmdaten im Jahr generiert und natürlich auch einiges weggeschmissen. Aber der Verwaltungsoverhead behindert die eigentliche Arbeit schon enorm und gleichzeitig hängt die Archivierung hinterher. Die Daten müssen auch mind. 10 Jahre aufbewahrt werden.

Neu dazugekommen ist:

Synology NAS mit 20 TB effektiver Kapazität mit Raid 6.
2 Workstations für Entwicklung.

Das NAS dient als Backup und Projektaustauschplattform. Die Filmleute wollten diese gern auch einbinden, das wird aber mangels Kapazität nur eingeschränkt möglich sein.
Nun sollten von dem NAS ja auch Backups geschossen werden. Die werden momentan im NAS selbst gelagert.

Wir haben uns nun überlegt, die externen Raids alle zunächst ins NAS zu kippen um zumindest von da aus geordnet die alten Projekten mittels LTO über Netzwerk runterzusichern.
Die Schnittplätze bekommen jeweils nur noch einen Raid und wir benutzen übergangsweise die übrigen 2 Raids an einem anderen Rechner als Backup für das NAS. Da wird dann einmal die Woche runtergesichert.... das ist zumindest der vorläufige Plan.

Das ist aber alles keine zufriedenstellende Lösung.

Meine Idee wäre die Anschaffung eines großen SynologyNAS (ca. 100TB) und dort alle Archive und NAS-Backups reinzukippen. Damit man dann in Ruhe die gesammelten Daten nebenher herunter sichern kann und genug Zeitpuffer hat um die Daten vernünftig vorzuhalten. Zum runtersichern sollte dann am besten ein LTO-7 angeschafft werden, weil man ja sonst nie fertig wird. Lösungen wie NEO's Storageloader klingt auch ganz interessant.

Habt ihr vielleicht bessere bzw. ausgereiftere Ideen? Ich bin zwar nur Entwickler (mit einem leichten IT-Hintergrund) aber habe hier im Team den besten Sachverstand. Ich möchte mich auch mehr meiner eigentlichen Arbeit widmen können ohne Angst zu haben, dass hier die Daten irgendwann im Nirvana verschwinden.

Vielen Dank und habt einen schönen Tag!

Content-Key: 365582

Url: https://administrator.de/contentid/365582

Printed on: May 10, 2024 at 08:05 o'clock

Member: Kraemer
Kraemer Feb 21, 2018 at 14:25:19 (UTC)
Goto Top
Moin,

das ist ein typischer Fall für ein spezialisiertes Systemhaus. Eine solche Lösung braucht Wartung und Updates. Auf dem Niveau ist das nichts mehr für nebenher.

Tu dir selbst einen Gefallen und zerbrich dir darüber nicht den Kopf - lass es machen. Schont deine Nerven und belastet dein Arbeitsplatz weniger.

Gruß
Member: Tunkali
Tunkali Feb 21, 2018 at 14:52:51 (UTC)
Goto Top
Vielen Dank für den Tip! Ich habe schon sowas befürchtet.

Ich sollte vielleicht dazu sagen, dass wir firmenweit ein paar Admins haben, welche die Infrastruktur für alle betreuen und aufbauen. Unser Unternehmen ist ja bereits ein technischer Dienstleister. Leider sind die Strukturen, ich sag mal vorsichtig, etwas in die Jahre gekommen und wenig flexibel. Außerdem fehlt die Erfahrung mit Entwicklungsumgebungen, da die Hauptanforderung eher im Broadcastbereich liegt. Die Hauptinfrastruktur sitzt in der Nachbarstadt angebunden mit einer symmetrischen 50 MBit Leitung worüber auch unser Internetverkehr läuft. Da Änderungen sehr viel Zeit brauchen, versuchen wir uns zunehmend abzuschotten und mehr selbst in die Hand zu nehmen. Wir sind sowieso ein Sonderling in der ganzen Firma face-wink. Wenn ich jetzt aber mit einem Systemhaus komme, könnte das erheblichen Kritik hervorrufen.

Gibt es vielleicht noch eine verhältnismäßg leichtgängige Do-It-Yourself Lösung? Die Synology-Geschichten finde ich ja bisher sehr leichtgängig und robust zu handeln als Gelegenheitsadmin.
Member: beidermachtvongreyscull
beidermachtvongreyscull Feb 21, 2018 at 15:56:37 (UTC)
Goto Top
Zitat von @Tunkali:
Habt ihr vielleicht bessere bzw. ausgereiftere Ideen? Ich bin zwar nur Entwickler (mit einem leichten IT-Hintergrund) aber habe hier im Team den besten Sachverstand. Ich möchte mich auch mehr meiner eigentlichen Arbeit widmen können ohne Angst zu haben, dass hier die Daten irgendwann im Nirvana verschwinden.

Stelle Dir selbst die richtigen Fragen:
- Welchen Zweck verfolgt Ihr: Betriebserhaltung oder Datensicherung?
- Wie wird gesichert? Archivierung oder Datensicherung?
- Wie lange soll der gesicherte Datenbestand aufbewahrt werden?
- Sind besondere gesetzliche Verordnungen hinsichtlich der gesicherten Daten zu beachten?
- Sind versicherungsrechtliche Dinge hinsichtlich der gesicherten Daten zu beachten (Haftbarkeit im Katastrophen- oder Verlustfall)?

Erklärungen:
Welchen Zweck verfolgt Ihr: Betriebserhaltung oder Datensicherung?
Der Unterschied liegt in der Bereitstellungsgeschwindigkeit der Datensicherung.

Wie wird gesichert? Archivierung oder Datensicherung?
Archivierung bedeutet "Runter von den Produktivsystemen", Datensicherung bedeutet, dass eine Kopie auf den Produktivsystemen verbleibt.

Wie lange soll der gesicherte Datenbestand aufbewahrt werden?
Wenn Ihr zur Betriebserhaltung sichert, wohl nicht lange, eine Datensicherung u.U. 30 Jahre oder noch länger.

Sind besondere gesetzliche Verordnungen hinsichtlich der gesicherten Daten zu beachten?
Wenn Ihr Geschäftsvorfallsdaten (Emails, Faktura etc) sichert, gelten gesetzliche Regelungen.

Sind versicherungsrechtliche Dinge hinsichtlich der gesicherten Daten zu beachten (Haftbarkeit im Katastrophen- oder Verlustfall)?
Wenn Ihr Produktionsdaten verliert, kann es sein, dass wenn die Sicherungsschiene bzw. das Konzept nicht sauber ist, die Assekuranz nicht zahlt.

Erst dann würde ich mir Gedanken um die Technik machen.
Member: Tunkali
Tunkali Feb 22, 2018 at 23:59:27 (UTC)
Goto Top
Hi beidermachtvongreyscull

ich denke die Fragen lassen sich schnell beantworten:

- Welchen Zweck verfolgt Ihr: Betriebserhaltung oder Datensicherung?
Beides, aber die Datensicherung bereitet mir gerade am meisten Kopfweh. Das einzige wo ich die Betriebserhaltung gefährdet sehe ist ein Abkacken des NAS selbst. Mit BTRFS und der redundanten Datenhaltung auf den Clients, was zumindest aktuelle Daten angeht, sehe ich die Handlungsfähigkeit nicht so sehr gefährdet.

- Wie wird gesichert? Archivierung oder Datensicherung?
Aktuelle Daten sollen gesichert werden. Alte Daten archiviert.

- Wie lange soll der gesicherte Datenbestand aufbewahrt werden?
Die Archive müssten 10 Jahre vorgehalten werden, die aktuellen Sicherungen für 6-12 Monate.

- Sind besondere gesetzliche Verordnungen hinsichtlich der gesicherten Daten zu beachten?
Nicht wirklich. Alles was Geschäftsdaten betrifft, läuft über eine extra Infrastruktur Offsite, wo auch aktiv kompetente Admins ein Auge drauf haben. Hier geht es wirklich nur um die Daten die bei Entwicklung und Filmproduktion anfallen.

- Sind versicherungsrechtliche Dinge hinsichtlich der gesicherten Daten zu beachten (Haftbarkeit im Katastrophen- oder Verlustfall)?
Wenn das Zeug unwiderbringlich weg ist und dadurch laufende Projekte gefährdet sind, ist das natürlich schlecht. Tapes wandern für gewöhnlich zum Firmensitz und werden da ordnungsgemäß verwahrt. Sind daher auch rechtlich gesehen ordentlich gesichert.
Member: Dr.EVIL
Dr.EVIL Feb 23, 2018 at 09:33:44 (UTC)
Goto Top
Da ich "befürchte" das ihr mit "Äppeln" arbeitet?
Member: Tunkali
Tunkali Feb 23, 2018 at 09:52:30 (UTC)
Goto Top
Glücklicherweise arbeiten wir nur mit Fenstern face-wink
Member: Dr.EVIL
Solution Dr.EVIL Feb 23, 2018 at 11:19:07 (UTC)
Goto Top
Das ist gut...
Dann seit ihr nicht nur auf "individuelle linuxoide Bastellösungen" angewiesen, sondern könnt den "Industriestandard" nutzen. face-wink

Nach diesem würde ich folgendes Vorschlagen:
Zwei gut dimensionierte, mit DFS gespiegelte, Windows File-Server, um bereits in der "Produktion" Hochverfügbarkeit und hohe Geschwindigkeit zu gewährleisten.

Mit einem Backup-Programm (da gibt es viele...) mehrmals täglich eine Disk to Disk Sicherung der Daten am lokalen Standort auf einen Backup Server.
Von diesem eine tägliche Replik auf einen zweites Storage an einem zweiten Standort über die WAN Leitung (Z.B. auf die "NAS-Büchse").
Mehrmals wöchentlich eine Archivierung auf LTO oder RDX Laufwerke, mit Auslagerung der Medien an einen dritten Standort.

Okay...
Nicht ganz "unaufwändig"! (3 Server, Backup Software, Archiv Laufwerk)
Aber sicher!
(Da kann man als Admin auch mal beruhigt Urlaub machen... face-wink)
Member: Tunkali
Tunkali Feb 23, 2018 at 11:48:16 (UTC)
Goto Top
Hi Dr. Evil,

erstmal Danke für den Tip. Vom Prinzip her geht das so in die Richtung, wie ich mir das gedacht habe. Allerdings wird mir der Chef in Anbetracht des nötigen Budgets die Ohren langziehen. Das ist vielleicht eher was für die längerfristige Aussicht. face-wink
Ich versuche deinen Vorschlag mal herunterzubrechen auf das momentan verfügbare Material und begrenzte Ausgaben im Rahmen zu halten. Vielleicht kannst du mir sagen ob das zumindest halbwegs sinnig ist und ob man daran noch was verbessern kann ohne das Budget zu sprengen. face-wink
_____
Im Moment haben wir ja eine Diskstation, die allerdings momentan etwas knapp dimensioniert ist (6x6TB, Raid 6, 22TB netto - BTRFS). Diese würde ich gern mit einer Erweiterungseinheit ausbauen (12x 10TB) und ebenso konfigurieren. Das sollte für das nächste Jahr genügend Luft bereitstellen.

Dann haben wir momentan noch einen "LTO-Rechner". Das ist halt eine ausgemusterte Workstation mit einer miniSAS Karte und einem LTO5 Laufwerk von HP. Da wird momentan von externer Festplatte auf LTO kopiert... aber da hängen wir halt wie bereits erwähnt total hinterher, weil der Aufwand viel zu groß für unser kleines Team ist.

Ich würd gern den "LTO-Rechner" transformieren in einen "Backup-Server", in dem ich 2 externe Raid5 (Gspeed Raidtürme mit 4 Platten und SAS Schnittstelle), die ohnehin vorhanden sind dran pappe und diese als Backuplager für das NAS bereitstelle. Die würde ich dann mit jeweils 10 TB Platten vollstellen. Ich würde das Nas dann auf den Backup-Server sichern und von dort dann auf LTO schreiben.

Der Flaschenhals ist in meinen Augen das LTO5-Gerät. Da werden ja unkomprimiert nur 1,5TB Daten geschrieben... Das NAS-Backup (versioniert mit Datenbank) dürfte schnell auf eine Größe von zich TB wachsen. Das heisst, ich kann dort nur manuell die Daten aus dem NAS-Backup zwar archivieren, aber kein Offsite-Backup der Datenbank selbst anlegen. Und selbst das ist mühsam, da einzelne Projekte auch mal 10TB groß sein können. Das wäre mit LTO-7 komfortabler, aber immer noch relativ Zeitaufwändig (im Sinne von manueller Arbeit, wir sind nur 5 und keiner davon Vollzeit-Admin).
Wäre eine Tape-Library ratsam? Sowas wie NEOs T24 und lässt sich das leicht handhaben? Wie realisiert man damit Offsite-Backups, da sich ja die Bibliothek dann theoretisch auf diesen 24 Tapes befindet... da kann man doch nicht einfach die vollen rausnehmen und leere reintun oder?
Member: Kraemer
Kraemer Feb 23, 2018 at 11:56:41 (UTC)
Goto Top
Ich bleibe dabei: Spar dir die Arbeit. Das Ergebnis wird kaum besser sein, wie der Ist-Zustand!
Member: Dr.EVIL
Dr.EVIL Feb 23, 2018 updated at 13:23:32 (UTC)
Goto Top
Dem stimme ich voll und ganz zu!

Was Du da planst ist höchstens ein "verschlimmbessern" der momentanen Situation.
Der Fehler ist, das eure Firma offenbar nicht professionell mit EDV umgehen kann!
Ansonsten gäbe es diese Diskussion nicht.
Dies ist nicht nur ein technisches Problem, sondern es fehlt anscheinend auch ein Controller der die "TCO" berechnen und auf die richtigen Kostenstellen buchen kann. Gäbe es einen, würde nicht über Kosten gejammert.
Ausserdem drängt sich mir der Verdacht auf, das eure Abeilung eine "Schatten-IT", an der "offiziellen" EDV Abteilung des Konzern vorbei aufbauen möchte:
Mit nur etwas Pech endet die Sache im Desaster...
Die Frage dabei ist nicht ob, sondern wann!

Sorry, aber spätestens als Du eine Workstation zum Backup-Server vergew.... äh... "missbrauchen" wolltest, bin ich aus dem Thema raus.
Ich bin mir aber ziemlich sicher, das es hier ein paar "Jungforscher" gibt, die dir einiges mit fernöstlicher Billighardware und spaßigen "Freeware" ein paar Lösungen zurechtbasteln werden.

Ich wünsche Dir für deine zukünftige berufliche Laufbahn viel Glück...
face-wink
Member: Tunkali
Tunkali Feb 23, 2018 at 14:50:26 (UTC)
Goto Top
Hallo Leute,

Ich glaub ich hab mich vielleicht etwas missverständlich erklärt...

Die Firma geht durchaus professionell mit EDV um. Bisher lief alles zentral in einer Domain über den Hauptstandort, niemand hatte Adminrechte. Jedes Software-Update musste der Administrator einspielen bzw. Windowsupdates wurden per WSUS verteilt. Daneben gab es autarke Schnittrechner mit den besagten externen Raids und einem Turnschuhnetzwerk mit externen Festplatten, weil eine zentrale Infrastruktur zu teuer gewesen wäre für 2 Filmleute (wir sind 2 Filmleute und 2-3 Entwickler).

Wir sind nun die einzigen die ausscheren (4-5 Mann in einer 150 Mann Firma, räumlich getrennt vom großen Rest), weil wir kleinerere Produktionen und Entwicklungsarbeiten in einem neuen Segment übernehmen. Dementsprechend weit unten sind wir auf der Prioritätenliste face-wink.

Damit wir überhaupt ordentlich arbeiten können und Innovationen umsetzen können, brauchen wir natürlich eine ordentliche technische Grundlage und mehr Freiheiten. Das bringt natürlich mit sich, dass wir auch eigenverantwortlich damit arbeiten müssen. Die Firma scheut jetzt natürlich gewaltige Investitionen, solange es noch kein ROI berechenbar ist und investiert nur in das Nötigste. Also war der Gedanke möglichst sparsam zu arbeiten und vorhandene Technik weiterzubenutzen. In ein paar Monaten, wenn diverse Projekte durch sind, haben wir eher die Grundlage um eine nachhaltige solide IT anfordern zu können.

Deshalb die Frage, was eine sinnvolle Lösung ist unter Rücksichtnahme, das wir möglichst viel von der teuren Technik weiterbenutzen und ohne uns mehr als nötig in die Abhängigkeit einer zentralen IT-Verwaltung zu begeben.

Zwischen fernöstlicher Billighardware mit Freeware und spezialisiertem Systemhaus mit schwindelerregenden Investitionen muss es doch noch etwas drittes Geben. Vielleicht im Budgetrahmen von unter 10k€. ;)
Member: Kraemer
Kraemer Feb 23, 2018 at 15:15:27 (UTC)
Goto Top
Zwischen dem Leopard 2 und einer Steinschleuder gibt es auch nichts, was dir in einem Krieg gegen die USA wirklich helfen würde. Egal was du machst - es wird deine Anforderungen nicht erfüllen.
Member: beidermachtvongreyscull
Solution beidermachtvongreyscull Feb 23, 2018 updated at 16:10:49 (UTC)
Goto Top
Das Problem scheint mir der gewaltige Datenzuwachs und die schon jetzt enorme Datenmenge zu sein.

Es gibt aus meiner Sicht keinen stabilen Langzeitspeicher dafür, der ausreichende Kapazität, ausreichende Unempfindlichkeit und ausreichende Lagerbeständigkeit aufweist.

Kapazität liegt in magnetischen Datenträgern, auch im bezahlbaren Rahmen.
Ob LTO in den TB-Bereich geht, weiß ich jetzt nicht genau. Ich weiß nur, dass diese Technik, wie alles andere einer gewissen geplanten Obsoleszenz unterworfen ist. Das heißt -nach meinem Kenntnisstand-, dass LTO-Bänder von vor 10 Jahren eventuell nicht (mehr) gelesen werden können, wenn Du kein geeignetes Laufwerk hast.

Aus diesem Grund rate ich zu folgender Überlegung:

Datensicherungsinfrastruktur:

4 NAS-Systeme mit viel Power und Kapazität.
2 davon verbleiben räumlich getrennt im Betrieb (getrennte Brandabschnitte) und spiegeln sich permanent.
2 weitere sind Offline-Spiegel. Diese rotieren jeden Tag. Ab 0 Uhr RSYNC von einem der ONLINE_NAS bis Feierabend des zuständigen Mitarbeiters. Der fährt das Ding runter und hängt das andere ans Netz mit gleicher Konfiguration.

Das OFFLINE_NAS wird außerhalb des Büros verbracht und verbleibt bis zum nächsten Morgen. Der RSYNC darf auf keinem der OFFLINE_NAS etwas löschen, nur ergänzen. Somit bekommst Du die Archivierung hin. Durch die regelmäßige Rotation wird die Magnetisierung der Platten aufgefrischt. Das macht dann die Lagerfähigkeit. Und wenn es knallt, hast Du verschiedene Alarmstufen.

Deine ONLINE_NAS verkraften den Ausfall mehrerer Platten in bestimmten Szenarien und können sich ggf. komplett ersetzen.
Das macht aus meiner Sicht doppelte Redundanz in den Platten und Redundanz in den Geräten.

Und sollte die Hütte abfackeln hast Du mit dem Offline_NAS außer Haus eine valide Sicherung der Firmenwerte.

Ferner kannst Du die Dinger bei entsprechender Konfiguration sogar zur Laufzeit mit aktueller Firmware topfit halten.

Keins der NAS dient dazu, produktiv darauf zu arbeiten. Das ist nur Absicherung.
Member: Tunkali
Tunkali Feb 23, 2018 at 19:06:16 (UTC)
Goto Top
Hi,

der Ansatz mit dem Offline-NAS gefällt mir. Ich könnte ein paar Enterprise-Synology preiswert anfordern und diese mit großen Enterprise-Platten vollmachen. Wir haben einen großen trockenen Technik-Keller (für die Kameratechnik) in denen zwar keine elektrischen Geräte laufen dürfen, aber problemlos und sicher gelagert werden können.

Vielen Dank, darauf bin ich bisher nicht gekommen und die Lösung ist ja auch relativ wartungsarm.

Viele Grüße,
André
Member: Tunkali
Tunkali Feb 23, 2018 at 19:08:01 (UTC)
Goto Top
Wir haben sogar einen Lastenfahrstuhl inkl. Wagen, was den sicheren Transport gewährleistet :D
Member: ukulele-7
ukulele-7 Feb 26, 2018 at 07:24:44 (UTC)
Goto Top
Als Anmerkung vielleicht noch:

Leg die HDDs nicht zu groß aus wenn du RAID5 oder 6 machst. Die Rebuild Zeiten steigen und damit auch die Ausfallwarscheinlichkeit weiterer Platten. Idealerweise nimmst du zwar die selben Platten aber aus unterschiedlichen Chargen.