27
Wie lagert man sehr große Datenmenge aus? 150 TB pro Jahr
Hallo,
eine Anfrage eines Kunden von uns bringt mich ins Grübeln und ich möchte Euch bitten mir den einen oder anderen Tipp zu geben.
Es geht um das externe auslagern von Daten von abgeschlossenen Projekten.
Es handelt sich um die gesamten Projektdaten mit einer Menge von ca. 50 GB bis 5 TB pro Projekt und ca. 50 Projekt im Jahr. Also eine Datenmenge von ca. 150 TB pro Jahr.
Aktuell sammeln die im Keller verschiedenste NASe(n). Aber man darauf in 2 Jahren noch zugreifen kann, wo was gespeichert ist weiß Niemand.
Man muss auch sehr selten ran. Aber es gab wohl schon den Fall, dass Jemand das falsche NAS gelöscht hat.
Info: Die Daten sind bereits komprimiert.
Info: Es handelt sich um die einzige Kopie der Daten und es ist nicht möglich diese Daten an anderere Stelle egal mit welchem Aufwand zu regenerieren.
Wie lagert man solche Daten sicher aus?
Onlinesicherung (Amazon S3 oder sonstige)
kostet ca. 6000 Euro im Monat und mind. 50MBit Upload wäre schon notwendig.
Außerdem benötigt man trotzdem eine Datensicherung falls bei denen doch mal was schief geht.
Oder man muss bei 2 Anbietern sein.
Lokales SAN
Die größten Festplatten für den Dauerbetrieb die ich kenne sind 2TB groß.
Also grob 90 Festplatten bei RAID6 pro Jahr.
Nach 5 Jahren mind 450 Festplatten (und alle 3 Jahre alle Austauschen und umkopieren)
Ungefähr 250 Festplatten pro 19" Rack. Also 2 volle Racks
Zusammenfassung:
- Die Up- und Downloadgeschwindigkeit ist wichtig (max 24 Stunden)
- Die sonstige Geschwindigkeit nicht
- Keine CPU Last oder ähnliches
- Festplatten können auch schlafen oder ähnliches
Nein, ich will sowas nicht bei mir Zuhause im Keller machen
Danke
Stefan
Nachträge:
- Die Daten sollen unbegrentz aber mind 10 Jahre aufbewahrt werden
eine Anfrage eines Kunden von uns bringt mich ins Grübeln und ich möchte Euch bitten mir den einen oder anderen Tipp zu geben.
Es geht um das externe auslagern von Daten von abgeschlossenen Projekten.
Es handelt sich um die gesamten Projektdaten mit einer Menge von ca. 50 GB bis 5 TB pro Projekt und ca. 50 Projekt im Jahr. Also eine Datenmenge von ca. 150 TB pro Jahr.
Aktuell sammeln die im Keller verschiedenste NASe(n). Aber man darauf in 2 Jahren noch zugreifen kann, wo was gespeichert ist weiß Niemand.
Man muss auch sehr selten ran. Aber es gab wohl schon den Fall, dass Jemand das falsche NAS gelöscht hat.
Info: Die Daten sind bereits komprimiert.
Info: Es handelt sich um die einzige Kopie der Daten und es ist nicht möglich diese Daten an anderere Stelle egal mit welchem Aufwand zu regenerieren.
Wie lagert man solche Daten sicher aus?
Onlinesicherung (Amazon S3 oder sonstige)
kostet ca. 6000 Euro im Monat und mind. 50MBit Upload wäre schon notwendig.
Außerdem benötigt man trotzdem eine Datensicherung falls bei denen doch mal was schief geht.
Oder man muss bei 2 Anbietern sein.
Lokales SAN
Die größten Festplatten für den Dauerbetrieb die ich kenne sind 2TB groß.
Also grob 90 Festplatten bei RAID6 pro Jahr.
Nach 5 Jahren mind 450 Festplatten (und alle 3 Jahre alle Austauschen und umkopieren)
Ungefähr 250 Festplatten pro 19" Rack. Also 2 volle Racks
Zusammenfassung:
- Die Up- und Downloadgeschwindigkeit ist wichtig (max 24 Stunden)
- Die sonstige Geschwindigkeit nicht
- Keine CPU Last oder ähnliches
- Festplatten können auch schlafen oder ähnliches
Nein, ich will sowas nicht bei mir Zuhause im Keller machen
Danke
Stefan
Nachträge:
- Die Daten sollen unbegrentz aber mind 10 Jahre aufbewahrt werden
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 173053
Url: https://administrator.de/contentid/173053
Ausgedruckt am: 22.11.2024 um 14:11 Uhr
27 Kommentare
Neuester Kommentar
Hallo Stefan,
Wie lange müssen die Projektdaten aufgehoben werden? Ist das bei allen Projekten gleich lang oder unterscheidet sich dies je Projekt?!
Des Weiteren würde ich mir mal überlegen, wie du solche Datenmengen einfach sichern willst. Ich würde auf Netapp Metrocluster setzen. Bei Ausfall des Primärsystems springt sofort das Backupsystem ein und alles läuft weiter wie bisher. Das Backupsystem sollte soweit wie möglich von aktiven System weg sein.
In dieser Größe wirst du mit 0815 NAS-System nicht weit kommen. Ich würde daher auf Netapp bauen. So ne FAS32xx mit 2 Köpfen sollte gut reichen. Alle kleinen Modellen können die Anzahl der Platte nicht verwalten. Über Köpfe (Controller) und Festplatten-Shelfs den Netappservice für x Jahre konfigurieren und du bekommst die Plattenausfälle ersetzt. Kostet natürlich eine stange Geld.
Edit: Synologys neue Geräte können wohl max. 100TB verwalten. D.h. du brächtest davon eben ein paar. Identische Geräte können sich auch spiegeln.
Grüße,
Dani
Onlinesicherung (Amazon S3 oder sonstige)
Schau mal bei Heise.de nach, da gab's vor kurzem einen größeren Ausfall mit Datenverlust!Wie lange müssen die Projektdaten aufgehoben werden? Ist das bei allen Projekten gleich lang oder unterscheidet sich dies je Projekt?!
Des Weiteren würde ich mir mal überlegen, wie du solche Datenmengen einfach sichern willst. Ich würde auf Netapp Metrocluster setzen. Bei Ausfall des Primärsystems springt sofort das Backupsystem ein und alles läuft weiter wie bisher. Das Backupsystem sollte soweit wie möglich von aktiven System weg sein.
In dieser Größe wirst du mit 0815 NAS-System nicht weit kommen. Ich würde daher auf Netapp bauen. So ne FAS32xx mit 2 Köpfen sollte gut reichen. Alle kleinen Modellen können die Anzahl der Platte nicht verwalten. Über Köpfe (Controller) und Festplatten-Shelfs den Netappservice für x Jahre konfigurieren und du bekommst die Plattenausfälle ersetzt. Kostet natürlich eine stange Geld.
Edit: Synologys neue Geräte können wohl max. 100TB verwalten. D.h. du brächtest davon eben ein paar. Identische Geräte können sich auch spiegeln.
Grüße,
Dani
Zitat von @Dani:
> Onlinesicherung (Amazon S3 oder sonstige)
Schau mal bei Heise.de nach, da gab's vor kurzem einen größeren Ausfall mit Datenverlust!
Deshalb ja 2 Online-Anbieter oder zusätzlich noch eine lokale Sicherung> Onlinesicherung (Amazon S3 oder sonstige)
Schau mal bei Heise.de nach, da gab's vor kurzem einen größeren Ausfall mit Datenverlust!
Wie lange müssen die Projektdaten aufgehoben werden? Ist das bei allen Projekten gleich lang oder unterscheidet sich dies je
Projekt?!
Alle Daten sollen unbegrentz aber mind 10 Jahre aufbewahrt werdenProjekt?!
Des Weiteren würde ich mir mal überlegen, wie du solche Datenmengen einfach sichern willst.
Keine Ahnung Ich würde auf Netapp
Metrocluster setzen. Bei Ausfall des Primärsystems springt sofort das Backupsystem ein und alles läuft weiter wie
bisher. Das Backupsystem sollte soweit wie möglich von aktiven System weg sein.
In dieser Größe wirst du mit 0815 NAS-System nicht weit kommen. Ich würde daher auf Netapp bauen. So ne FAS32xx
mit 2 Köpfen sollte gut reichen. Alle kleinen Modellen können die Anzahl der Platte nicht verwalten. Über
Köpfe (Controller) und Festplatten-Shelfs den Netappservice für x Jahre konfigurieren und du bekommst die
Plattenausfälle ersetzt. Kostet natürlich eine stange Geld.
Wenn Die Daten weg sind wirds teurerMetrocluster setzen. Bei Ausfall des Primärsystems springt sofort das Backupsystem ein und alles läuft weiter wie
bisher. Das Backupsystem sollte soweit wie möglich von aktiven System weg sein.
In dieser Größe wirst du mit 0815 NAS-System nicht weit kommen. Ich würde daher auf Netapp bauen. So ne FAS32xx
mit 2 Köpfen sollte gut reichen. Alle kleinen Modellen können die Anzahl der Platte nicht verwalten. Über
Köpfe (Controller) und Festplatten-Shelfs den Netappservice für x Jahre konfigurieren und du bekommst die
Plattenausfälle ersetzt. Kostet natürlich eine stange Geld.
Was mich irritiert ist, dass es dafür nicht Lösungen von der Stange gibt.
Bei vielen Firmen müssen doch solche Datenmengen anfallen, Gescannte Belege, Multimedia, etc.
Hallo,
Rufe einen der großen Hersteller (IBM, EMC, NetApp) an und sag, was du brauchst. Ein freundlicher Sales-Mitarbeiter wird dich kurz danach besuchen kommen.
Wenn du an die Daten gelegentlich noch dran mußt dürfte Hierarchical Storage Management dein Stichwort sein. Ansonsten reicht eine Backupinfrastruktur auf Bandbasis...
Gruß
Filipp
Was mich irritiert ist, dass es dafür nicht Lösungen von der Stange gibt.
Gibt's.Rufe einen der großen Hersteller (IBM, EMC, NetApp) an und sag, was du brauchst. Ein freundlicher Sales-Mitarbeiter wird dich kurz danach besuchen kommen.
Wenn du an die Daten gelegentlich noch dran mußt dürfte Hierarchical Storage Management dein Stichwort sein. Ansonsten reicht eine Backupinfrastruktur auf Bandbasis...
Gruß
Filipp
Hi.
Korrekt. Und da kommt dann der Begriff Jukebox ins Spiel. Wie hier z.B. - http://www.incom.de/optische_jukeboxen.html
LG Günther
Bei vielen Firmen müssen doch solche Datenmengen anfallen, Gescannte Belege, Multimedia, etc.
Korrekt. Und da kommt dann der Begriff Jukebox ins Spiel. Wie hier z.B. - http://www.incom.de/optische_jukeboxen.html
LG Günther
Check,
Aber egal wie und wo, irgendwo müssen die Daten ja rauf.
Also HDDs, LTO, UDO oder ähnliches
LTO8 würde das Problem lösen, aber die sind ja erst bei 5.
Und da kommen wir wieder zum Dilema mit dem Geld, Aktuell geben die geschätzt 50k im Jahr aus für 50NAS mit Festplatten.
Für eine Sch... Lösung um es klar zu sagen.
Aber egal was ich plane liege ich sehr weit darüber
Danke an alle
Stefan
Aber egal wie und wo, irgendwo müssen die Daten ja rauf.
Also HDDs, LTO, UDO oder ähnliches
LTO8 würde das Problem lösen, aber die sind ja erst bei 5.
Und da kommen wir wieder zum Dilema mit dem Geld, Aktuell geben die geschätzt 50k im Jahr aus für 50NAS mit Festplatten.
Für eine Sch... Lösung um es klar zu sagen.
Aber egal was ich plane liege ich sehr weit darüber
Danke an alle
Stefan
IBM, EMC, NetApp
Man beachte mal das Bild unter "No One Sells Cheap Storage"
http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build ...
(Mittlerweile dürfte es billiger sein).
Hast du eigentlich auch mal an die Stromrechnung gedacht?
Um Offline-Medien (Band-Roboter etc.) wirst du da nicht drum herum kommen.
Bei 450 Festplatten wird auch statistisch mindestens eine pro Woche ausfallen...
Hallo,
das preiswerteste Archiv-Medium ist und bleibt Tape.
Ein kleiner LTO5 Autoloader mit 8 Slots, und du hast 12TB verfügbar.
Sind die Bänder voll, kaufst du halt 8 neue, macht bei ca. 55 Euro pro Band insgesammt 440 Euro.
Bänder lassen sich platzsparend Lagern, im gegensatz zu NAS-Boxe, und ausserdem auch einfach beschriften.
Und der Autoloader verbraucht auch viel weniger Strom als ein Festplatten System.
Und wahrscheinlich ist der Autoloader noch um Lägen billiger als ein Disk-System dass dir entsprechende Kapazitäten bereitstellt.
Und LTO-Medien bieten, bei entsprechender Lagerung, Datensicherheit für 30 Jahre.
K.
das preiswerteste Archiv-Medium ist und bleibt Tape.
Ein kleiner LTO5 Autoloader mit 8 Slots, und du hast 12TB verfügbar.
Sind die Bänder voll, kaufst du halt 8 neue, macht bei ca. 55 Euro pro Band insgesammt 440 Euro.
Bänder lassen sich platzsparend Lagern, im gegensatz zu NAS-Boxe, und ausserdem auch einfach beschriften.
Und der Autoloader verbraucht auch viel weniger Strom als ein Festplatten System.
Und wahrscheinlich ist der Autoloader noch um Lägen billiger als ein Disk-System dass dir entsprechende Kapazitäten bereitstellt.
Und LTO-Medien bieten, bei entsprechender Lagerung, Datensicherheit für 30 Jahre.
K.
Du hast noch nie einen Bandroboter gesehen der einen ganzen Raum voll Bänder gestapelt hat.
Da bekommt man Exabytes und mehr unter.Und da kommen wir wieder zum Dilema mit dem Geld, Aktuell geben die geschätzt 50k im Jahr aus für 50NAS mit
Festplatten.
Mit 50k brauchst Du da gar nicht erst anzufangen, wenn Du eine ordentliche Lösung willst. Alles was ein ordentliches Backup und Archiv in den genannten Größenordnungen macht, wird mindestens sechsstellig.
lks
Hi,
das mit den LOT5 Bändern und einem großen Wechsler (http://www.oracle.com/us/products/servers-storage/storage/tape-storage/ ..) denke ich isollte gehen. Wenn die Daten auch hochverfügbar sein sollten würde ich sam-fs einsetzen. (http://www.init-bs.com/download/SunStorageDay_SAM-FS-Roadshow.pdf)
Gruß der Pulsar
das mit den LOT5 Bändern und einem großen Wechsler (http://www.oracle.com/us/products/servers-storage/storage/tape-storage/ ..) denke ich isollte gehen. Wenn die Daten auch hochverfügbar sein sollten würde ich sam-fs einsetzen. (http://www.init-bs.com/download/SunStorageDay_SAM-FS-Roadshow.pdf)
Gruß der Pulsar
Zitat von @Lochkartenstanzer:
Du hast noch nie einen Bandroboter gesehen der einen ganzen Raum voll Bänder gestapelt hat.
Doch... Es hat mal einer versucht mich umzubringen. Zum Glück hat die automatische "Sicherung" gegriffen... War aber noch zu DAT-Zeiten...Du hast noch nie einen Bandroboter gesehen der einen ganzen Raum voll Bänder gestapelt hat.
Stefan
Was zu erwarten ist / war, zumindest wenn du die Jahre einzeln betrachtest.
Wenn du dir jedoch ein anstädiges System ( IBM 3584 z.B. ) hinstellst mit 1000 Slots auf LTO-5 Basis und somit 1500TB hinstellst hast du zwar Anschaffungskosten von 250k+ ( Generalüberholt mit 6 LTO-5 Laufwerken ca. 75k ), die laufenden Kosten sinken jedoch gewaltig. Noch dazu würde man dann auf eine professionelle Lösung übergehen und hat deutlich weniger Verwaktungsarbeit da man alles zentral ablegt.
Hallo,
grundsätzlich ja, aber...
Ich habe leider schon zu viele Bandsicherungen gesehen die für die Tonne waren.
ca. 15% nicht erkannte Laufwerksfehler
Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder nicht lesen
ca. 85% Softwarefehler
Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die Bänder voll oder alt waren.
Meine "Hauptangst" dabei ist aber eher, dass es dann LTO6 und Windows9 gibt worauf die eingesetzte Software nicht läuft und die neue kann die alten Sicherungen nicht lesen.
Die Alternative bleiben Festplatten.
Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten rauskopieren, Festplatten beschriften und in den Schrank tun.
Nach 3 Jahres alles auf neue (doppelt so große) Festplatten umkopieren.
Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.
Die Kosten sind vergleichbar pro TB sind vergleichbar.
Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.
Ob das dann noch "professional" genannt werden darf ist ne andere Frage.
Stefan
grundsätzlich ja, aber...
Ich habe leider schon zu viele Bandsicherungen gesehen die für die Tonne waren.
ca. 15% nicht erkannte Laufwerksfehler
Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder nicht lesen
ca. 85% Softwarefehler
Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die Bänder voll oder alt waren.
Meine "Hauptangst" dabei ist aber eher, dass es dann LTO6 und Windows9 gibt worauf die eingesetzte Software nicht läuft und die neue kann die alten Sicherungen nicht lesen.
Die Alternative bleiben Festplatten.
Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten rauskopieren, Festplatten beschriften und in den Schrank tun.
Nach 3 Jahres alles auf neue (doppelt so große) Festplatten umkopieren.
Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.
Die Kosten sind vergleichbar pro TB sind vergleichbar.
Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.
Ob das dann noch "professional" genannt werden darf ist ne andere Frage.
Stefan
[OT]
Hi,
war das damals schön, als die Datenmengen noch überschaubar waren und es MO-Laufwerke gab, deren damals verwendete Medien (in Cartridges) noch heute fehlerfrei lesbar sind.
Die Zeiten sind leider vorbei.
Gruß
[/OT]
Hi,
war das damals schön, als die Datenmengen noch überschaubar waren und es MO-Laufwerke gab, deren damals verwendete Medien (in Cartridges) noch heute fehlerfrei lesbar sind.
Die Zeiten sind leider vorbei.
Gruß
[/OT]
Zitat von @99045:
war das damals schön, als die Datenmengen noch überschaubar waren und es MO-Laufwerke gab, deren damals verwendete
Medien (in Cartridges) noch heute fehlerfrei lesbar sind.
Die Zeiten sind leider vorbei.
Warum? Es gibt inzwischen UDO. Das scheint mir mehr oder weniger der Nachfolger.war das damals schön, als die Datenmengen noch überschaubar waren und es MO-Laufwerke gab, deren damals verwendete
Medien (in Cartridges) noch heute fehlerfrei lesbar sind.
Die Zeiten sind leider vorbei.
Allerdings mit nur maximal 60GB pro Disk.
Da braucht man dann wirklich ne Jukebox.
Stefan
Zitat von @StefanKittel:
Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder
nicht lesen
Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder
nicht lesen
Genau deswegen ist es wichtig, regelmäßig die Backups auch zu überprüfen. Und zwar auf einem zweiten System die Daten zurückzuspeilen und midensten einmal im Jahr "desaster recovery" zu übern. Ich weiß macht fast keiner. Die merken es dann immer im Ernstfall.
ca. 85% Softwarefehler
Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die
Bänder voll oder alt waren.
Das ist eine Frage der Organisation. Egal welches Medium Du nimmst, dieses Problem hast Du immer, ja auch bei Festplatten. (z.B. Keiner merkt, daß die vollgelaufen sind und keine "neuen" Daten mehr aufnehmen).
Meine "Hauptangst" dabei ist aber eher, dass es dann LTO6 und Windows9 gibt worauf die eingesetzte Software nicht
läuft und die neue kann die alten Sicherungen nicht lesen.
Umkopieren ist das Stichwrt, wenn sowas auftauchen sollte. Oder man mottet einige alte Systeme mit ein, was bei wichtigen Daten üblich ist.
Die Alternative bleiben Festplatten.
Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten
rauskopieren, Festplatten beschriften und in den Schrank tun.
Laß mal eine Festplatte fallen und eine Bandkasette. Dann merkst Du den Unterschied.
Und für unbedarfte Benutzer ist das Handling mit Festplatten komplizierter.
Nach 3 Jahres alles auf neue (doppelt so große) Festplatten umkopieren.
Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.
Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.
Sofern Du das ordentlich organisiert bekommst, ist das sicher eine Lösung für Dich. Aber die Erfahtung sagt, daß man vor lauter Tagesgeschäft an sowas nicht mehr denkt, oder nur dann, wenn es zu spät ist.
Die Kosten sind vergleichbar pro TB sind vergleichbar.
Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.
Nicht die Kosten sind in erster Linie das Problem, sondern, daß Du Deine Daten in 10 Jahren noch hast.
Ob das dann noch "professional" genannt werden darf ist ne andere Frage.
Auch für Festplatten gibt es gute Hotplug-Systeme und Gehäuse mit "Fallsicherung" Die sind dann allerdings nicht so gübstig wie die USB-Platten vom Blödmarkt.
lks
PS: Ich habe immer noch funktionierende Syquest-Laufwerke 44MB und 88MB samt den Datensicherungen von vor 18 Jahren., wem das noch etwas sagt. Die waren damals in der Druckvorstufe mit Macs sehr in Mode.
Es gab zwischendrin mal UDO wäre wohl die bessere Wortwahl. Ist längst wieder Geschichte, Jukebox technisch gibts neu eigentlich nur noch BlueLaser DVD ...
Moin,
Wenn man seine Backups nicht überprüft ist man selber schuld.
LTO ist da eine _ganz_ andere Liga.
Und wenn das Konzept für das Backup schei**e ist (und die Backups nicht regelmäßig auf Lesbarkeit geprüft werden, und Restore-Tests gemacht werden), dann helfen auch evtl. die Gelben Seiten.
Linux und tar kann man sicher auch noch in 10 Jahren mit den denn erhältlichen Distributionen lesen.
Aber mind. mit den bisher erhältlichen.
Offene Standarts sind bei so langfristigen Projekten immer besser als proprietäre Formate.
Und LTO kann _immer_ 2 Generationen vorher lesen.
Also mit LTO5 kannst du auch LTO3 Medien lesen.
Aber um dich mal etwas zu beruhigen.
Backup Exec 2010R3 kann Backups, die mit Backup Exec 8.5 geschrieben wurden immer noch lesen (vorrausgesetzt das Laufwerk ist noch vorhanden).
Und warum sollte man überhaupt das Betriebssystem des Backup/Archiv-Rechners während des Projektes wechseln??
Es gibt doch jetzt schon interessante Effekte mit den 3TB Platten.
Die laufen nicht in jedem NAS/Storage System.
Und du meinst du bekommst dann noch ein Firmwareupdate für das Gehäuse in 5 Jahren damit dies mit den großen Festplatten umgehen kann?
Und der Preis wird mittelfristig erheblich sinken, auf ca. 25-30 Euro pro Medium, so wie jetzt bei LTO4.
Wenn deine Maßnahmen dazu führen dass die Daten in 10 Jahren noch lesbar sind, dann war das "professionell" genug.
K.
Ich habe leider schon zu viele Bandsicherungen gesehen die für die Tonne waren.
Das liegt an der Organisation bzw. am Konzept des jeweiligen Backups.Wenn man seine Backups nicht überprüft ist man selber schuld.
ca. 15% nicht erkannte Laufwerksfehler
Was waren das für Laufwerke?Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder
nicht lesen
Du willst ja wohl nicht wirklich DAT-Laufwerke mit LTO-Laufwerken vergleichen??nicht lesen
LTO ist da eine _ganz_ andere Liga.
ca. 85% Softwarefehler
Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die
Bänder voll oder alt waren.
Wenn man das Werkzeug mit dem man arbeitet nicht wirklich kennt sollte man evtl. jemanden fragen der sich damit auskennt.Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die
Bänder voll oder alt waren.
Und wenn das Konzept für das Backup schei**e ist (und die Backups nicht regelmäßig auf Lesbarkeit geprüft werden, und Restore-Tests gemacht werden), dann helfen auch evtl. die Gelben Seiten.
Meine "Hauptangst" dabei ist aber eher, dass es dann LTO6 und Windows9 gibt worauf die eingesetzte Software nicht
läuft und die neue kann die alten Sicherungen nicht lesen.
Wenn man sich bei so langfristigen Projekten auf Windows verlässt..... selber schuld.läuft und die neue kann die alten Sicherungen nicht lesen.
Linux und tar kann man sicher auch noch in 10 Jahren mit den denn erhältlichen Distributionen lesen.
Aber mind. mit den bisher erhältlichen.
Offene Standarts sind bei so langfristigen Projekten immer besser als proprietäre Formate.
Und LTO kann _immer_ 2 Generationen vorher lesen.
Also mit LTO5 kannst du auch LTO3 Medien lesen.
Aber um dich mal etwas zu beruhigen.
Backup Exec 2010R3 kann Backups, die mit Backup Exec 8.5 geschrieben wurden immer noch lesen (vorrausgesetzt das Laufwerk ist noch vorhanden).
Und warum sollte man überhaupt das Betriebssystem des Backup/Archiv-Rechners während des Projektes wechseln??
Die Alternative bleiben Festplatten.
Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten
rauskopieren, Festplatten beschriften und in den Schrank tun.
Und du glaubst dass in 5 Jahren dein großes Gehäuse noch mit den dann erhältlichen großen Festplatten umgehen kann?Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten
rauskopieren, Festplatten beschriften und in den Schrank tun.
Es gibt doch jetzt schon interessante Effekte mit den 3TB Platten.
Die laufen nicht in jedem NAS/Storage System.
Und du meinst du bekommst dann noch ein Firmwareupdate für das Gehäuse in 5 Jahren damit dies mit den großen Festplatten umgehen kann?
Nach 3 Jahres alles auf neue (doppelt so große) Festplatten umkopieren.
Und die Arbeitszeit musst du natürlich auch einkalkulieren und in die Kosten einbeziehen.Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.
Doppelt gespeicherte Daten sind immer gut.Die Kosten sind vergleichbar pro TB sind vergleichbar.
Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.
Dafür sind die LTO5 Medien preiswerter als (große) Festplatten.Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.
Und der Preis wird mittelfristig erheblich sinken, auf ca. 25-30 Euro pro Medium, so wie jetzt bei LTO4.
Ob das dann noch "professional" genannt werden darf ist ne andere Frage.
Die Frage, die du dir stellen musst ist: "was muss ich tun damit die Daten in 10 Jahren noch lesbar sind."Wenn deine Maßnahmen dazu führen dass die Daten in 10 Jahren noch lesbar sind, dann war das "professionell" genug.
K.
Hallo Stefan,
ich kann mich dem allgemeinen Tenor hier nur anschließen:
Eine seriöse Lösung für die von Dir geschilderte Kundenanfrage basiert auf Tapes! Und bei den geschilderten Datenmengen kommt vernünftigerweise eigentlich auch nur LTO-5 in Frage.
Kostenseitig bist Du mit Tapes in jeder Hinsicht auf der besseren Seite:
Die einzelne Bandkassette kostet gerade mal so viel wie eine Billig-HD - aber die willst Du nicht wirklich verwenden, wenn die Daten 10 Jahre und mehr darauf halten sollen.
Und dann rechne gleich mal die zweite Kopie mit ein... (die Du an einem "entfernten, sicheren Ort" lagerst)
Selbst eine gut ausgebaute Tape-Library ist günstiger zu haben, als eine professionelle SAN-Lösung in der hier geschilderten Größe.
Auch die Stromkosten sprechen für die Tape-Lösung.
Außerdem ist wie schon von anderen erwähnt die Bedienung von Bandgräten auch von Laien machbar - Festplatten würde ich denen selbst dann nicht gern in die Hand geben, wenn ich gute Hot-Plug-Rahmen hätte.
Die Verlässlichkeit der Bänder selbst ist bei LTO wesentlich höher, als seinerzeit bei DAT, auch darauf haben schon andere vor mir hingewiesen.
Bleiben also die Fragen zu klären: "Wie verlässlich ist die Backup-Software?" und "Wie schnell muss ggf. auf alte Daten zugegriffen werden?"
Und auch hier kann ich mich den Vorrednern nur anschließen:
Ein reifes Backup-Produkt wie z.B. Symantec BackupExec oder NetBackup bzw. HP DataProtector (würde ich persönlich wg. der i.d.R. günstigeren Lizenzkosten vorziehen - ist aber im Einzelfall zu prüfen) sollte auch noch nach vielen Jahren mitspielen.
Für die passende Konfiguration wärest Du als Dienstleister natürlich verantwortlich, desgleichen für eine Arbeitsanweisung, die einen Check des täglichen Backups enthält.
Und falls der Kunde tatsächlich darauf besteht, auch 10 Jahre alte Daten noch "schnell" im Zugriff zu haben, dann musst Du tatsächlich ein HSM einplanen. Dazu nimmst Du aber am Besten Leute dazu, die sich gut mit so etwas auskennen, denn das ist schon wieder die nächst-höhere Liga!
All das ist sicherlich nicht zum 0-Tarif zu haben, aber mit einer vernünftig geplanten Investition sollte sich das Projekt über die Jahre rechnen, denke ich.
Grüße,
Frank
ich kann mich dem allgemeinen Tenor hier nur anschließen:
Eine seriöse Lösung für die von Dir geschilderte Kundenanfrage basiert auf Tapes! Und bei den geschilderten Datenmengen kommt vernünftigerweise eigentlich auch nur LTO-5 in Frage.
Kostenseitig bist Du mit Tapes in jeder Hinsicht auf der besseren Seite:
Die einzelne Bandkassette kostet gerade mal so viel wie eine Billig-HD - aber die willst Du nicht wirklich verwenden, wenn die Daten 10 Jahre und mehr darauf halten sollen.
Und dann rechne gleich mal die zweite Kopie mit ein... (die Du an einem "entfernten, sicheren Ort" lagerst)
Selbst eine gut ausgebaute Tape-Library ist günstiger zu haben, als eine professionelle SAN-Lösung in der hier geschilderten Größe.
Auch die Stromkosten sprechen für die Tape-Lösung.
Außerdem ist wie schon von anderen erwähnt die Bedienung von Bandgräten auch von Laien machbar - Festplatten würde ich denen selbst dann nicht gern in die Hand geben, wenn ich gute Hot-Plug-Rahmen hätte.
Die Verlässlichkeit der Bänder selbst ist bei LTO wesentlich höher, als seinerzeit bei DAT, auch darauf haben schon andere vor mir hingewiesen.
Bleiben also die Fragen zu klären: "Wie verlässlich ist die Backup-Software?" und "Wie schnell muss ggf. auf alte Daten zugegriffen werden?"
Und auch hier kann ich mich den Vorrednern nur anschließen:
Ein reifes Backup-Produkt wie z.B. Symantec BackupExec oder NetBackup bzw. HP DataProtector (würde ich persönlich wg. der i.d.R. günstigeren Lizenzkosten vorziehen - ist aber im Einzelfall zu prüfen) sollte auch noch nach vielen Jahren mitspielen.
Für die passende Konfiguration wärest Du als Dienstleister natürlich verantwortlich, desgleichen für eine Arbeitsanweisung, die einen Check des täglichen Backups enthält.
Und falls der Kunde tatsächlich darauf besteht, auch 10 Jahre alte Daten noch "schnell" im Zugriff zu haben, dann musst Du tatsächlich ein HSM einplanen. Dazu nimmst Du aber am Besten Leute dazu, die sich gut mit so etwas auskennen, denn das ist schon wieder die nächst-höhere Liga!
All das ist sicherlich nicht zum 0-Tarif zu haben, aber mit einer vernünftig geplanten Investition sollte sich das Projekt über die Jahre rechnen, denke ich.
Grüße,
Frank
Für Ordentliche Lösungen wird man immer einen batzen zahlen müssen.
Zumal es auch Interessant sein dürfte wie z.b. ARD, ZDF, WDR, Sat.1/Pro7/Kabel1/N24 ihre digitalen Inhalte Speichern dürften.
Eine Lösung für ein Jahr wäre das Gehäuse von Chenbro RM91250
50x 3,5" HDD SAS
Wäre also Schonmal SAS-fähig womit man schonmal mit guten Controllern arbeiten kann.
Mittlerweile gibt es ja schon serverfestplatten mit 3TB (Seagate ES.2 ca 280,- und Hitachi Ultrastar ca 260,- ) bei 2TB wären es ca 160,- bis 180,-
Der Controller muss halt nur die Advanced Formatierung unterstüzen können.
Somit kämme man schon Netto auf ein jahr, die Frage ist Blos wie man den Netto Speicher Bruttomässig einsetzt ob Raid 50 oder Raid 60 mit genügend Spares, da gehen dann unter umständen der Speicherplatz von 6 oder 8 Platten Flötten.
Wenn man Mehrere Kleinere System nimmt z.b. für 24x 3,5" HDD und Trotzdem ein grosses system haben will, kann man sich Richtung Storage-Cloud umschauen.
Somit hätte man da shcon eine Art ausfallsicherheit, falls ein node ausfallen sollte.
Spontan fällt mir da nur Cloudian von Gemini ein.
Unterstüzt mehrere Petabyte und auch nicht zu verachten, es unterstüzt auch Amazon S3 Anwendungen.
Die Server können von Unterschiedlichen herstellern sein, das ist egal.
Einsetzbare OS sind Redhat 5 und CentOS
Hier ein link zu dem produkt: http://www.geminimobile.com/cloud-solutions/cloudian.php
mfg
klient
Zumal es auch Interessant sein dürfte wie z.b. ARD, ZDF, WDR, Sat.1/Pro7/Kabel1/N24 ihre digitalen Inhalte Speichern dürften.
Eine Lösung für ein Jahr wäre das Gehäuse von Chenbro RM91250
50x 3,5" HDD SAS
Wäre also Schonmal SAS-fähig womit man schonmal mit guten Controllern arbeiten kann.
Mittlerweile gibt es ja schon serverfestplatten mit 3TB (Seagate ES.2 ca 280,- und Hitachi Ultrastar ca 260,- ) bei 2TB wären es ca 160,- bis 180,-
Der Controller muss halt nur die Advanced Formatierung unterstüzen können.
Somit kämme man schon Netto auf ein jahr, die Frage ist Blos wie man den Netto Speicher Bruttomässig einsetzt ob Raid 50 oder Raid 60 mit genügend Spares, da gehen dann unter umständen der Speicherplatz von 6 oder 8 Platten Flötten.
Wenn man Mehrere Kleinere System nimmt z.b. für 24x 3,5" HDD und Trotzdem ein grosses system haben will, kann man sich Richtung Storage-Cloud umschauen.
Somit hätte man da shcon eine Art ausfallsicherheit, falls ein node ausfallen sollte.
Spontan fällt mir da nur Cloudian von Gemini ein.
Unterstüzt mehrere Petabyte und auch nicht zu verachten, es unterstüzt auch Amazon S3 Anwendungen.
Die Server können von Unterschiedlichen herstellern sein, das ist egal.
Einsetzbare OS sind Redhat 5 und CentOS
Hier ein link zu dem produkt: http://www.geminimobile.com/cloud-solutions/cloudian.php
mfg
klient
Hi,
ich würde auf jeden Fall zu 2TB Near-Line SAS HDD's raten, aktuell sind die 3TB NL-SAS auch schon am kommen, ist halt ne Preisfrage...
Hast dich schon mal mit ZFS & NexentaStor beschäftigt? - Da kann man ohne Probleme solche großen Konstellationen konfigurieren und problemlos erweitern - mit gängiger Serverhardware ist ein halbes PB ohne größere Probleme möglich.
Google einfach mal "NexentaStor Unified Storage"
lässt sich auch als HA-Cluster mit zwei Köpfen konfigurieren, Replikation zu zwei Standorten ebenfalls möglich, und das beste: In dieser Größe kostet das System ungefähr nur ein Drittel eines NetApp Systems - Performancetechnisch und aus Sicht der Datensicherheit und Integrität ist ZFS auch Raid-DP und WAFL überlegen..
Bei Interesse einfach melden
ich würde auf jeden Fall zu 2TB Near-Line SAS HDD's raten, aktuell sind die 3TB NL-SAS auch schon am kommen, ist halt ne Preisfrage...
Hast dich schon mal mit ZFS & NexentaStor beschäftigt? - Da kann man ohne Probleme solche großen Konstellationen konfigurieren und problemlos erweitern - mit gängiger Serverhardware ist ein halbes PB ohne größere Probleme möglich.
Google einfach mal "NexentaStor Unified Storage"
lässt sich auch als HA-Cluster mit zwei Köpfen konfigurieren, Replikation zu zwei Standorten ebenfalls möglich, und das beste: In dieser Größe kostet das System ungefähr nur ein Drittel eines NetApp Systems - Performancetechnisch und aus Sicht der Datensicherheit und Integrität ist ZFS auch Raid-DP und WAFL überlegen..
Bei Interesse einfach melden
Hallo Stefan,
Was sind das denn für Daten? Wenn es z.B. Videos sind könnte eventuell ein anderer Codec oder eine andere Auflösung helfen...
Gruß
Mathias
Was sind das denn für Daten? Wenn es z.B. Videos sind könnte eventuell ein anderer Codec oder eine andere Auflösung helfen...
Gruß
Mathias
Zitat von @matsahm:
Was sind das denn für Daten? Wenn es z.B. Videos sind könnte eventuell ein anderer Codec oder eine andere Auflösung helfen
Herr, lass Hirn regnen ......Was sind das denn für Daten? Wenn es z.B. Videos sind könnte eventuell ein anderer Codec oder eine andere Auflösung helfen
Hallo,
und?
den Rest vom Beitrag auch gelesen udn verstanden`?
Oder was haben die Videocodecs mit der Speicherbarkeit in Großen Mengen zutun?
brammer
und?
den Rest vom Beitrag auch gelesen udn verstanden`?
Oder was haben die Videocodecs mit der Speicherbarkeit in Großen Mengen zutun?
brammer
Menno,
er will doch nur von kino.to ein Backup anlegen, ihr seid aber auch ,......tztztztz
PS: für alles die es nicht verstehen, war ein SPASS !!!!
er will doch nur von kino.to ein Backup anlegen, ihr seid aber auch ,......tztztztz
PS: für alles die es nicht verstehen, war ein SPASS !!!!
Hallo,
wenn man Projektdaten speichert, dann i.d.R. die RAW-Daten, und nicht irgendwelchen Datenreduzierten Mist.
Denn kann man aus den RAW-Daten immer wieder bei Bedarf erzeugen.
K.
wenn man Projektdaten speichert, dann i.d.R. die RAW-Daten, und nicht irgendwelchen Datenreduzierten Mist.
Denn kann man aus den RAW-Daten immer wieder bei Bedarf erzeugen.
K.
Hallo,
Aber zur Archivierung würde der Mist vielleicht ja ausreichen... Zumal es Codecs gibt, welche verlustfrei komprimieren.
Gruß
Mathias
Aber zur Archivierung würde der Mist vielleicht ja ausreichen... Zumal es Codecs gibt, welche verlustfrei komprimieren.
Gruß
Mathias
Hallo ThomasKrenn,
zumindest kann man Dir nicht vorwerfen, dass Du mit Deiner "Vereinszugehörigkeit" hinter'm Berg hältst.
Trotzdem würde ich persönlich mich unwohl fühlen, wenn sich auf mein Posting in einem nicht firmen-gebundenen Board gleich ein Vertriebler meldet - aber das muss jeder für sich eintscheiden.
Zurück zum Thema:
Ich habe Deine Anregung befolgt, nach den Stichworten gegoogelt und finde mit den ersten Treffern eine Storage-Lösung vor, die im maximalen Plattenausbau gerade einmal 24x 2TB (oder vielleicht später einmal 24x 3TB) Platz bietet. Ob Stefans Kunde es wirklich als eine tolle neue Lösung ansieht, wenn er nach wie vor 50 t€ p.a. für 2..3 neue Festplattenstapel zahlt???
zumindest kann man Dir nicht vorwerfen, dass Du mit Deiner "Vereinszugehörigkeit" hinter'm Berg hältst.
Trotzdem würde ich persönlich mich unwohl fühlen, wenn sich auf mein Posting in einem nicht firmen-gebundenen Board gleich ein Vertriebler meldet - aber das muss jeder für sich eintscheiden.
Zurück zum Thema:
Ich habe Deine Anregung befolgt, nach den Stichworten gegoogelt und finde mit den ersten Treffern eine Storage-Lösung vor, die im maximalen Plattenausbau gerade einmal 24x 2TB (oder vielleicht später einmal 24x 3TB) Platz bietet. Ob Stefans Kunde es wirklich als eine tolle neue Lösung ansieht, wenn er nach wie vor 50 t€ p.a. für 2..3 neue Festplattenstapel zahlt???
