stefankittel
Goto Top

Wie lagert man sehr große Datenmenge aus? 150 TB pro Jahr

Hallo,

eine Anfrage eines Kunden von uns bringt mich ins Grübeln und ich möchte Euch bitten mir den einen oder anderen Tipp zu geben.

Es geht um das externe auslagern von Daten von abgeschlossenen Projekten.
Es handelt sich um die gesamten Projektdaten mit einer Menge von ca. 50 GB bis 5 TB pro Projekt und ca. 50 Projekt im Jahr. Also eine Datenmenge von ca. 150 TB pro Jahr.
Aktuell sammeln die im Keller verschiedenste NASe(n). Aber man darauf in 2 Jahren noch zugreifen kann, wo was gespeichert ist weiß Niemand.
Man muss auch sehr selten ran. Aber es gab wohl schon den Fall, dass Jemand das falsche NAS gelöscht hat.

Info: Die Daten sind bereits komprimiert.
Info: Es handelt sich um die einzige Kopie der Daten und es ist nicht möglich diese Daten an anderere Stelle egal mit welchem Aufwand zu regenerieren.

Wie lagert man solche Daten sicher aus?

Onlinesicherung (Amazon S3 oder sonstige)
kostet ca. 6000 Euro im Monat und mind. 50MBit Upload wäre schon notwendig.
Außerdem benötigt man trotzdem eine Datensicherung falls bei denen doch mal was schief geht.
Oder man muss bei 2 Anbietern sein.

Lokales SAN
Die größten Festplatten für den Dauerbetrieb die ich kenne sind 2TB groß.
Also grob 90 Festplatten bei RAID6 pro Jahr.
Nach 5 Jahren mind 450 Festplatten (und alle 3 Jahre alle Austauschen und umkopieren)
Ungefähr 250 Festplatten pro 19" Rack. Also 2 volle Racks

Zusammenfassung:
- Die Up- und Downloadgeschwindigkeit ist wichtig (max 24 Stunden)
- Die sonstige Geschwindigkeit nicht
- Keine CPU Last oder ähnliches
- Festplatten können auch schlafen oder ähnliches

Nein, ich will sowas nicht bei mir Zuhause im Keller machen face-smile

Danke

Stefan

Nachträge:
- Die Daten sollen unbegrentz aber mind 10 Jahre aufbewahrt werden

Content-Key: 173053

Url: https://administrator.de/contentid/173053

Ausgedruckt am: 29.03.2024 um 14:03 Uhr

Mitglied: Dani
Dani 13.09.2011 um 20:58:37 Uhr
Goto Top
Hallo Stefan,
Onlinesicherung (Amazon S3 oder sonstige)
Schau mal bei Heise.de nach, da gab's vor kurzem einen größeren Ausfall mit Datenverlust!

Wie lange müssen die Projektdaten aufgehoben werden? Ist das bei allen Projekten gleich lang oder unterscheidet sich dies je Projekt?!
Des Weiteren würde ich mir mal überlegen, wie du solche Datenmengen einfach sichern willst. Ich würde auf Netapp Metrocluster setzen. Bei Ausfall des Primärsystems springt sofort das Backupsystem ein und alles läuft weiter wie bisher. Das Backupsystem sollte soweit wie möglich von aktiven System weg sein.

In dieser Größe wirst du mit 0815 NAS-System nicht weit kommen. Ich würde daher auf Netapp bauen. So ne FAS32xx mit 2 Köpfen sollte gut reichen. Alle kleinen Modellen können die Anzahl der Platte nicht verwalten. Über Köpfe (Controller) und Festplatten-Shelfs den Netappservice für x Jahre konfigurieren und du bekommst die Plattenausfälle ersetzt. Kostet natürlich eine stange Geld.

Edit: Synologys neue Geräte können wohl max. 100TB verwalten. D.h. du brächtest davon eben ein paar. Identische Geräte können sich auch spiegeln.


Grüße,
Dani
Mitglied: StefanKittel
StefanKittel 13.09.2011 um 21:03:45 Uhr
Goto Top
Zitat von @Dani:
> Onlinesicherung (Amazon S3 oder sonstige)
Schau mal bei Heise.de nach, da gab's vor kurzem einen größeren Ausfall mit Datenverlust!
Deshalb ja 2 Online-Anbieter oder zusätzlich noch eine lokale Sicherung

Wie lange müssen die Projektdaten aufgehoben werden? Ist das bei allen Projekten gleich lang oder unterscheidet sich dies je
Projekt?!
Alle Daten sollen unbegrentz aber mind 10 Jahre aufbewahrt werden

Des Weiteren würde ich mir mal überlegen, wie du solche Datenmengen einfach sichern willst.
Keine Ahnung face-smile

Ich würde auf Netapp
Metrocluster setzen. Bei Ausfall des Primärsystems springt sofort das Backupsystem ein und alles läuft weiter wie
bisher. Das Backupsystem sollte soweit wie möglich von aktiven System weg sein.

In dieser Größe wirst du mit 0815 NAS-System nicht weit kommen. Ich würde daher auf Netapp bauen. So ne FAS32xx
mit 2 Köpfen sollte gut reichen. Alle kleinen Modellen können die Anzahl der Platte nicht verwalten. Über
Köpfe (Controller) und Festplatten-Shelfs den Netappservice für x Jahre konfigurieren und du bekommst die
Plattenausfälle ersetzt. Kostet natürlich eine stange Geld.
Wenn Die Daten weg sind wirds teurer

Was mich irritiert ist, dass es dafür nicht Lösungen von der Stange gibt.
Bei vielen Firmen müssen doch solche Datenmengen anfallen, Gescannte Belege, Multimedia, etc.
Mitglied: filippg
filippg 13.09.2011 um 21:14:14 Uhr
Goto Top
Hallo,

Was mich irritiert ist, dass es dafür nicht Lösungen von der Stange gibt.
Gibt's.
Rufe einen der großen Hersteller (IBM, EMC, NetApp) an und sag, was du brauchst. Ein freundlicher Sales-Mitarbeiter wird dich kurz danach besuchen kommen.
Wenn du an die Daten gelegentlich noch dran mußt dürfte Hierarchical Storage Management dein Stichwort sein. Ansonsten reicht eine Backupinfrastruktur auf Bandbasis...

Gruß

Filipp
Mitglied: GuentherH
GuentherH 13.09.2011 um 21:14:25 Uhr
Goto Top
Hi.

Bei vielen Firmen müssen doch solche Datenmengen anfallen, Gescannte Belege, Multimedia, etc.

Korrekt. Und da kommt dann der Begriff Jukebox ins Spiel. Wie hier z.B. - http://www.incom.de/optische_jukeboxen.html

LG Günther
Mitglied: StefanKittel
StefanKittel 13.09.2011 um 21:18:21 Uhr
Goto Top
Check,

Aber egal wie und wo, irgendwo müssen die Daten ja rauf.
Also HDDs, LTO, UDO oder ähnliches

LTO8 würde das Problem lösen, aber die sind ja erst bei 5.

Und da kommen wir wieder zum Dilema mit dem Geld, Aktuell geben die geschätzt 50k im Jahr aus für 50NAS mit Festplatten.
Für eine Sch... Lösung um es klar zu sagen.

Aber egal was ich plane liege ich sehr weit darüber

Danke an alle

Stefan
Mitglied: dog
dog 13.09.2011 um 21:30:20 Uhr
Goto Top
IBM, EMC, NetApp

Man beachte mal das Bild unter "No One Sells Cheap Storage"

http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build ...

(Mittlerweile dürfte es billiger sein).

Hast du eigentlich auch mal an die Stromrechnung gedacht? face-wink
Um Offline-Medien (Band-Roboter etc.) wirst du da nicht drum herum kommen.

Bei 450 Festplatten wird auch statistisch mindestens eine pro Woche ausfallen...
Mitglied: Ickmus
Ickmus 13.09.2011 um 21:42:30 Uhr
Goto Top
Hallo,

das preiswerteste Archiv-Medium ist und bleibt Tape.

Ein kleiner LTO5 Autoloader mit 8 Slots, und du hast 12TB verfügbar.
Sind die Bänder voll, kaufst du halt 8 neue, macht bei ca. 55 Euro pro Band insgesammt 440 Euro.

Bänder lassen sich platzsparend Lagern, im gegensatz zu NAS-Boxe, und ausserdem auch einfach beschriften.
Und der Autoloader verbraucht auch viel weniger Strom als ein Festplatten System.

Und wahrscheinlich ist der Autoloader noch um Lägen billiger als ein Disk-System dass dir entsprechende Kapazitäten bereitstellt.

Und LTO-Medien bieten, bei entsprechender Lagerung, Datensicherheit für 30 Jahre.

K.
Mitglied: Lochkartenstanzer
Lochkartenstanzer 13.09.2011 um 21:43:17 Uhr
Goto Top
Zitat von @StefanKittel:
LTO8 würde das Problem lösen, aber die sind ja erst bei 5.

Du hast noch nie einen Bandroboter gesehen der einen ganzen Raum voll Bänder gestapelt hat. face-smile Da bekommt man Exabytes und mehr unter.


Und da kommen wir wieder zum Dilema mit dem Geld, Aktuell geben die geschätzt 50k im Jahr aus für 50NAS mit
Festplatten.

Mit 50k brauchst Du da gar nicht erst anzufangen, wenn Du eine ordentliche Lösung willst. Alles was ein ordentliches Backup und Archiv in den genannten Größenordnungen macht, wird mindestens sechsstellig.


lks
Mitglied: userpulsar
userpulsar 13.09.2011 um 22:18:39 Uhr
Goto Top
Hi,

das mit den LOT5 Bändern und einem großen Wechsler (http://www.oracle.com/us/products/servers-storage/storage/tape-storage/ ..) denke ich isollte gehen. Wenn die Daten auch hochverfügbar sein sollten würde ich sam-fs einsetzen. (http://www.init-bs.com/download/SunStorageDay_SAM-FS-Roadshow.pdf)

Gruß der Pulsar
Mitglied: StefanKittel
StefanKittel 13.09.2011 um 22:19:29 Uhr
Goto Top
Zitat von @Lochkartenstanzer:
Du hast noch nie einen Bandroboter gesehen der einen ganzen Raum voll Bänder gestapelt hat. face-smile
Doch... Es hat mal einer versucht mich umzubringen. Zum Glück hat die automatische "Sicherung" gegriffen... War aber noch zu DAT-Zeiten...

Stefan
Mitglied: Koma1982
Koma1982 14.09.2011 um 10:26:50 Uhr
Goto Top
Zitat von @StefanKittel:
Aber egal was ich plane liege ich sehr weit darüber


Was zu erwarten ist / war, zumindest wenn du die Jahre einzeln betrachtest.

Wenn du dir jedoch ein anstädiges System ( IBM 3584 z.B. ) hinstellst mit 1000 Slots auf LTO-5 Basis und somit 1500TB hinstellst hast du zwar Anschaffungskosten von 250k+ ( Generalüberholt mit 6 LTO-5 Laufwerken ca. 75k ), die laufenden Kosten sinken jedoch gewaltig. Noch dazu würde man dann auf eine professionelle Lösung übergehen und hat deutlich weniger Verwaktungsarbeit da man alles zentral ablegt.
Mitglied: StefanKittel
StefanKittel 15.09.2011 um 23:38:34 Uhr
Goto Top
Hallo,
grundsätzlich ja, aber...
Ich habe leider schon zu viele Bandsicherungen gesehen die für die Tonne waren.
ca. 15% nicht erkannte Laufwerksfehler
Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder nicht lesen

ca. 85% Softwarefehler
Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die Bänder voll oder alt waren.

Meine "Hauptangst" dabei ist aber eher, dass es dann LTO6 und Windows9 gibt worauf die eingesetzte Software nicht läuft und die neue kann die alten Sicherungen nicht lesen.

Die Alternative bleiben Festplatten.
Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten rauskopieren, Festplatten beschriften und in den Schrank tun.
Nach 3 Jahres alles auf neue (doppelt so große) Festplatten umkopieren.
Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.

Die Kosten sind vergleichbar pro TB sind vergleichbar.
Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.

Ob das dann noch "professional" genannt werden darf ist ne andere Frage.

Stefan
Mitglied: 99045
99045 16.09.2011 um 00:15:06 Uhr
Goto Top
[OT]
Hi,

war das damals schön, als die Datenmengen noch überschaubar waren und es MO-Laufwerke gab, deren damals verwendete Medien (in Cartridges) noch heute fehlerfrei lesbar sind. face-smile
Die Zeiten sind leider vorbei.

Gruß
[/OT]
Mitglied: StefanKittel
StefanKittel 16.09.2011 um 07:54:54 Uhr
Goto Top
Zitat von @99045:
war das damals schön, als die Datenmengen noch überschaubar waren und es MO-Laufwerke gab, deren damals verwendete
Medien (in Cartridges) noch heute fehlerfrei lesbar sind. face-smile
Die Zeiten sind leider vorbei.
Warum? Es gibt inzwischen UDO. Das scheint mir mehr oder weniger der Nachfolger.
Allerdings mit nur maximal 60GB pro Disk.
Da braucht man dann wirklich ne Jukebox.

Stefan
Mitglied: Lochkartenstanzer
Lochkartenstanzer 16.09.2011 um 08:36:57 Uhr
Goto Top
Zitat von @StefanKittel:
Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder
nicht lesen

Genau deswegen ist es wichtig, regelmäßig die Backups auch zu überprüfen. Und zwar auf einem zweiten System die Daten zurückzuspeilen und midensten einmal im Jahr "desaster recovery" zu übern. Ich weiß macht fast keiner. Die merken es dann immer im Ernstfall.



ca. 85% Softwarefehler
Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die
Bänder voll oder alt waren.

Das ist eine Frage der Organisation. Egal welches Medium Du nimmst, dieses Problem hast Du immer, ja auch bei Festplatten. (z.B. Keiner merkt, daß die vollgelaufen sind und keine "neuen" Daten mehr aufnehmen).


Meine "Hauptangst" dabei ist aber eher, dass es dann LTO6 und Windows9 gibt worauf die eingesetzte Software nicht
läuft und die neue kann die alten Sicherungen nicht lesen.

Umkopieren ist das Stichwrt, wenn sowas auftauchen sollte. Oder man mottet einige alte Systeme mit ein, was bei wichtigen Daten üblich ist.


Die Alternative bleiben Festplatten.
Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten
rauskopieren, Festplatten beschriften und in den Schrank tun.

Laß mal eine Festplatte fallen und eine Bandkasette. Dann merkst Du den Unterschied.

Und für unbedarfte Benutzer ist das Handling mit Festplatten komplizierter.

Nach 3 Jahres alles auf neue (doppelt so große) Festplatten umkopieren.
Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.

Sofern Du das ordentlich organisiert bekommst, ist das sicher eine Lösung für Dich. Aber die Erfahtung sagt, daß man vor lauter Tagesgeschäft an sowas nicht mehr denkt, oder nur dann, wenn es zu spät ist.


Die Kosten sind vergleichbar pro TB sind vergleichbar.
Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.

Nicht die Kosten sind in erster Linie das Problem, sondern, daß Du Deine Daten in 10 Jahren noch hast.

Ob das dann noch "professional" genannt werden darf ist ne andere Frage.

Auch für Festplatten gibt es gute Hotplug-Systeme und Gehäuse mit "Fallsicherung" Die sind dann allerdings nicht so gübstig wie die USB-Platten vom Blödmarkt.


lks

PS: Ich habe immer noch funktionierende Syquest-Laufwerke 44MB und 88MB samt den Datensicherungen von vor 18 Jahren., wem das noch etwas sagt. Die waren damals in der Druckvorstufe mit Macs sehr in Mode.
Mitglied: Koma1982
Koma1982 16.09.2011 um 08:43:02 Uhr
Goto Top
Es gab zwischendrin mal UDO wäre wohl die bessere Wortwahl. Ist längst wieder Geschichte, Jukebox technisch gibts neu eigentlich nur noch BlueLaser DVD ...
Mitglied: Ickmus
Ickmus 16.09.2011 um 09:05:11 Uhr
Goto Top
Moin,

Ich habe leider schon zu viele Bandsicherungen gesehen die für die Tonne waren.
Das liegt an der Organisation bzw. am Konzept des jeweiligen Backups.
Wenn man seine Backups nicht überprüft ist man selber schuld.

ca. 15% nicht erkannte Laufwerksfehler
Was waren das für Laufwerke?

Besonders bei DAT damals. Der Kopf dejustierte sich mit der Zeit, das Laufwerk ging kaputt und eine neues konnte die Bänder
nicht lesen
Du willst ja wohl nicht wirklich DAT-Laufwerke mit LTO-Laufwerken vergleichen??
LTO ist da eine _ganz_ andere Liga.


ca. 85% Softwarefehler
Von falsch konfigurieter Software bis zu Fehlern in der Software oder einfach weil sich Niemand drum kümmerte, dass die
Bänder voll oder alt waren.
Wenn man das Werkzeug mit dem man arbeitet nicht wirklich kennt sollte man evtl. jemanden fragen der sich damit auskennt.
Und wenn das Konzept für das Backup schei**e ist (und die Backups nicht regelmäßig auf Lesbarkeit geprüft werden, und Restore-Tests gemacht werden), dann helfen auch evtl. die Gelben Seiten.


Meine "Hauptangst" dabei ist aber eher, dass es dann LTO6 und Windows9 gibt worauf die eingesetzte Software nicht
läuft und die neue kann die alten Sicherungen nicht lesen.
Wenn man sich bei so langfristigen Projekten auf Windows verlässt..... selber schuld.
Linux und tar kann man sicher auch noch in 10 Jahren mit den denn erhältlichen Distributionen lesen.
Aber mind. mit den bisher erhältlichen.
Offene Standarts sind bei so langfristigen Projekten immer besser als proprietäre Formate.

Und LTO kann _immer_ 2 Generationen vorher lesen.
Also mit LTO5 kannst du auch LTO3 Medien lesen.

Aber um dich mal etwas zu beruhigen.
Backup Exec 2010R3 kann Backups, die mit Backup Exec 8.5 geschrieben wurden immer noch lesen (vorrausgesetzt das Laufwerk ist noch vorhanden).

Und warum sollte man überhaupt das Betriebssystem des Backup/Archiv-Rechners während des Projektes wechseln??


Die Alternative bleiben Festplatten.
Einfach ein großes Gehäuse und für jeden Job (max 5 TB in diesem Falle) x Festplatten reinschubsen, Daten
rauskopieren, Festplatten beschriften und in den Schrank tun.
Und du glaubst dass in 5 Jahren dein großes Gehäuse noch mit den dann erhältlichen großen Festplatten umgehen kann?
Es gibt doch jetzt schon interessante Effekte mit den 3TB Platten.
Die laufen nicht in jedem NAS/Storage System.
Und du meinst du bekommst dann noch ein Firmwareupdate für das Gehäuse in 5 Jahren damit dies mit den großen Festplatten umgehen kann?

Nach 3 Jahres alles auf neue (doppelt so große) Festplatten umkopieren.
Und die Arbeitszeit musst du natürlich auch einkalkulieren und in die Kosten einbeziehen.

Zur Sicherheit das ganze doppelt (würde ich beim Band auch machen) und getrennt lagern.
Doppelt gespeicherte Daten sind immer gut.


Die Kosten sind vergleichbar pro TB sind vergleichbar.
Das Laufwerk ist teurer als ein guter Raid-Controller aber nur minimal.
Dafür sind die LTO5 Medien preiswerter als (große) Festplatten.
Und der Preis wird mittelfristig erheblich sinken, auf ca. 25-30 Euro pro Medium, so wie jetzt bei LTO4.


Ob das dann noch "professional" genannt werden darf ist ne andere Frage.
Die Frage, die du dir stellen musst ist: "was muss ich tun damit die Daten in 10 Jahren noch lesbar sind."
Wenn deine Maßnahmen dazu führen dass die Daten in 10 Jahren noch lesbar sind, dann war das "professionell" genug.

K.
Mitglied: FraDom
FraDom 19.09.2011 um 11:33:36 Uhr
Goto Top
Hallo Stefan,
ich kann mich dem allgemeinen Tenor hier nur anschließen:
Eine seriöse Lösung für die von Dir geschilderte Kundenanfrage basiert auf Tapes! Und bei den geschilderten Datenmengen kommt vernünftigerweise eigentlich auch nur LTO-5 in Frage.

Kostenseitig bist Du mit Tapes in jeder Hinsicht auf der besseren Seite:
Die einzelne Bandkassette kostet gerade mal so viel wie eine Billig-HD - aber die willst Du nicht wirklich verwenden, wenn die Daten 10 Jahre und mehr darauf halten sollen.
Und dann rechne gleich mal die zweite Kopie mit ein... (die Du an einem "entfernten, sicheren Ort" lagerst)
Selbst eine gut ausgebaute Tape-Library ist günstiger zu haben, als eine professionelle SAN-Lösung in der hier geschilderten Größe.
Auch die Stromkosten sprechen für die Tape-Lösung.

Außerdem ist wie schon von anderen erwähnt die Bedienung von Bandgräten auch von Laien machbar - Festplatten würde ich denen selbst dann nicht gern in die Hand geben, wenn ich gute Hot-Plug-Rahmen hätte.

Die Verlässlichkeit der Bänder selbst ist bei LTO wesentlich höher, als seinerzeit bei DAT, auch darauf haben schon andere vor mir hingewiesen.

Bleiben also die Fragen zu klären: "Wie verlässlich ist die Backup-Software?" und "Wie schnell muss ggf. auf alte Daten zugegriffen werden?"

Und auch hier kann ich mich den Vorrednern nur anschließen:
Ein reifes Backup-Produkt wie z.B. Symantec BackupExec oder NetBackup bzw. HP DataProtector (würde ich persönlich wg. der i.d.R. günstigeren Lizenzkosten vorziehen - ist aber im Einzelfall zu prüfen) sollte auch noch nach vielen Jahren mitspielen.
Für die passende Konfiguration wärest Du als Dienstleister natürlich verantwortlich, desgleichen für eine Arbeitsanweisung, die einen Check des täglichen Backups enthält.

Und falls der Kunde tatsächlich darauf besteht, auch 10 Jahre alte Daten noch "schnell" im Zugriff zu haben, dann musst Du tatsächlich ein HSM einplanen. Dazu nimmst Du aber am Besten Leute dazu, die sich gut mit so etwas auskennen, denn das ist schon wieder die nächst-höhere Liga!

All das ist sicherlich nicht zum 0-Tarif zu haben, aber mit einer vernünftig geplanten Investition sollte sich das Projekt über die Jahre rechnen, denke ich.

Grüße,
Frank
Mitglied: derklient
derklient 19.09.2011 um 12:21:59 Uhr
Goto Top
Für Ordentliche Lösungen wird man immer einen batzen zahlen müssen.

Zumal es auch Interessant sein dürfte wie z.b. ARD, ZDF, WDR, Sat.1/Pro7/Kabel1/N24 ihre digitalen Inhalte Speichern dürften.

Eine Lösung für ein Jahr wäre das Gehäuse von Chenbro RM91250
50x 3,5" HDD SAS

Wäre also Schonmal SAS-fähig womit man schonmal mit guten Controllern arbeiten kann.

Mittlerweile gibt es ja schon serverfestplatten mit 3TB (Seagate ES.2 ca 280,- und Hitachi Ultrastar ca 260,- ) bei 2TB wären es ca 160,- bis 180,-
Der Controller muss halt nur die Advanced Formatierung unterstüzen können.

Somit kämme man schon Netto auf ein jahr, die Frage ist Blos wie man den Netto Speicher Bruttomässig einsetzt ob Raid 50 oder Raid 60 mit genügend Spares, da gehen dann unter umständen der Speicherplatz von 6 oder 8 Platten Flötten.


Wenn man Mehrere Kleinere System nimmt z.b. für 24x 3,5" HDD und Trotzdem ein grosses system haben will, kann man sich Richtung Storage-Cloud umschauen.
Somit hätte man da shcon eine Art ausfallsicherheit, falls ein node ausfallen sollte.

Spontan fällt mir da nur Cloudian von Gemini ein.
Unterstüzt mehrere Petabyte und auch nicht zu verachten, es unterstüzt auch Amazon S3 Anwendungen.
Die Server können von Unterschiedlichen herstellern sein, das ist egal.

Einsetzbare OS sind Redhat 5 und CentOS

Hier ein link zu dem produkt: http://www.geminimobile.com/cloud-solutions/cloudian.php

mfg
klient
Mitglied: ThomasKrenn
ThomasKrenn 19.09.2011 um 12:40:51 Uhr
Goto Top
Hi,

ich würde auf jeden Fall zu 2TB Near-Line SAS HDD's raten, aktuell sind die 3TB NL-SAS auch schon am kommen, ist halt ne Preisfrage...

Hast dich schon mal mit ZFS & NexentaStor beschäftigt? - Da kann man ohne Probleme solche großen Konstellationen konfigurieren und problemlos erweitern - mit gängiger Serverhardware ist ein halbes PB ohne größere Probleme möglich.

Google einfach mal "NexentaStor Unified Storage"

lässt sich auch als HA-Cluster mit zwei Köpfen konfigurieren, Replikation zu zwei Standorten ebenfalls möglich, und das beste: In dieser Größe kostet das System ungefähr nur ein Drittel eines NetApp Systems - Performancetechnisch und aus Sicht der Datensicherheit und Integrität ist ZFS auch Raid-DP und WAFL überlegen..

Bei Interesse einfach melden face-wink
Mitglied: matsahm
matsahm 19.09.2011 um 13:28:57 Uhr
Goto Top
Hallo Stefan,

Was sind das denn für Daten? Wenn es z.B. Videos sind könnte eventuell ein anderer Codec oder eine andere Auflösung helfen...

Gruß
Mathias
Mitglied: 99045
99045 19.09.2011 um 14:13:11 Uhr
Goto Top
Zitat von @matsahm:
Was sind das denn für Daten? Wenn es z.B. Videos sind könnte eventuell ein anderer Codec oder eine andere Auflösung helfen
Herr, lass Hirn regnen ......
Mitglied: brammer
brammer 19.09.2011 um 14:20:10 Uhr
Goto Top
Hallo,

und?
den Rest vom Beitrag auch gelesen udn verstanden`?

Oder was haben die Videocodecs mit der Speicherbarkeit in Großen Mengen zutun?

brammer
Mitglied: userpulsar
userpulsar 19.09.2011 um 14:52:39 Uhr
Goto Top
Menno,

er will doch nur von kino.to ein Backup anlegen, ihr seid aber auch ,......tztztztz


PS: für alles die es nicht verstehen, war ein SPASS !!!!
Mitglied: Ickmus
Ickmus 19.09.2011 um 16:39:09 Uhr
Goto Top
Hallo,

wenn man Projektdaten speichert, dann i.d.R. die RAW-Daten, und nicht irgendwelchen Datenreduzierten Mist.
Denn kann man aus den RAW-Daten immer wieder bei Bedarf erzeugen.

K.
Mitglied: matsahm
matsahm 19.09.2011 um 19:18:14 Uhr
Goto Top
Hallo,

Aber zur Archivierung würde der Mist vielleicht ja ausreichen... Zumal es Codecs gibt, welche verlustfrei komprimieren.


Gruß
Mathias
Mitglied: FraDom
FraDom 20.09.2011 um 09:48:21 Uhr
Goto Top
Hallo ThomasKrenn,
zumindest kann man Dir nicht vorwerfen, dass Du mit Deiner "Vereinszugehörigkeit" hinter'm Berg hältst.

Trotzdem würde ich persönlich mich unwohl fühlen, wenn sich auf mein Posting in einem nicht firmen-gebundenen Board gleich ein Vertriebler meldet - aber das muss jeder für sich eintscheiden.

Zurück zum Thema:
Ich habe Deine Anregung befolgt, nach den Stichworten gegoogelt und finde mit den ersten Treffern eine Storage-Lösung vor, die im maximalen Plattenausbau gerade einmal 24x 2TB (oder vielleicht später einmal 24x 3TB) Platz bietet. Ob Stefans Kunde es wirklich als eine tolle neue Lösung ansieht, wenn er nach wie vor 50 t€ p.a. für 2..3 neue Festplattenstapel zahlt???