kuletob
Goto Top

36TB Online - 160TB Offline - Speicher im heimischen LAN nutzen. Wie macht man das besser?

Hallo allerseits,
wenn in einem LAN 3 NAS-Geräte mit je 12TB (24/7) stets verfügbar sind
und 80 USB-Festplatten mit 2TB zur Verfügung stehen, die man
abwechselnd an einen Rechner anbindet. Wie schafft man es diese
vielen Speicherorte als einen großen Speicherort nutzbar zu machen?

Jeder macht das anders. Wie würdet Ihr diese 196TB für einen
optimalen Datenzugriff verfügbar machen? Alle Daten abwechselnd
angeschlossen zu schreiben über USB dauert geschätzte 60 Tage.
Da verliert man leicht den Überblick was noch wo gespeichert war.
Wie würdet Ihr das machen?
Kuletob

Content-Key: 353758

Url: https://administrator.de/contentid/353758

Printed on: April 26, 2024 at 11:04 o'clock

Member: lcer00
Solution lcer00 Nov 05, 2017 at 21:48:19 (UTC)
Goto Top
Hallo,

Ein paar Details zum Sinn des Ganzen und Betriebssystemkontext wären hilfreich.

Ansonsten, was die NAS angeht NFS oder DFS. Aber die 80 USB Platten machen mir Sorgen....

Grüße

lcer
Member: BassFishFox
Solution BassFishFox Nov 05, 2017 at 21:55:43 (UTC)
Goto Top
Hallo,

Wie würdet Ihr diese 196TB für einen optimalen Datenzugriff verfügbar machen?

Eventuell alles auf einen zentralen Speicher? Ok, 200 TB und mehr gibt es mal nicht fuer so kleines Geld. Da stapeln sich schon einige Racks. face-wink

Ansonsten alle Onlinespeicher z.b. mittels FreeNAS oder halt DFS buendeln, wenn Deine NAS das mitmachen.

Was treibst Du eigentlich mit den 80 Platten? Ist da schon irgendwas gedacht mit Backup oder ist das das Backup?

BFF
Mitglied: 108012
Solution 108012 Nov 06, 2017 at 07:01:23 (UTC)
Goto Top
Hallo,

zuerst einmal habe ich etwas Bauchschmerzen mit der Frage wie wir das machen würden, denn zum Einen ist erst
einmal wichtig wie viel Geld Du hast oder dafür von mir aus auch nach und nach ausgeben möchtest und zum Anderen
würde ich einmal zusehen dass wir uns hier auch über ein paar andere Sachen unterhalten und solche Informationen sind
eigentlich eher eine Bringschuld als eine Holschuld.
- Was sind das für Daten? Video, Audio, Graphik, Dokumente, Officedateien oder alles gemischt?
- Wie oft müssen diese Daten denn zur Verfügung gestellt werden? Videos nur sporadisch und Officedateien immer.
- Was ist das für eine Gebäudeeinheit? Wohnung, Haus, Hochhaus und ist das Eigentum oder zur miete?
Ich frage dass nur weil so etwas auch richtig Strom kostet und zieht und der muss auch vorhanden sein!
Denn was nützen einem 3 richtig NAS Geräte und zwei Quantum LTO-7 Autoloader 3 und der Strom dafür
ist gar nicht vorhanden, oder das ganze Wohnviertel kann kein Video schauen weil die Waschmaschine
gerade läuft. Sollte das alles nur für die Familie sein, und Ihr benutzt Apple Mac´s, dann lieber gleich
ein QNAP NAS mit zwei Erweiterungseinheiten und den Rest in die Cloud packen, das wäre schnell
und trotz alledem "bezahlbar".

Man kann das schon auf die eine oder andere Art und Weise erledigen, gar keine Frage, aber man sollte auch
an diverse Eckdaten denken und die sehe ich hier eben nicht gegeben, also wäre schon nett wen da mehr Infos
kommen von Dir denn das ist doch wohl eher schon die Größe einer kleinen bis mittleren Firma und nicht die
einer Zweizimmerwohnung mit TV, Radio, Geschirrspüler und Waschmaschine.

36TB Online - 160TB Offline - Speicher im heimischen LAN nutzen. Wie macht man das besser?
Auf die schnelle und aufgrund der fehlenden Angaben, ist mir da auch nichts besseres untergekommen als;
- 1 x 19" - 18 HE - Netzwerkschrank mit Glastür, Fachböden und 1 Zubehör Schublade ~600 €
(BxTxH) 600x800x1000mm
- 2 x QNAP TS-1673U-RP
High-performance quad-core NAS with dual 10GbE SFP+ ports and redundant power supplies
- 2 x Quantum LTO-7 Autoloader 3 erweiterbar bis auf 16 Laufwerke in zwei Einheiten (Loadern)
Nicht günstig kann aber je nach Art und Beschaffenheit der Daten alles vollautomatisch sichern
- 32 x 8 TB Seagate ST8000AS0002 (SATA 600, Archive HDD v2) = 256 TB ~209 € pro Stück.

wenn in einem LAN 3 NAS-Geräte mit je 12TB (24/7) stets verfügbar sind
Das wird wohl so nichts werden, denn dann lieber zwei große und kräftige NAS und alles ist drinnen!
Für das Format muss man nämlich auch etwas abziehen und dann sind die 256 TB schnell eingeschmolzen!

und 80 USB-Festplatten mit 2TB zur Verfügung stehen, die man abwechselnd an einen Rechner anbindet.
Also das wäre mir ja auch irgend wie zu blöde, aber gut wie schon vorab erwähnt ist das dann wohl für ein
"kleines Geld" nicht anders machbar.

Wie schafft man es diese vielen Speicherorte als einen großen Speicherort nutzbar zu machen?
Cloud und mit der Angst des Verlustes leben und oder ordentlicher Hardware die auch käuflich
erstanden und bezahlt werden kann bzw. auch mit Strom versorgt werden kann.

Jeder macht das anders. Wie würdet Ihr diese 196TB für einen optimalen Datenzugriff verfügbar machen?
2 NAS und dann Backup via Autoloader oder abwechselnd in die Cloud. Bei LTO-7 kann man bis zu 15 TB
sicher pro Band das wären dann bei ca. ~200 TB an Daten dann ca. ~14 Bänder die Nacht die gesichert
werden müssen, aber die Daten müssen sich auch komprimieren lassen. Und in zwei Autoload gehen bis
zu 16 Laufwerke rein, das ist aber auch schon jenseits der 10.000 Euro Marke nur es gibt eben auch oftmals
in regionalen zeitungen Ankündigungen von Geschäftsauflösungen und dort kann man so etwas dann auch
wieder ganz günstig erstehen das man locker mit ca. ~5.000 Euro auskommt, nur für das heimische LAN
ist das eventuell auch wieder zu viel! Allerdinbgs soll es auch Autotuner geben die sich Ihren PKW (Auto)
für 150.000 Euro zurecht machen, also was soll es schon!

Alle Daten abwechselnd angeschlossen zu schreiben über USB dauert geschätzte 60 Tage.
Ja ne klar das wäre dann wohl auch eine Vollzeitbeschäftigung, oder? Also automatisch egal wie,
sollte das schon laufen!

Da verliert man leicht den Überblick was noch wo gespeichert war.
Also um einen richtigen Backupplan wird man hier so oder so nicht mehr herum kommen.

Wie würdet Ihr das machen?
Gleich, komplett, richtig und selber oder aber Stück für Stück und dann immer mehr USB HDDs ablösen und
überspielen. Aber es kommt auch auf die Daten selber an, man kann auch alles auf BlueRay Disc brennen,
die fassen bis zu 25 GB und nehmen, wenn man denn genug Platz hat nicht allzu viel Platz weg.

Ist halt alles eine Frage des Geldes und der Stromzufuhr, die Geräte besorgen ist kein Thema, und wenn jetzt
genug Geld und Strom vorhanden wäre, also sagen wir mal ein Einfamilienhaus mit zwei Stromanschlüssen
und geld spielt eher eine untergeordnete Rolle, dann wäre man auch mit folgender Ausstattung gut gefahren;
- 2 x Netzwerkschrank
- 1 x Server pro Rack
- 1 x SAN Pro Rack
- 1 x 10 GBit/s Switch pro Rack
- 1x USV Einheit mit NICs pro Rack
- 1 x LTO-7 Autoloader pro Rack
- die drei alten NAS mit als Backup oder zur Cloudsynchronisation benutzen

Sind die USB Platten allerdings nur als Backup anzusehen sieht das alles auch schon wieder ganz anders aus.

Gruß
Dobby
Member: Lochkartenstanzer
Solution Lochkartenstanzer Nov 06, 2017 at 07:59:28 (UTC)
Goto Top
Zitat von @Kuletob:

Wie würdet Ihr das machen?

Moin,

Ich?
Zwei Möglichkeiten:

1.

  • Einen Raspberry Pi und
  • 12 8-Port-USB-Hubs mit eigener Stromversorgung besorgen.
  • ggf. noch zusätzliche Stromversorgung für die 80 USB-Platten.
  • alle Platten via Hubs an den Pi anschlueßen.
  • RAID 0 über alle Platten (wegen der Performance face-smile).
  • Ein großes 160TB-Volume erstellen und dann oer NFS oder SMB freigeben.
  • Danach können die NAS' ihre Daten drauf synchen, ohne das Du mit Plattentauschen beschäftigt bist.

2.

  • USB-Platten bei ebay entsorgen
  • SAN und passenden Server dazu besorgen.
  • ggf. noch Tape- oder RDX-Library
  • ordentluches Konzept erstellen und einrichten.

Dir würde ich allerdings raten, jemanden in Deiner Nähe zu konsultieren, der sich damit auskennt.

lks

PS:

Du kannst natürlich im NAS jeweils Volumes von je 2TB einrichten. Dann weist Du jedem dieser Volumes eine oder mehrere 2TB-Platten zu, auf die Du die Daten diesers Volumes kopierst.
Member: Dr.EVIL
Solution Dr.EVIL Nov 06, 2017 updated at 08:52:53 (UTC)
Goto Top
Wie Icer00 bereits erwähnte kann deine Frage nicht qualifiziert beantwortet werde, da nur der Umfang, nicht aber die Art und Wichtigkeit der Daten bekannt sind.

Für ein solches Projekt würde ich einen "Private Cloud" Speicher auf basis von Scality oder Red Hat Ceph ins Auge fassen... face-wink
Member: Kuletob
Kuletob Nov 07, 2017 at 15:37:08 (UTC)
Goto Top
Hallo Icer,
ich habe die Anfrage bewust so mager gehalten um zu erfahren wie andere Leute mit großen Datenmengen umgehen. Da gibt ja die tollsten Sachen wenn man das Geld dafür hat. Denn mit Geld kann jeder. 12Volt mit bis zu 4 Ampere.auf kleinstem Raum wird auch warm.

Es sind nur drei genügsame WD MyCloud EX2 Geräte in denen je zwei WD Red 6TB Platten stecken. Wer ein Backup macht ist feige heist es. Ich habe u.a. einen MacBook Pro und einen 15cm tiefen Alukoffer mit besagten etwa achtzig 2TB WD Elements. Immer wenn ich für meine Frau Zigaretten kaufte, habe ich mir eine Festplatte gekauft. face-smile Der Koffer wiegt mit MacBookPro um 20 kg und ist noch tragbar. Trocken, sauber, dunkel, staubfrei, die Daten sind in eigenen Händen. Allein die 80 kleinen USB Micro Typ B Kabel auf einem Haufen sind schon ein schön anzusehender unbenutzter Stapel. Man steckt ein USB Kabel in eine der hochkant stehenden 2,5 Zoll Platten und erreicht so zwei Geräte. Ein 7er USB-HUB von Anker geht auch wenn man grade mal an einer Steckdose steht und erinnert an Bananenstecker Vermittlung.

Eine von mir so genannte offline Platte, die nicht läuft, verbraucht auch keine Energie. Ein OSX hat natürlich Time Machine und sichert nur das OSX der 1TB SSD. Das hilft einem natürlich nicht wirklich bei umfangreichen Unterlagen deren Dateien oft über 4 GB groß sind. Die speichere ich besser extern, wenn man die nicht täglich braucht. 900 bis 1200 Dateien liegen zur Zeit auf jeder 2TB HFS+ Partition. Aber oft Muß man doch wieder an die Eine oder Andere Konstruktion.

Oft benutze ich auch meinen ollen PC über das heimische LAN um mit WInRAR und PAR2 von den Dateien Kopien anzulegen und diese Daten dann an leeren Orten der anderen Platten als Backup zu speichern. Der surrt dann leise vor sich hin und macht mal etwas Sinnvolles ausser ausgeschaltet zu sein. Denn in diesem PC befinden sich viele ältere 3,5er WD HDD Altlasten. So eine Platte wiegt um 680 Gramm. Ich hatte damals schon mal 40 Kilo davon in einem Rollkoffer v0,99. Das war zu schwer! .-)

Ich liebe auch diese kleinen Anker USB 3.0 to SATA Adapter für die man aber bei 3,5 Zollern ein Netzteil braucht. Die nutzte ich zuerst bis ich diese leichten 2,5Zoll - 2TB Platten lieb gewann. Seit es die roten 6TB Helium Platten gab hätte ich 26 davon nehmen können und wären etwa genauso teuer und schwer im Koffer gewesen. Aber wenn meine liebe Frau nicht so viel raucht, kann ich auch nicht so viel ausgeben. face-smile Die kleinen WD Elements sind da bezahlbarer. Die 6 mal 6TB, die ich habe, wären im ollen PC Server Gehäuse natürlich besser aufgehoben. Aber ich war bisher immer viel unterwegs. Da gab es doch diese Platten in dem EX2 Gehäuse billiger als wenn man diese einzeln kauft. Zudem kann man diese NAS auch ausschalten wenn man sie nicht bracht. Ich habe noch einen kleinen QNAP mit vier roten 2TB Platten, der mich noch nie im Stich gelassen hat. Die sechs mal 2TB Altlasten Partition im PC ist richtig schnell und ein guter Speicher um Kofferdaten zu sortieren.

Zum Koffer Archiv (Kofferhoffer 1.0 face-smile habe ich unter OSX die APP DiskCatalogMaker. Sobald ein Laufwerk auf dem Mac gemountet ist, kann man hier automatisch die TOC automatisch auslesen lassen. Diese Datenbank ermöglicht es einem später jedes einzelne Files auch Offline finden zu lassen. USB Kabel in den Koffer stecken und man hat seinen Datensatz zurück. So war bisher meine Vorgehensweise. Ich hoffe wenigstens zu Eurer Unterhaltung beigetragen zu haben. face-smile Jedoch habe ich mir überlegt das Win10 auf dem Server durch ein Windows Server 2016 oder Windows Server 2012R2 zu ersetzen und die 6x6TB später, wenn ich weiss was ich mache auch dort zu nutzen. Mein Wechselgehäuse kann auch hier meine 2TB 3,5er Altlastenplatten schnell dazu noch austauschbar machen um zu testen.

Dann mußte ich an das Fusion Drive von Apple denken. Eine SSD und eine HDD laufen hier als Hybrid Laufwerk zusammen. Nicht benötigte Daten landen hier immer automatisch auf der HDD. Sinnvoll für ein OS, wenn man ein Backup hat, befalls etwas schief geht. Think bigger..

Ich hätte aber gerne eine große virtuelle Festplatte deren Kern sinnvoll aus meinen sechs mal 6TB gebildet würde die immer online sind und ein System das mit sagt welche der 80 oder mehr kleinen 2 TB es haben möchte. Dafür hätte ich gerne ich ein Riesen Directory in dieser virtuellen nich fiktiven Festplatte die alle Dateien kennt und auch so doppelte Dateien vermeidet und so..

Darum fragte ich was ich fragte.. Vielen Dank an Euch für Eure Vorschläge und Ideen.
Kuletob
Member: lcer00
Solution lcer00 Nov 07, 2017 at 15:52:19 (UTC)
Goto Top
OK ....

Das klingt so, als würdest Du die 80 Platten als langfristige Archivierungslösung betrachten. Schau mal unter https://de.wikipedia.org/wiki/Langzeitarchivierung was Du da erwarten kannst.

Grüße

lcer
Member: BassFishFox
Solution BassFishFox Nov 07, 2017 updated at 17:50:04 (UTC)
Goto Top
Hallo,

Ich hätte aber gerne eine große virtuelle Festplatte deren Kern sinnvoll aus meinen sechs mal 6TB gebildet würde die immer online sind

Einfach mittels FreeNAS oder DFS oder was immer verknueppern.
Hatte ich doch schon vorgeschlagen...

und ein System das mit sagt welche der 80 oder mehr kleinen 2 TB es haben möchte. Dafür hätte ich gerne ich ein Riesen Directory in dieser virtuellen nich fiktiven Festplatte die alle Dateien kennt und auch so doppelte Dateien vermeidet und so..

Selber bauen oder bauen lassen.

BFF
Mitglied: 108012
Solution 108012 Nov 08, 2017 at 15:24:47 (UTC)
Goto Top
Hallo,

Denn mit Geld kann jeder.
Leider leider ist das nicht richtig, zumindest so wie ich das einmal erklärt bekommen habe!
Dazu muss man nämlich erst einmal Geld haben und zweitens muss man dann auch bereit sein
es auszugeben für solche Sachen.

12Volt mit bis zu 4 Ampere.auf kleinstem Raum wird auch warm.
Kein Thema nur mit 12 Volt halte ich keine 160 TB online am laufen!

Es sind nur drei genügsame WD MyCloud EX2 Geräte in denen je zwei WD Red 6TB Platten stecken.
Sind das die 36 TB in der Cloud?

Wer ein Backup macht ist feige heist es.
Weiß doch jeder!

Gruß
Dobby