Datenspeicherungslösung für grosse Datenmenge 50TB+ gesucht
Hallo zusammen,
Ich bin auf dem Gebiet der Datenspeicherung ein Laie. Das mal vorweg :/
Ich werde in den nächsten Monaten ca. eine Datenmenge von 50 TB+ erstellen und beschäftige mich vorgängig mit der Frage der Datenspeicherung.
Es handelt sich um Lösungen eines Pokerspiels, welche ich bis anhin auf einer externen Festplatte gespeichert habe.
Die Daten werden quasi nur abgerufen und in einem anderen Programm geöffnet. Ich habe mich gefragt, was die beste Lösung wäre, diese riesige Menge an Daten zu speichern? Hauptkriterium neben den Kosten, wäre die Abrufgeschwindigkeit und die Datensicherung.
Herzlichen Dank für eure Antwort
Roger8
Ich bin auf dem Gebiet der Datenspeicherung ein Laie. Das mal vorweg :/
Ich werde in den nächsten Monaten ca. eine Datenmenge von 50 TB+ erstellen und beschäftige mich vorgängig mit der Frage der Datenspeicherung.
Es handelt sich um Lösungen eines Pokerspiels, welche ich bis anhin auf einer externen Festplatte gespeichert habe.
Die Daten werden quasi nur abgerufen und in einem anderen Programm geöffnet. Ich habe mich gefragt, was die beste Lösung wäre, diese riesige Menge an Daten zu speichern? Hauptkriterium neben den Kosten, wäre die Abrufgeschwindigkeit und die Datensicherung.
Herzlichen Dank für eure Antwort
Roger8
Kommentieren
Teilen
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 593783
Url: https://administrator.de/forum/datenspeicherungsloesung-fuer-grosse-datenmenge-50tb-gesucht-593783.html
Ausgedruckt am: 18.05.2025 um 21:05 Uhr
12 Kommentare
Neuester Kommentar
Hallo,
denkbar wäre ein NASP 8 oder 12 bay mit 10-14TB Festplatten im Raid 10 oder Raid 50.
Raid 10 wenn es wirklich richtig schnell sein muss (Datenbank etc.)
Raid 50 hast du mehr Kapazität als bei einem Raid 10, aber ist etwas langsamer als BSP Raid 10, aber schneller als ein "einfaches" Raid 5.
Aber denke dran....Ein Raid ist kein Backup.
Bei den Beispielen gehe ich, aufgrund der Kapazität, von HDD und nicht von SSD aus.
denkbar wäre ein NASP 8 oder 12 bay mit 10-14TB Festplatten im Raid 10 oder Raid 50.
Raid 10 wenn es wirklich richtig schnell sein muss (Datenbank etc.)
Raid 50 hast du mehr Kapazität als bei einem Raid 10, aber ist etwas langsamer als BSP Raid 10, aber schneller als ein "einfaches" Raid 5.
Aber denke dran....Ein Raid ist kein Backup.
Bei den Beispielen gehe ich, aufgrund der Kapazität, von HDD und nicht von SSD aus.
Ein Poker Spiel (Lösungen) das mehr Daten generiert als ein Neutrales Netz bei Google. Sehr interessant.
Moin Roger8,
wenn es richtig schnell sein muss, dann kommst du an SSDs nicht vorbei.
Bei SSDs kannst du auch RAID5 nehmen, RAID 10 bring hier keine Vorteile und kostet nur Geld.
Wie viele IO/s sollte das Storage den leisten und bei welcher Blockgrösse?
Sind die Zugriffe mehr zufällig oder sequentiell?
Auch währe es gut zu wissen, welches Budget +- zur Verfügung steht.
Grüsse aus BaWü
Alex
wenn es richtig schnell sein muss, dann kommst du an SSDs nicht vorbei.
Bei SSDs kannst du auch RAID5 nehmen, RAID 10 bring hier keine Vorteile und kostet nur Geld.
Wie viele IO/s sollte das Storage den leisten und bei welcher Blockgrösse?
Sind die Zugriffe mehr zufällig oder sequentiell?
Auch währe es gut zu wissen, welches Budget +- zur Verfügung steht.
Grüsse aus BaWü
Alex
Moin,
mit den "Anforderungen" sind Lösung von 5.000 bis 250.000 drin... wieviel Geld steht zur Verfügung? Was für eine Art Backup schwebt dir vor? Was
ist für dich "Schnelles Abrufen"?
lg,
Slainte
mit den "Anforderungen" sind Lösung von 5.000 bis 250.000 drin... wieviel Geld steht zur Verfügung? Was für eine Art Backup schwebt dir vor? Was
ist für dich "Schnelles Abrufen"?
lg,
Slainte
Hallo zusammen. Danke für eure Antworten.
Eine einzelne Datei ist zwischen 300 und 800 MB gross. Das Abrufen ist spezifisch auf eine einzelne Datei.
Mein Budget liegt zwiscehn 3-7/8k. Falls sich meine Idee umsetzen lässt, kann auch natürlich später mehr investiert werden.
Schnelles Abrufen bedeutet für mich, dass es nicht 2 sec lagged, um zu einer Datei zu gelangen. Zum Vergleich benutze ich momentan eine 5 TB externe Festplatte Seagate Backup Plus Drive und diese erfüllt ihren Zweck.
Es gilt auch zusagen, dass es am Anfang nur für den Eigengebrauch ist. Also nur ich Zugriff haben muss.
Was spricht gegen eine Cloud?
Was spricht gegen eine solche Lösung https://www.steg-electronics.ch/de/article/LaCie-6big-Thunderbolt-3-60TB ..?
Es wäre auch sehr hilfreich, falls sich die Lösung aufrüsten lässt. Es kann sein, dass ich weit mehr als 50 Tb brauchen werde.
Was für Backup Lösungen würdet ihr in Betracht ziehen?
Herzlichen Dank für eure Hilfe
Eine einzelne Datei ist zwischen 300 und 800 MB gross. Das Abrufen ist spezifisch auf eine einzelne Datei.
Mein Budget liegt zwiscehn 3-7/8k. Falls sich meine Idee umsetzen lässt, kann auch natürlich später mehr investiert werden.
Schnelles Abrufen bedeutet für mich, dass es nicht 2 sec lagged, um zu einer Datei zu gelangen. Zum Vergleich benutze ich momentan eine 5 TB externe Festplatte Seagate Backup Plus Drive und diese erfüllt ihren Zweck.
Es gilt auch zusagen, dass es am Anfang nur für den Eigengebrauch ist. Also nur ich Zugriff haben muss.
Was spricht gegen eine Cloud?
Was spricht gegen eine solche Lösung https://www.steg-electronics.ch/de/article/LaCie-6big-Thunderbolt-3-60TB ..?
Es wäre auch sehr hilfreich, falls sich die Lösung aufrüsten lässt. Es kann sein, dass ich weit mehr als 50 Tb brauchen werde.
Was für Backup Lösungen würdet ihr in Betracht ziehen?
Herzlichen Dank für eure Hilfe
Jemand vielleicht eine Lösung?
Wäre sehr dankbar.
Liebe Grüsse
Wäre sehr dankbar.
Liebe Grüsse
Ein Synology NAS z.B.
https://www.synology.com/de-de/products/DS1819+
Mit deiner gewünschten Kapzität ausstatten und zusätzlich noch ne m2 SSD als FlashCache, und ein 10GBE Adapter rein gepappt.
https://www.synology.com/de-de/products/E10M20-T1
Volume per iSCSI anbinden fertsch.
https://www.synology.com/de-de/products/DS1819+
Mit deiner gewünschten Kapzität ausstatten und zusätzlich noch ne m2 SSD als FlashCache, und ein 10GBE Adapter rein gepappt.
https://www.synology.com/de-de/products/E10M20-T1
Volume per iSCSI anbinden fertsch.
Weshalb braucht es einen Netzwerkspeicher, wenn ich die einzige Person sein werde, die darauf zugreifen kann?
Gibt es nicht eine Lösung per USB Anschluss die Festplatten Kapazität zu erweitern?
Danke für deine Hilfe
Gibt es nicht eine Lösung per USB Anschluss die Festplatten Kapazität zu erweitern?
Danke für deine Hilfe
Zitat von @Roger8:
Weshalb braucht es einen Netzwerkspeicher, wenn ich die einzige Person sein werde, die darauf zugreifen kann?
Naja, stand ja nirgendwo. Außerdem ein Backup sollte man optimalerweise immer in einem anderen Brandabschnitt platzieren sonst bringt dir das Backup nichts wenn es gleich mit abfackelt.Weshalb braucht es einen Netzwerkspeicher, wenn ich die einzige Person sein werde, die darauf zugreifen kann?
Und so ein NAS kann halt gleichzeitig auch noch viel mehr im Netz abwicklen. Wenn das nicht gewünscht ist na dann Greif halt zur Standard USB3 oder Thunderbold-kost, war ja nur ein Vorschlag.
Gibt es nicht eine Lösung per USB Anschluss die Festplatten Kapazität zu erweitern?
Klar gibt es auch sowas, dann nimmst du halt ein externes Backplane Gehäuse und packst da bspw. 3 16TB Platten rein, davon gibt es ja genügend Auswahl, such dir halt was zu dir passendes raus ... Bitteschön:https://www.raidsonic.de/products/external_cases/soho_raid/index_de.php
Hey kleiber
Ich meinte das keineswegs als Kritik. Bin ein totaler Laie in diesem Gebiet..
Ich bin der einzige, welcher auf die Dateien zugreift, deshalb dachte ich, wäre es vielleicht günstiger nur die Festplattenkapazität zu erweitern.
Das Ziel ist es schlussendlich eine effiziente Lösung zu finden, welche mir erlaubt auf die Dateien zuzugreifen. Auf der externen Festplatten oder NAS werden dann lediglich solche Dateien (siehe screenshot) liegen, auf welche ich zugreifen möchte. Ausserdem suche ich eine Backup Lösung für diese Dateien finden.
Wenn der Tenor in diesem Forum ist, mach das am besten mit einem NAS, dann vertraue ich darauf. Falls die Fachexperten sagen, es wäre für diesen Case einfacher ein Thunderbold resp. externe Festplatten zu kaufen und ein Backup via xy durchzuführen, würde ich diesen Weg einschlagen.
Bin dir dankbar für eure Hilfe
schönen Sonntag allerseits
freundliche grüsse
Ich meinte das keineswegs als Kritik. Bin ein totaler Laie in diesem Gebiet..
Ich bin der einzige, welcher auf die Dateien zugreift, deshalb dachte ich, wäre es vielleicht günstiger nur die Festplattenkapazität zu erweitern.
Das Ziel ist es schlussendlich eine effiziente Lösung zu finden, welche mir erlaubt auf die Dateien zuzugreifen. Auf der externen Festplatten oder NAS werden dann lediglich solche Dateien (siehe screenshot) liegen, auf welche ich zugreifen möchte. Ausserdem suche ich eine Backup Lösung für diese Dateien finden.
Wenn der Tenor in diesem Forum ist, mach das am besten mit einem NAS, dann vertraue ich darauf. Falls die Fachexperten sagen, es wäre für diesen Case einfacher ein Thunderbold resp. externe Festplatten zu kaufen und ein Backup via xy durchzuführen, würde ich diesen Weg einschlagen.
Bin dir dankbar für eure Hilfe
schönen Sonntag allerseits
freundliche grüsse
Wenn der Tenor in diesem Forum ist, mach das am besten mit einem NAS, dann vertraue ich darauf. Falls die Fachexperten sagen, es wäre für diesen Case einfacher ein Thunderbold resp. externe Festplatten zu kaufen und ein Backup via xy durchzuführen, würde ich diesen Weg einschlagen.
Mit den "typischen externen Festplatten" hast du aber ein Kapazitätsproblem. Daher ein NAS, welches auch direkt an den PC angeschlossen werden kann.Mittlerweile kannst du diese auch direkt per TB verbinden
Moin Roger8,
Das du als einzelner auf die Daten zugreifst, ist für sich noch kein Argument gegen ein NAS.
Du musst hier selbst entscheiden, was dir wichtig ist.
Sollten die Daten so günstig wie möglich gespeichert werden und ist die Performance bei den Zugriffen eher sekundär, so kannst du dir einfach z.B. das folgende Gehäuse von Icy Box besorgen, Platten rein, Raid konfigurieren und ab geht die Post.
https://www.amazon.de/IB-RD3680SU3-Externes-Geh%C3%A4use-Festplatten-Sma ...
Zur Verlässlichkeit und Performance kann ich dir für dieses Konstrukt jedoch keine Aussage machen, wird aber definitiv eine der günstigsten Lösungen sein.
Die nächste Möglichkeit ist, du baust in deinen Rechner einen Hardware RAID Controller für SATA oder am besten SAS mit 8 Ports ein und schliesst die HDDs an diesen an. Das ist sicherlich der performanteste Methode um den Speicherplatz bereitzustellen, dafür muss dein PC-Gehäuse aber auch den entsprechenden Platz bieten.
Passende RAID Controller gibt es z.B. von Broadcom
https://www.broadcom.com/products/storage/raid-controllers
Wenn du weder viel rumbasteln möchtest, oder keinen Platz in deinem Rechner für ein internes RAID hast,
viel wert auf Datensicherheit legst und auch flexibel sein möchtest. So würde ich dir ebenfalls zu einem NAS raten.
Falls du dich für ein NAS entscheidest und besonders viel Wert auf Performance legst, dann schau dir bitte auch das folgende Gerät an.
https://www.infortrend.com/global/products/families/gsepro/pro200
Ist zwar etwas teurer wie QNAP & Co, dafür aber auch um einiges schneller.
---
Was eine Cache SSD angeht, so würde ich dir gerne den folgenden Tip geben.
Wenn du immer wieder auf dieselben Daten zugreifst, die grösser sind als der im RAID-Controller oder NAS verbaute RAM Cache, dann macht eine zusätzliche Cache-SSD bei manchen Szenarien durchaus sinn.
Wenn du jedoch immer auf unterschiedliche Daten zugreifst und eher selten dieselben erneut hintereinander abfragst, dann macht eine Cache-SSD überhaupt keinen Sinn, da deren Vorteil erst ab dem zweiten IO für denselben Datenblock zum tragen kommt.
Grüsse aus BaWü
Alex
Ich bin der einzige, welcher auf die Dateien zugreift, deshalb dachte ich, wäre es vielleicht günstiger nur die Festplattenkapazität zu erweitern.
Das du als einzelner auf die Daten zugreifst, ist für sich noch kein Argument gegen ein NAS.
Du musst hier selbst entscheiden, was dir wichtig ist.
Sollten die Daten so günstig wie möglich gespeichert werden und ist die Performance bei den Zugriffen eher sekundär, so kannst du dir einfach z.B. das folgende Gehäuse von Icy Box besorgen, Platten rein, Raid konfigurieren und ab geht die Post.
https://www.amazon.de/IB-RD3680SU3-Externes-Geh%C3%A4use-Festplatten-Sma ...
Zur Verlässlichkeit und Performance kann ich dir für dieses Konstrukt jedoch keine Aussage machen, wird aber definitiv eine der günstigsten Lösungen sein.
Die nächste Möglichkeit ist, du baust in deinen Rechner einen Hardware RAID Controller für SATA oder am besten SAS mit 8 Ports ein und schliesst die HDDs an diesen an. Das ist sicherlich der performanteste Methode um den Speicherplatz bereitzustellen, dafür muss dein PC-Gehäuse aber auch den entsprechenden Platz bieten.
Passende RAID Controller gibt es z.B. von Broadcom
https://www.broadcom.com/products/storage/raid-controllers
Wenn du weder viel rumbasteln möchtest, oder keinen Platz in deinem Rechner für ein internes RAID hast,
viel wert auf Datensicherheit legst und auch flexibel sein möchtest. So würde ich dir ebenfalls zu einem NAS raten.
Falls du dich für ein NAS entscheidest und besonders viel Wert auf Performance legst, dann schau dir bitte auch das folgende Gerät an.
https://www.infortrend.com/global/products/families/gsepro/pro200
Ist zwar etwas teurer wie QNAP & Co, dafür aber auch um einiges schneller.
---
Was eine Cache SSD angeht, so würde ich dir gerne den folgenden Tip geben.
Wenn du immer wieder auf dieselben Daten zugreifst, die grösser sind als der im RAID-Controller oder NAS verbaute RAM Cache, dann macht eine zusätzliche Cache-SSD bei manchen Szenarien durchaus sinn.
Wenn du jedoch immer auf unterschiedliche Daten zugreifst und eher selten dieselben erneut hintereinander abfragst, dann macht eine Cache-SSD überhaupt keinen Sinn, da deren Vorteil erst ab dem zweiten IO für denselben Datenblock zum tragen kommt.
Grüsse aus BaWü
Alex
