Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWünsch Dir wasWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Datenspeicherungslösung für grosse Datenmenge 50TB+ gesucht

Mitglied: Roger8

Roger8 (Level 1) - Jetzt verbinden

2020/08/05, aktualisiert 2020/08/10, 859 Aufrufe, 12 Kommentare

Hallo zusammen,

Ich bin auf dem Gebiet der Datenspeicherung ein Laie. Das mal vorweg :/

Ich werde in den nächsten Monaten ca. eine Datenmenge von 50 TB+ erstellen und beschäftige mich vorgängig mit der Frage der Datenspeicherung.

Es handelt sich um Lösungen eines Pokerspiels, welche ich bis anhin auf einer externen Festplatte gespeichert habe.

Die Daten werden quasi nur abgerufen und in einem anderen Programm geöffnet. Ich habe mich gefragt, was die beste Lösung wäre, diese riesige Menge an Daten zu speichern? Hauptkriterium neben den Kosten, wäre die Abrufgeschwindigkeit und die Datensicherung.


Herzlichen Dank für eure Antwort

Roger8
Mitglied: tech-flare
2020/08/05, aktualisiert 2020/08/06
Hallo,

denkbar wäre ein NASP 8 oder 12 bay mit 10-14TB Festplatten im Raid 10 oder Raid 50.

Raid 10 wenn es wirklich richtig schnell sein muss (Datenbank etc.)
Raid 50 hast du mehr Kapazität als bei einem Raid 10, aber ist etwas langsamer als BSP Raid 10, aber schneller als ein "einfaches" Raid 5.

Aber denke dran....Ein Raid ist kein Backup.

Bei den Beispielen gehe ich, aufgrund der Kapazität, von HDD und nicht von SSD aus.
Bitte warten ..
Mitglied: Spirit-of-Eli
2020/08/05 um 22:07 Uhr
Ein Poker Spiel (Lösungen) das mehr Daten generiert als ein Neutrales Netz bei Google. Sehr interessant.
Bitte warten ..
Mitglied: MysticFoxDE
LÖSUNG 2020/08/05 um 22:54 Uhr
Moin Roger8,

wenn es richtig schnell sein muss, dann kommst du an SSDs nicht vorbei.
Bei SSDs kannst du auch RAID5 nehmen, RAID 10 bring hier keine Vorteile und kostet nur Geld.
Wie viele IO/s sollte das Storage den leisten und bei welcher Blockgrösse?
Sind die Zugriffe mehr zufällig oder sequentiell?

Auch währe es gut zu wissen, welches Budget +- zur Verfügung steht.

Grüsse aus BaWü

Alex
Bitte warten ..
Mitglied: SlainteMhath
2020/08/06 um 09:10 Uhr
Moin,

mit den "Anforderungen" sind Lösung von 5.000 bis 250.000 drin... wieviel Geld steht zur Verfügung? Was für eine Art Backup schwebt dir vor? Was
ist für dich "Schnelles Abrufen"?

lg,
Slainte
Bitte warten ..
Mitglied: Roger8
2020/08/06, aktualisiert um 09:55 Uhr
Hallo zusammen. Danke für eure Antworten.

Eine einzelne Datei ist zwischen 300 und 800 MB gross. Das Abrufen ist spezifisch auf eine einzelne Datei.

Mein Budget liegt zwiscehn 3-7/8k. Falls sich meine Idee umsetzen lässt, kann auch natürlich später mehr investiert werden.

Schnelles Abrufen bedeutet für mich, dass es nicht 2 sec lagged, um zu einer Datei zu gelangen. Zum Vergleich benutze ich momentan eine 5 TB externe Festplatte Seagate Backup Plus Drive und diese erfüllt ihren Zweck.

Es gilt auch zusagen, dass es am Anfang nur für den Eigengebrauch ist. Also nur ich Zugriff haben muss.

Was spricht gegen eine Cloud?

Was spricht gegen eine solche Lösung https://www.steg-electronics.ch/de/article/LaCie-6big-Thunderbolt-3-60TB ..?

Es wäre auch sehr hilfreich, falls sich die Lösung aufrüsten lässt. Es kann sein, dass ich weit mehr als 50 Tb brauchen werde.

Was für Backup Lösungen würdet ihr in Betracht ziehen?

Herzlichen Dank für eure Hilfe
Bitte warten ..
Mitglied: Roger8
2020/08/09 um 09:47 Uhr
Jemand vielleicht eine Lösung?

Wäre sehr dankbar.

Liebe Grüsse
Bitte warten ..
Mitglied: 145033
2020/08/09, aktualisiert um 10:33 Uhr
Ein Synology NAS z.B.
https://www.synology.com/de-de/products/DS1819+
Mit deiner gewünschten Kapzität ausstatten und zusätzlich noch ne m2 SSD als FlashCache, und ein 10GBE Adapter rein gepappt.
https://www.synology.com/de-de/products/E10M20-T1
Volume per iSCSI anbinden fertsch.
Bitte warten ..
Mitglied: Roger8
2020/08/09 um 12:29 Uhr
Weshalb braucht es einen Netzwerkspeicher, wenn ich die einzige Person sein werde, die darauf zugreifen kann?

Gibt es nicht eine Lösung per USB Anschluss die Festplatten Kapazität zu erweitern?

Danke für deine Hilfe
Bitte warten ..
Mitglied: 145033
2020/08/09, aktualisiert um 14:13 Uhr
Zitat von Roger8:

Weshalb braucht es einen Netzwerkspeicher, wenn ich die einzige Person sein werde, die darauf zugreifen kann?
Naja, stand ja nirgendwo. Außerdem ein Backup sollte man optimalerweise immer in einem anderen Brandabschnitt platzieren sonst bringt dir das Backup nichts wenn es gleich mit abfackelt.
Und so ein NAS kann halt gleichzeitig auch noch viel mehr im Netz abwicklen. Wenn das nicht gewünscht ist na dann Greif halt zur Standard USB3 oder Thunderbold-kost, war ja nur ein Vorschlag.
Gibt es nicht eine Lösung per USB Anschluss die Festplatten Kapazität zu erweitern?
Klar gibt es auch sowas, dann nimmst du halt ein externes Backplane Gehäuse und packst da bspw. 3 16TB Platten rein, davon gibt es ja genügend Auswahl, such dir halt was zu dir passendes raus ... Bitteschön:
https://www.raidsonic.de/products/external_cases/soho_raid/index_de.php
Bitte warten ..
Mitglied: Roger8
2020/08/09, aktualisiert um 14:34 Uhr
Hey kleiber

Ich meinte das keineswegs als Kritik. Bin ein totaler Laie in diesem Gebiet..

Ich bin der einzige, welcher auf die Dateien zugreift, deshalb dachte ich, wäre es vielleicht günstiger nur die Festplattenkapazität zu erweitern.

Das Ziel ist es schlussendlich eine effiziente Lösung zu finden, welche mir erlaubt auf die Dateien zuzugreifen. Auf der externen Festplatten oder NAS werden dann lediglich solche Dateien (siehe screenshot) liegen, auf welche ich zugreifen möchte. Ausserdem suche ich eine Backup Lösung für diese Dateien finden.

Wenn der Tenor in diesem Forum ist, mach das am besten mit einem NAS, dann vertraue ich darauf. Falls die Fachexperten sagen, es wäre für diesen Case einfacher ein Thunderbold resp. externe Festplatten zu kaufen und ein Backup via xy durchzuführen, würde ich diesen Weg einschlagen.


Bin dir dankbar für eure Hilfe

schönen Sonntag allerseits

freundliche grüsse
solvespio - Klicke auf das Bild, um es zu vergrößern
Bitte warten ..
Mitglied: tech-flare
2020/08/09 um 22:37 Uhr
Wenn der Tenor in diesem Forum ist, mach das am besten mit einem NAS, dann vertraue ich darauf. Falls die Fachexperten sagen, es wäre für diesen Case einfacher ein Thunderbold resp. externe Festplatten zu kaufen und ein Backup via xy durchzuführen, würde ich diesen Weg einschlagen.
Mit den "typischen externen Festplatten" hast du aber ein Kapazitätsproblem. Daher ein NAS, welches auch direkt an den PC angeschlossen werden kann.

Mittlerweile kannst du diese auch direkt per TB verbinden
Bitte warten ..
Mitglied: MysticFoxDE
LÖSUNG 2020/08/10 um 19:33 Uhr
Moin Roger8,

Ich bin der einzige, welcher auf die Dateien zugreift, deshalb dachte ich, wäre es vielleicht günstiger nur die Festplattenkapazität zu erweitern.

Das du als einzelner auf die Daten zugreifst, ist für sich noch kein Argument gegen ein NAS.
Du musst hier selbst entscheiden, was dir wichtig ist.

Sollten die Daten so günstig wie möglich gespeichert werden und ist die Performance bei den Zugriffen eher sekundär, so kannst du dir einfach z.B. das folgende Gehäuse von Icy Box besorgen, Platten rein, Raid konfigurieren und ab geht die Post.

https://www.amazon.de/IB-RD3680SU3-Externes-Geh%C3%A4use-Festplatten-Sma ...

Zur Verlässlichkeit und Performance kann ich dir für dieses Konstrukt jedoch keine Aussage machen, wird aber definitiv eine der günstigsten Lösungen sein.

Die nächste Möglichkeit ist, du baust in deinen Rechner einen Hardware RAID Controller für SATA oder am besten SAS mit 8 Ports ein und schliesst die HDDs an diesen an. Das ist sicherlich der performanteste Methode um den Speicherplatz bereitzustellen, dafür muss dein PC-Gehäuse aber auch den entsprechenden Platz bieten.

Passende RAID Controller gibt es z.B. von Broadcom
https://www.broadcom.com/products/storage/raid-controllers

Wenn du weder viel rumbasteln möchtest, oder keinen Platz in deinem Rechner für ein internes RAID hast,
viel wert auf Datensicherheit legst und auch flexibel sein möchtest. So würde ich dir ebenfalls zu einem NAS raten.

Falls du dich für ein NAS entscheidest und besonders viel Wert auf Performance legst, dann schau dir bitte auch das folgende Gerät an.
https://www.infortrend.com/global/products/families/gsepro/pro200

Ist zwar etwas teurer wie QNAP & Co, dafür aber auch um einiges schneller.

---
Was eine Cache SSD angeht, so würde ich dir gerne den folgenden Tip geben.
Wenn du immer wieder auf dieselben Daten zugreifst, die grösser sind als der im RAID-Controller oder NAS verbaute RAM Cache, dann macht eine zusätzliche Cache-SSD bei manchen Szenarien durchaus sinn.
Wenn du jedoch immer auf unterschiedliche Daten zugreifst und eher selten dieselben erneut hintereinander abfragst, dann macht eine Cache-SSD überhaupt keinen Sinn, da deren Vorteil erst ab dem zweiten IO für denselben Datenblock zum tragen kommt.

Grüsse aus BaWü

Alex
Bitte warten ..
Ähnliche Inhalte
SAN, NAS, DAS
Neuer Fileserver 50TB gesucht
gelöst Frage von maisenkaiserSAN, NAS, DAS17 Kommentare

Hallo Zusammen, in meinem Betrieb soll ein neuer Fileserver angeschafft werden. Der Server soll nur zur Dateiablage und Dateiaustausch ...

Heiß diskutierte Inhalte
Netzwerke
Sophos Software Appliance UTM - VLAN - CISCO SG Series Switches
gelöst Frage von Xaero1982Netzwerke21 Kommentare

Moin Zusammen, zu Testzwecken und rumprobieren hab ich mir einen ESX installiert mit 3 LAN Ports. Auf dem ESX ...

Windows Netzwerk
Firmennetzwerk mit 3 PC
gelöst Frage von greenhorn1Windows Netzwerk13 Kommentare

Hallo, ich bin neu in diesem Forum und hoffe, dass die Experten in diesem Forum auch mir mit meinen ...

SAN, NAS, DAS
Probleme mit der GIGABIT Leitung - Finden der Krücke - Wer ist schuld ?
Frage von daswinimramSAN, NAS, DAS12 Kommentare

Hallo Community , folgender Aufbau : "erfolgreich" umgestellt auf Gigabit Tarif am 26.09.20 Speedtests wurden von allen PCs hinter ...

PHP
Direkter Zugriff auf Ergebnisseite des php-Formulars möglich?
gelöst Frage von EsekylPHP10 Kommentare

Hallo Freunde, ich würde gern die Abfuhrtermine unseres hiesigen Anbieters automatisiert abrufen. Es gibt auf deren Homepage ein Formular, ...

Windows Netzwerk
Orientierung zur Weiterbildung
Frage von Thomas33Windows Netzwerk8 Kommentare

Hi, ich möchte und muss mich im Bereich der IT weiter Bilden. Ich selber komme aus der Elektrotechnik, daher ...

Multimedia & Zubehör
Präsentation TV für Teambesprechungen
Frage von itsk-robertMultimedia & Zubehör8 Kommentare

Hallo, wir würden bei uns im Büro einen TV benötigen ca. 60" - 70" mit dem wir uns via ...

Administrator Magazin
10 | 2020 Nicht erst durch die Corona-Krise sahen sich viele Firmen damit konfrontiert, dass sich Mitarbeiter von unterschiedlichen Geräten und verschiedensten Lokationen aus anmelden. Daher sind hier neue Konzepte für das Berechtigungs- und Identitätsmanagement gefragt, die einerseits die Sicherheit erhöhen und andererseits Nutzern die nötige Flexibilität ...
Best VPN