Neues Storagekonzept mit Tape Backup
Moin zusammen,
ich hätte gerne ein bisschen Input / Feedback zu einem neuen Storage Konzept, an welchem ich gerade sitze.
Ausgangslage: Wir haben ca. 350TB an Daten (vor allem Media; Bild, Video etc) auf verschiedenen Storagesystemen liegen. Der alte Wildwuchs ist ziemlich schlimm. Ein paar NAS-Systeme (aber nichts 19"), 3 19" Storageserver, alle direkt mit Windows (2012 und Win10 ;( ), teils mit vernünftigen RAID Controllern, teils mit eher mittelprächtigen (zumindest dann, wenn sie 50TB managen sollen).
Ziel:
neue Storage mit 4-5 Volumes (3x 50TB, 1x 100TB).
Ich bin mir nicht sicher, ob ich nun auf einen VMWare Server mit guter CPU, 128GB-256GB RAM setzen soll und diesen an ein SAN anbinden soll (entweder Hardware SAN oder eher vSAN mit einem 2. VMWare Host und darauf StorMagic oder StarWind vSAN laufen lassen) oder direkt einen performanten Storageserver, spricht compute + storage in einem System, vermutlich wieder mit VMWare als Host OS, Tape Librarby HBA direkt verbaut für das Backup, und dann ein NAS OS oder gar Windows als File Sharing Server.
Wenn ich letzteres wählen würde, kommen weitere Fragen hinzu: RAID Controller mit RAID5 (oder RAID5EE) oder gar ein HBA mit einem ZFS NAS System wie Freenas als VM?
Wie sieht es hinsichtlich des Filesystems aus? Lieber NTFS (dann mit Windows als Fileserver) oder ein Linux FS, um Fragmentierung, grosse Dateien (50-150GB Videos gibt es dann gerne auch mal 100 bei manchen Projekten, die nach Digitalisierung noch konvertiert und geschnitten werden müssen) etc. zu optimieren?
In beiden Varianten möchte ich den Storage auf jeden Fall mit 4-8TB SSD Cache ausstatten, auch wenn die SSDs wohl aufgrund der Speichermenge und intensiven Lese+Schreibvorgängen relativ schnell ausgetauscht werden müssten.
Mein aktuell favorisierte Lösung: Single Storageserver mit z.B. Xeon Silver 12C/24T, 192GB RAM an einem LSI Raid Controller ein RAID5 (RAID5EE können die LSI afaik nicht), 20x 14TB Disk als VD1 und VD2, jeweils exklusiv 1x Hotspare pro VD Array mit je 10 Disks (inkl. dem Hotspare). Das ganze dann mit VMWare als OS und einem Windows oder Linux Server für das Filesharing (NAS-like) und ggf. einen Teil des Storage als vSAN mit StorMagic, um es ggf. flexibel per iSCSI irgendwo direkt einbinden zu können. Netzwerk ist im Serverbereich 10Gbit SFP+, teilweise sind einzelne Workstations mit 10GBit RJ45 angebunden, die Mehrheit aber nicht.
Dann eine Tape Library mit 2 Drives direkt an den Storageserver angebunden und eine Veeam-VM kümmert sich um das Backup. Eventuell mittelsfristig einen 2. kleinen Server, um die Veeam VM dort laufen zu lassen. So hätten wir weniger Restore-Stress, wenn es zum Ausfall des ganzen Storageservers käme.
Ich weiss, es ist noch alles relativ offen und unklar, aber ich bin mir eben noch nicht sicher, was die höchste (Schreib-)Performance des Storage für die 5-10 Clients liefern würde, die derzeit die meisten Daten erzeugen. Das ist momentan nämlich absoluter Engpass. Aber wie viel hier an den reinen HDD Arrays liegt, wie viel Block Size auf NTFS ausmacht etc. pp., da bin ich mir unsicher.
Freue mich über jedes Feedback.
Cheers,
Helge
ich hätte gerne ein bisschen Input / Feedback zu einem neuen Storage Konzept, an welchem ich gerade sitze.
Ausgangslage: Wir haben ca. 350TB an Daten (vor allem Media; Bild, Video etc) auf verschiedenen Storagesystemen liegen. Der alte Wildwuchs ist ziemlich schlimm. Ein paar NAS-Systeme (aber nichts 19"), 3 19" Storageserver, alle direkt mit Windows (2012 und Win10 ;( ), teils mit vernünftigen RAID Controllern, teils mit eher mittelprächtigen (zumindest dann, wenn sie 50TB managen sollen).
Ziel:
neue Storage mit 4-5 Volumes (3x 50TB, 1x 100TB).
Ich bin mir nicht sicher, ob ich nun auf einen VMWare Server mit guter CPU, 128GB-256GB RAM setzen soll und diesen an ein SAN anbinden soll (entweder Hardware SAN oder eher vSAN mit einem 2. VMWare Host und darauf StorMagic oder StarWind vSAN laufen lassen) oder direkt einen performanten Storageserver, spricht compute + storage in einem System, vermutlich wieder mit VMWare als Host OS, Tape Librarby HBA direkt verbaut für das Backup, und dann ein NAS OS oder gar Windows als File Sharing Server.
Wenn ich letzteres wählen würde, kommen weitere Fragen hinzu: RAID Controller mit RAID5 (oder RAID5EE) oder gar ein HBA mit einem ZFS NAS System wie Freenas als VM?
Wie sieht es hinsichtlich des Filesystems aus? Lieber NTFS (dann mit Windows als Fileserver) oder ein Linux FS, um Fragmentierung, grosse Dateien (50-150GB Videos gibt es dann gerne auch mal 100 bei manchen Projekten, die nach Digitalisierung noch konvertiert und geschnitten werden müssen) etc. zu optimieren?
In beiden Varianten möchte ich den Storage auf jeden Fall mit 4-8TB SSD Cache ausstatten, auch wenn die SSDs wohl aufgrund der Speichermenge und intensiven Lese+Schreibvorgängen relativ schnell ausgetauscht werden müssten.
Mein aktuell favorisierte Lösung: Single Storageserver mit z.B. Xeon Silver 12C/24T, 192GB RAM an einem LSI Raid Controller ein RAID5 (RAID5EE können die LSI afaik nicht), 20x 14TB Disk als VD1 und VD2, jeweils exklusiv 1x Hotspare pro VD Array mit je 10 Disks (inkl. dem Hotspare). Das ganze dann mit VMWare als OS und einem Windows oder Linux Server für das Filesharing (NAS-like) und ggf. einen Teil des Storage als vSAN mit StorMagic, um es ggf. flexibel per iSCSI irgendwo direkt einbinden zu können. Netzwerk ist im Serverbereich 10Gbit SFP+, teilweise sind einzelne Workstations mit 10GBit RJ45 angebunden, die Mehrheit aber nicht.
Dann eine Tape Library mit 2 Drives direkt an den Storageserver angebunden und eine Veeam-VM kümmert sich um das Backup. Eventuell mittelsfristig einen 2. kleinen Server, um die Veeam VM dort laufen zu lassen. So hätten wir weniger Restore-Stress, wenn es zum Ausfall des ganzen Storageservers käme.
Ich weiss, es ist noch alles relativ offen und unklar, aber ich bin mir eben noch nicht sicher, was die höchste (Schreib-)Performance des Storage für die 5-10 Clients liefern würde, die derzeit die meisten Daten erzeugen. Das ist momentan nämlich absoluter Engpass. Aber wie viel hier an den reinen HDD Arrays liegt, wie viel Block Size auf NTFS ausmacht etc. pp., da bin ich mir unsicher.
Freue mich über jedes Feedback.
Cheers,
Helge
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 1461710041
Url: https://administrator.de/contentid/1461710041
Ausgedruckt am: 21.11.2024 um 19:11 Uhr
12 Kommentare
Neuester Kommentar
Du deckst ja schon eine ganze Menge Möglichkeiten und in der Größenordnung habe ich leider keine Erfahrung aber ich finde ein ganz entscheidender Punkt fehlt: Suchst du etwas von der Stange mit Wartungsvetrag und garntierten Reaktionszeiten, also möglichst Sorglos-Paket oder willst du selber bauen? Wie verhält es sich mit Ausfallzeiten?
Es gibt gute NAS Software (an denen ich grade etwas rumprobiere) am Markt oder auch Professionell Lösungen die z.B: Aktiv-Passiv die Daten Klonen. Aber das beste Gefühl hat man natürlich mit 4h onsite Support.
Über welches Protokoll werden Daten bereit gestellt, wird auch iSCSI verwendet oder nur SMBv3? Wie werden Daten genutzt, große Dateien (Medien) die dann geladen und bearbeitet werden oderviele kleine Dateien oder Datenbanken... Welches Wachstum erwartest du, muss eventuell erweitert werden?
Sollen die SSDs Schreib- und Lesevorgänge cachen? Ich bin da etwas sketisch, mein Bauch sagt mir da lieber mehr spindeln.
Es gibt gute NAS Software (an denen ich grade etwas rumprobiere) am Markt oder auch Professionell Lösungen die z.B: Aktiv-Passiv die Daten Klonen. Aber das beste Gefühl hat man natürlich mit 4h onsite Support.
Über welches Protokoll werden Daten bereit gestellt, wird auch iSCSI verwendet oder nur SMBv3? Wie werden Daten genutzt, große Dateien (Medien) die dann geladen und bearbeitet werden oderviele kleine Dateien oder Datenbanken... Welches Wachstum erwartest du, muss eventuell erweitert werden?
Sollen die SSDs Schreib- und Lesevorgänge cachen? Ich bin da etwas sketisch, mein Bauch sagt mir da lieber mehr spindeln.
Hallo,
da ist viel Geschmackssache bzw. hängt von Faktoren ab, die hier nicht hervorgehen (z.B. wie stark die Tendenz entweder zu Linux oder zu Windows ist und aus welchen Gründen). Zwei Elemente aus deinem Text:
- 2x10 Platten in einem Server, jeweils mit RAID5 und Hotspare, finde ich etwas weit hergeholt. Generell sollte man sich fragen, ob eine Hotspare nötig ist, d.h. im Ernstfall ein Festplattenwechsel nicht zeitnah manuell erfolgen kann. Sonst sind sie ein schlechtes Investment. Einen üblichen Server mit 24 Schächten (+OS) kannst du auch einfach voll machen und 2 RAID6 aufsetzen. Oder auch nur ein RAID6, mit Hotspare, wenn es sein soll. Ein RAID5 mit Hotspares an hohe Plattenzahlen heranzuführen, ergibt jedenfalls nicht so viel Sinn.
- iSCSI und flexibel ist meines Erachtens ein Widerspruch in sich. Wenn etwas "irgendwo" eingebunden werden muss, sollte das doch über SMB gehen. Für ein vSAN andererseits sollte bekannt sein, wo was eingebunden wird, und alles einschließlich Netzwerk danach aufgebaut werden. Das scheint mir bei der angestrebten Kombination aus SAN und NAS nicht ganz durchdacht zus ein. Jetzt bringst du den Compute-Server ins Spiel. Warum mit maximal zwei Servern so viele Fehlerquellen bauen - für den Compute-Server durch die Netzwerkanbindung und für den Storage-Server durch die beiden Lasten Virtualisierung und File-Share?
Ich würde einen einzelnen VM-Host schlicht mit dem erforderlichen internen Storage ausstatten und daneben einen reinen Storage-Server für SMB stellen. Der wird nachts auch nicht genutzt und kann z.B. die Sicherungen des VM-Hosts annehmen, von dort dann alles auf Tape.
Geht natürlich auch anders. Aber wenn ich deine Idee richtig verstanden habe (der "Storage-Server" als VM-Host für TrueNAS, Veeam und vSAN, daneben noch ein anderer VM-Host), ist es halt viel schwieriger, das Konstrukt performant auszulegen.
Grüße
Richard
da ist viel Geschmackssache bzw. hängt von Faktoren ab, die hier nicht hervorgehen (z.B. wie stark die Tendenz entweder zu Linux oder zu Windows ist und aus welchen Gründen). Zwei Elemente aus deinem Text:
- 2x10 Platten in einem Server, jeweils mit RAID5 und Hotspare, finde ich etwas weit hergeholt. Generell sollte man sich fragen, ob eine Hotspare nötig ist, d.h. im Ernstfall ein Festplattenwechsel nicht zeitnah manuell erfolgen kann. Sonst sind sie ein schlechtes Investment. Einen üblichen Server mit 24 Schächten (+OS) kannst du auch einfach voll machen und 2 RAID6 aufsetzen. Oder auch nur ein RAID6, mit Hotspare, wenn es sein soll. Ein RAID5 mit Hotspares an hohe Plattenzahlen heranzuführen, ergibt jedenfalls nicht so viel Sinn.
- iSCSI und flexibel ist meines Erachtens ein Widerspruch in sich. Wenn etwas "irgendwo" eingebunden werden muss, sollte das doch über SMB gehen. Für ein vSAN andererseits sollte bekannt sein, wo was eingebunden wird, und alles einschließlich Netzwerk danach aufgebaut werden. Das scheint mir bei der angestrebten Kombination aus SAN und NAS nicht ganz durchdacht zus ein. Jetzt bringst du den Compute-Server ins Spiel. Warum mit maximal zwei Servern so viele Fehlerquellen bauen - für den Compute-Server durch die Netzwerkanbindung und für den Storage-Server durch die beiden Lasten Virtualisierung und File-Share?
Ich würde einen einzelnen VM-Host schlicht mit dem erforderlichen internen Storage ausstatten und daneben einen reinen Storage-Server für SMB stellen. Der wird nachts auch nicht genutzt und kann z.B. die Sicherungen des VM-Hosts annehmen, von dort dann alles auf Tape.
Geht natürlich auch anders. Aber wenn ich deine Idee richtig verstanden habe (der "Storage-Server" als VM-Host für TrueNAS, Veeam und vSAN, daneben noch ein anderer VM-Host), ist es halt viel schwieriger, das Konstrukt performant auszulegen.
Grüße
Richard
Bei unterschiedlichen Arten von Daten (z.B. iSCSI und SMB Shares) und aufgrund der Menge würde ich eventuell mehrere Systeme aufsetzten und diese spezialisieren, also in Sachen Geschwindigkeit z.B. SSD für VMs und langsamme Spindeln für Archiv etc. Klar hat man dann wieder mehrere Boxen da stehen aber ab einer gewissen Menge an HDDs die eine Box ansprechen soll wird es auf jedenfall teurer das in ein Gerät zu packen. Und wenn viele Daten selten gebraucht werden wäre es auch irgendwie Quatsch die auf sehr teures Storrage zu legen.
Es gibt aber auch noch zwei Nachteile bei großen RAIDs die einem unbedingt klar sein müssen:
- Bei einem Rebuild von RAID5 oder 6, egal ob mit Hotspare oder ohne, werden ALLE Daten auf allen Platten gelesen. Die Ausfallwahrscheinlichkeit ist besonders hoch weil möglicherweise bisher nicht angesprochene Sektoren tatsächlich defekt sind. Daraus folgt je mehr und je größere Platten desto höher die Wahrscheinlichkeit das ein Rebuild in einen weiteren Fehler läuft.
- Je größer die Platten desto länger dauert der Rebuild.
Natürlich kann man jetzt sagen ich habe ja ein Backup aber das System steht erstmal und ein Restore dauert auch länger je mehr Daten betroffen sind. Besser man hat vielleicht weitere Systeme (vielleicht auch alte die noch vorhanden sind) auf die man Daten zurück schreiben kann und man ist flexibler.
Veeam stellt glaube ich das Lizenzmodell um so das die Anzahl der zu sichernden Systeme eine stärkere Rolle spielt aber das ändert nicht viel an der Sache.
Es gibt aber auch noch zwei Nachteile bei großen RAIDs die einem unbedingt klar sein müssen:
- Bei einem Rebuild von RAID5 oder 6, egal ob mit Hotspare oder ohne, werden ALLE Daten auf allen Platten gelesen. Die Ausfallwahrscheinlichkeit ist besonders hoch weil möglicherweise bisher nicht angesprochene Sektoren tatsächlich defekt sind. Daraus folgt je mehr und je größere Platten desto höher die Wahrscheinlichkeit das ein Rebuild in einen weiteren Fehler läuft.
- Je größer die Platten desto länger dauert der Rebuild.
Natürlich kann man jetzt sagen ich habe ja ein Backup aber das System steht erstmal und ein Restore dauert auch länger je mehr Daten betroffen sind. Besser man hat vielleicht weitere Systeme (vielleicht auch alte die noch vorhanden sind) auf die man Daten zurück schreiben kann und man ist flexibler.
Veeam stellt glaube ich das Lizenzmodell um so das die Anzahl der zu sichernden Systeme eine stärkere Rolle spielt aber das ändert nicht viel an der Sache.
Hi
wie viele Clients sollen denn am Ende des Tages darauf arbeiten? Platz ist ja eine Sache, IOPs und Latenz die andere und wichtigere. Ich würde hier auch zwischen "produktives Arbeiten" und "Dateiablage" unterscheiden und beides unterschiedlich betrachten und ausstatten - es sein denn, Geld spielt keine Rolle und du kannst alles auf SSD oder besser noch NVMe lagern .
Es gibt auch System wo man deutlich mehr wie 24 Platten verbauen kann, wenn es kein AAA Anbieter sein muss, kann ich ThomasKrenn oder Tarox empfehlen. Der Preisunterschied zu den AAA Anbietern kann schon enorm sein, so das du ggf. auf SSD only wechseln kannst.
Wenn du große HDD (Nearline-SAS oder SATA) verwenden möchtest, würde ich von Raid 5 Abstand nehmen und auf Raid 6 + Hotpaire gehen, je nach Controller können die Rebuildzeiten sehr lang werden, hängt auch zum Teil an der HDD Größe, die Zeiten steigen da nicht Linear an
Das Backup würde ich generell auf eigener Hardware laufen lassen und es nicht virtuell betreiben, vor allem Verbindung mit Tapelibrarys kann es zu kleineren Herausforderungen kommen. Das Backup-System kannst dann auch in einem anderen Serverraum laufen lassen um im Brandfall nicht alles zu verlieren.
Just my 2 Cent
@clSchak
wie viele Clients sollen denn am Ende des Tages darauf arbeiten? Platz ist ja eine Sache, IOPs und Latenz die andere und wichtigere. Ich würde hier auch zwischen "produktives Arbeiten" und "Dateiablage" unterscheiden und beides unterschiedlich betrachten und ausstatten - es sein denn, Geld spielt keine Rolle und du kannst alles auf SSD oder besser noch NVMe lagern .
Es gibt auch System wo man deutlich mehr wie 24 Platten verbauen kann, wenn es kein AAA Anbieter sein muss, kann ich ThomasKrenn oder Tarox empfehlen. Der Preisunterschied zu den AAA Anbietern kann schon enorm sein, so das du ggf. auf SSD only wechseln kannst.
Wenn du große HDD (Nearline-SAS oder SATA) verwenden möchtest, würde ich von Raid 5 Abstand nehmen und auf Raid 6 + Hotpaire gehen, je nach Controller können die Rebuildzeiten sehr lang werden, hängt auch zum Teil an der HDD Größe, die Zeiten steigen da nicht Linear an
Das Backup würde ich generell auf eigener Hardware laufen lassen und es nicht virtuell betreiben, vor allem Verbindung mit Tapelibrarys kann es zu kleineren Herausforderungen kommen. Das Backup-System kannst dann auch in einem anderen Serverraum laufen lassen um im Brandfall nicht alles zu verlieren.
Just my 2 Cent
@clSchak
Normalerweise poste ich keine Produktlinks aber ich finde die Dinger von Storinator ja recht spannend:
https://www.45drives.com/products/storage/
Das soll aber ausdrücklich keine Empfehlung oder Werbung sein. Ich habe nie ein Ding von denen in den Fingern gehabt aber mir gefällt der Ansatz.
PS: Wenn man sich die Ausstattung ansieht merkt man auch das viel RAM eigentlich nichts groß bringen dürfte.
https://www.45drives.com/products/storage/
Das soll aber ausdrücklich keine Empfehlung oder Werbung sein. Ich habe nie ein Ding von denen in den Fingern gehabt aber mir gefällt der Ansatz.
PS: Wenn man sich die Ausstattung ansieht merkt man auch das viel RAM eigentlich nichts groß bringen dürfte.
Zitat von @ukulele-7:
PS: Wenn man sich die Ausstattung ansieht merkt man auch das viel RAM eigentlich nichts groß bringen dürfte.
PS: Wenn man sich die Ausstattung ansieht merkt man auch das viel RAM eigentlich nichts groß bringen dürfte.
Mit ZFS kann man es nicht bei der Grundausstattung belassen. Die Appliances legen den Fokus auf die Integrationsdichte, da stellt sich dann die Frage des passenden Umfelds, also insbesondere Kühlung. Mit Blick auf eine möglichst hohe Einlasstermperatur nimmt man ja sinnvollerweise die am wenigsten dichte Hardware.
Stimmt natürlich, die Dichte könnte auch deutlich niedriger sein da ein blöder 19'' Rack im Vergleich mit 19'' Gehäusen eigentlich wenig kostet und fast immer seinen Platz findet. Aber Man kommt natürlich bei der Aufrüstbarkeit in so einer Box schnell an seine Grenzen bei so einer 2HE bis 4HE Kiste, mit 3,5'' sowieso. Und mehrere Gehäuse verwenden wird dann auch recht schnell recht teuer. Ich hab leider kein schönes 19'' Gehäuse für meine Eigenbau NAS gefunden.
Was macht ZFS mit viel RAM, cachen?
Was macht ZFS mit viel RAM, cachen?
Ja, hauptsächlich Lese-Cache. Im dreistelligen Bereich muss man meines Erachtens nicht an der Faustregel 1GB pro TB festhalten, aber 128 GB für einen 250 TB-Server sind nicht viel, 192 GB vielleicht ein guter Kompromiss. Der Overhead, den ZFS mit dem Fokus auf Sicherheit generiert, muss schon abgefedert werden.
Mich würde privat mal ein Ceph-Cluster mit SBCs reizen: https://hackaday.io/project/175094-raspberry-pi-ceph-cluster
Aber wirklich passende Hardware, die das nicht viel teurer und trotzdem langsamer als einen simplen Server macht, habe ich noch nicht gefunden.
Mich würde privat mal ein Ceph-Cluster mit SBCs reizen: https://hackaday.io/project/175094-raspberry-pi-ceph-cluster
Aber wirklich passende Hardware, die das nicht viel teurer und trotzdem langsamer als einen simplen Server macht, habe ich noch nicht gefunden.
Moin,
Gruß,
Dani
Aber wie viel hier an den reinen HDD Arrays liegt, wie viel Block Size auf NTFS ausmacht etc. pp., da bin ich mir unsicher.
dann wäres an der Zeit Tests und Analysen durchzuführen und Faken und Daten zu sammeln. Nur so kannst du auch Planungen anstreben, die hinterher auch Hand und Fuß haben. Nichts schlimmeres als ein neues System das entweder von Anfang zu klein ist oder den Zweck nicht erfüllt - sei es Leistung, Nutzung, Wartung oder Sicherheit. neue Storage mit 4-5 Volumes (3x 50TB, 1x 100TB).
Mach dir auch GEdanken über Recovery und dessen Dauer. Wie lange dauert es 50TB wiederherzustellen? Wie lange darf es dauern? Wie viel Geld kostet ein Stillstand?Gruß,
Dani
- Datenmenge/-pfade entsprechend organisieren
- Anzahl notwendiger Bandroboter x Anzahl Lauwerke darauf abstimmen (wo sind wie akuell? LTO9?)