9
NVMe-RAID im Failover Cluster?
Hallo allerseits,
ich habe zzt. einen Linux Failover-Virtualisierungscluster mit 2 Nodes und 8x12 TB HDD jeweils im RAID6.
Medizinische Bilddaten. Einmal geschrieben, wird eigentlich nur noch gelesen.
35 Arbeitsplätze, 10x Homeoffice, 2 Webportale für Ärzte und Patienten.
10GBb/s Backbone, 100MBit/s symmetrisch Internet.
Nun steht der Austausch der Serverhardware an und ich überlege, auf NVMe umzusteigen.
Ja, bei dem Volumen ist das noch sauteuer, aber man gönnt sich ja sonst nix...
Dazu zwei Fragen:
1. Gibt es neben den Kosten technische Gründe, die gegen so große NVMe-Server sprechen?
IOPS ist auch mit HDD zzt noch unkritisch. Wollte nur mal grundsätzlich fragen.
2. Wenn NVMe: Soll ich die NVMe auch ins RAID6 setzen oder reicht nicht auch eine LVM VG?
Failover-Redundanz wäre ja durch den Secondary Node gegeben.
Danke und Gruß
Andreas
ich habe zzt. einen Linux Failover-Virtualisierungscluster mit 2 Nodes und 8x12 TB HDD jeweils im RAID6.
Medizinische Bilddaten. Einmal geschrieben, wird eigentlich nur noch gelesen.
35 Arbeitsplätze, 10x Homeoffice, 2 Webportale für Ärzte und Patienten.
10GBb/s Backbone, 100MBit/s symmetrisch Internet.
Nun steht der Austausch der Serverhardware an und ich überlege, auf NVMe umzusteigen.
Ja, bei dem Volumen ist das noch sauteuer, aber man gönnt sich ja sonst nix...
Dazu zwei Fragen:
1. Gibt es neben den Kosten technische Gründe, die gegen so große NVMe-Server sprechen?
IOPS ist auch mit HDD zzt noch unkritisch. Wollte nur mal grundsätzlich fragen.
2. Wenn NVMe: Soll ich die NVMe auch ins RAID6 setzen oder reicht nicht auch eine LVM VG?
Failover-Redundanz wäre ja durch den Secondary Node gegeben.
Danke und Gruß
Andreas
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 1328037095
Url: https://administrator.de/forum/nvme-raid-im-failover-cluster-1328037095.html
Ausgedruckt am: 11.04.2025 um 02:04 Uhr
9 Kommentare
Neuester Kommentar
Hallo!
Gegen NVMe spricht eigentlich nur, dass es keine wirklich guten Lösungen für "Hardware-Raid" zu geben scheint. Wenn Du ohnehin auf ein Software-Raid gehen möchtest, dann ist das zumindest technisch eine Option. Was für mich nur absolut nicht zusammen passt:
Du nimmst ein Raid6, das eher ein "Performance-Killer" ist. Dann bringst Du NVMe ins Spiel, das eigentlich in Frage kommt, wenn es um hohe IOPS geht.
--> Raid6 wird Dir auch mit NVMe keine hohe Schreibperformance bringen, da DoubleParity eben nicht performant ist.
--> Wenn es, wie Du sagst, um sequenzielles Lesen von Bilddaten geht, sind NVMe auch nicht wirklich schneller, als alte, drehende Platten, oder normale SSDs.
Bei scheinbar benötigten ca. 72TB kostet NVMe richtig Geld. Dann muss es auch nötigt sein.
So richtig schlüssig wirkt es auf mich nicht.
Phil
Gegen NVMe spricht eigentlich nur, dass es keine wirklich guten Lösungen für "Hardware-Raid" zu geben scheint. Wenn Du ohnehin auf ein Software-Raid gehen möchtest, dann ist das zumindest technisch eine Option. Was für mich nur absolut nicht zusammen passt:
Du nimmst ein Raid6, das eher ein "Performance-Killer" ist. Dann bringst Du NVMe ins Spiel, das eigentlich in Frage kommt, wenn es um hohe IOPS geht.
--> Raid6 wird Dir auch mit NVMe keine hohe Schreibperformance bringen, da DoubleParity eben nicht performant ist.
--> Wenn es, wie Du sagst, um sequenzielles Lesen von Bilddaten geht, sind NVMe auch nicht wirklich schneller, als alte, drehende Platten, oder normale SSDs.
Bei scheinbar benötigten ca. 72TB kostet NVMe richtig Geld. Dann muss es auch nötigt sein.
So richtig schlüssig wirkt es auf mich nicht.
Phil
Ich bin mir nicht mal sicher ob ich die Hardware tauschen würde, 12TB SAS? Wie alt sind die denn?
Moin,
@4400667902: Du hast Recht, ich war da nicht ganz präzise, weil ich nicht so viel Kleinkram erklären wollte ;).
Also: Die Maschine mit den 8x12TB soll auch noch nicht getauscht werden, da erst zwei Jahre alt. Ich habe zwei weitere ältere (5 J.) Maschinen mit je 11x 6TB, beide waren früher der production cluster. Nach mehreren Abstürzen ist eine davon entfernt und gegen den 8x12TB ersetzt worden. Nun ist der Tausch der zweiten alten Maschine angedacht, die zzt. noch als Secondary im Cluster läuft.
IOPS werden in den nächsten Jahren ansteigen. Wie sehr, kann ich noch nicht abschätzen. Aber es wird deutlich mehr werden, da
a) Patienten demnächst die Möglichkeit haben werden, Ihre Untersuchungen online einzusehen,
b) auch zuweisende Ärzte online auf Befunde und Bilder zugreifen werden - was heute noch per Zettel und gebrannter CD läuft
c) im November eine neue VM mit Oracle-DB an den Start gehen soll und
d) mittelfristig VDI/RDP die Desktops ablösen sollen
Meine Überlegung war nun, ob ich jetzt einen Technologiewechsel vollziehe und dann 5J+ Ruhe habe, soweit keine Hardwaredefekte auftreten. Hinsichtlich Schreibperformance ist es dabei wohl wenig sinnvoll, einen NVMe-Host mit dem HDD-Host zu clustern. Also brauche ich gleich zwei NVMe-Hosts. Das Budget ist sogar grundsätzlich da. Und NVMe sind inzwischen teils günstiger als SAS-SSD bei vergleichbaren DWPD/PBW.
Klar, kann sein, dass ich damit etwas übers Ziel hinausschieße. Aber lieber etwas Leistungsreserven haben, als dass es hinterher klemmt.
Bleibt die Frage, ob ich im Cluster RAIDx komplett bleiben lassen könnte und den Storage per Host nur über eine LVM Volumegroup bereitstelle. Wie schnell bekäme ich dann den Cluster wieder synchron, wenn eine einzelne Disk ausfällt? Reicht das als Redundanz...?
Andreas
@4400667902: Du hast Recht, ich war da nicht ganz präzise, weil ich nicht so viel Kleinkram erklären wollte ;).
Also: Die Maschine mit den 8x12TB soll auch noch nicht getauscht werden, da erst zwei Jahre alt. Ich habe zwei weitere ältere (5 J.) Maschinen mit je 11x 6TB, beide waren früher der production cluster. Nach mehreren Abstürzen ist eine davon entfernt und gegen den 8x12TB ersetzt worden. Nun ist der Tausch der zweiten alten Maschine angedacht, die zzt. noch als Secondary im Cluster läuft.
IOPS werden in den nächsten Jahren ansteigen. Wie sehr, kann ich noch nicht abschätzen. Aber es wird deutlich mehr werden, da
a) Patienten demnächst die Möglichkeit haben werden, Ihre Untersuchungen online einzusehen,
b) auch zuweisende Ärzte online auf Befunde und Bilder zugreifen werden - was heute noch per Zettel und gebrannter CD läuft
c) im November eine neue VM mit Oracle-DB an den Start gehen soll und
d) mittelfristig VDI/RDP die Desktops ablösen sollen
Meine Überlegung war nun, ob ich jetzt einen Technologiewechsel vollziehe und dann 5J+ Ruhe habe, soweit keine Hardwaredefekte auftreten. Hinsichtlich Schreibperformance ist es dabei wohl wenig sinnvoll, einen NVMe-Host mit dem HDD-Host zu clustern. Also brauche ich gleich zwei NVMe-Hosts. Das Budget ist sogar grundsätzlich da. Und NVMe sind inzwischen teils günstiger als SAS-SSD bei vergleichbaren DWPD/PBW.
Klar, kann sein, dass ich damit etwas übers Ziel hinausschieße. Aber lieber etwas Leistungsreserven haben, als dass es hinterher klemmt.
Bleibt die Frage, ob ich im Cluster RAIDx komplett bleiben lassen könnte und den Storage per Host nur über eine LVM Volumegroup bereitstelle. Wie schnell bekäme ich dann den Cluster wieder synchron, wenn eine einzelne Disk ausfällt? Reicht das als Redundanz...?
Andreas
Nun bestimmte Workloads profitieren natürlich von SSD. Ich würde dann aber eher ergänzend einen oder zwei SAN Knoten für bestimmte Workloads zusätzlich anschaffen und nicht ein riesiges Datenarchiv das auf aktueller Hardware läuft kostspielig auf SSDs umziehen. Ich denke mal der Online Zugriff wird jetzt ein SAS RAID nicht so schnell in die Knie zwingen 
Wenn man die Kosten niedrig halten will, würde ich jetzt nicht auf only-NVMe setzen, sondern eventuell auf eine andere Cluster-Technologie wie Ceph zurückgreifen. Dort dann Cache-Devices mit schnellen NVMe verwenden und kombinieren mit günstigen SAS-HDD. Somit hat man das beste aus beiden Welten.
Weil das was du da beschreibst, hat wenig mit einem Cluster zu tun. Ich vermute mal du verwendest ein DRBD mit LVM drauf. Das ist nichts weiter als eine Replikation von Storage und Failover. Ein Cluster geht bei 3 Nodes aufwärts los... zumindest verstehe ich das unter dem Begriff "Cluster".
Wie schon geschrieben, würde ich auch kein Raid6 mehr nehmen. Schon gar nicht bei SSDs. Der Nutzen-Kosten-Aufwand steht in keinem Verhältnis. Egal wie wichtig die Daten sind... und das sagt einer der selbst im medizinischen Sektor unterwegs ist. Ein Backup braucht man sowieso immer und wenn es um den Schutz vor Bad Blocks geht, dann machen ZFS (Mirror, Stripped Mirror) und Ceph einen deutlich besseren Job.
Weil das was du da beschreibst, hat wenig mit einem Cluster zu tun. Ich vermute mal du verwendest ein DRBD mit LVM drauf. Das ist nichts weiter als eine Replikation von Storage und Failover. Ein Cluster geht bei 3 Nodes aufwärts los... zumindest verstehe ich das unter dem Begriff "Cluster".
Wie schon geschrieben, würde ich auch kein Raid6 mehr nehmen. Schon gar nicht bei SSDs. Der Nutzen-Kosten-Aufwand steht in keinem Verhältnis. Egal wie wichtig die Daten sind... und das sagt einer der selbst im medizinischen Sektor unterwegs ist. Ein Backup braucht man sowieso immer und wenn es um den Schutz vor Bad Blocks geht, dann machen ZFS (Mirror, Stripped Mirror) und Ceph einen deutlich besseren Job.
Fenris: Ich setze (noch) ganeti unter CentOS 7 als Virtualisierungsclustersystem ein, mit zzt. 20 VMs. Ziel sind 3 Nodes, damit ich einen mal zur Wartung rausnehmen kann und trotzdem Redundanz habe. Und ganeti verwendet in der Tat DRBD mit KVM/QEMU/LVM. Neben der Hardware sind meine Randüberlegungen, ob ich wegen der Bewegungen bei CentOS/RedHat auf Debian umsteige. Das hat mittlerweile auch ganeti fest im Repo. Alternativ zu ganeti denke ich über proxmox nach - das ist wenigstens schön bunt ;). Ernsthaft, ganeti ist super, finde ich. Aber ich bin der einzige ITler bei uns und kann nicht erwarten, dass sich eine Vertretung damit auskennt. proxmox hat wenigstens ein GUI. Aber insgesamt würde ich mit der Virtualisierung schon gern bei Linux/OpenSource bleiben.
Über den NVMe-Cache für HDD habe ich tatsächlich auch schon nachgedacht. Gut möglich, dass es darauf hinausläuft.
Über den NVMe-Cache für HDD habe ich tatsächlich auch schon nachgedacht. Gut möglich, dass es darauf hinausläuft.
Proxmox ist auch weitestgehend OpenSource. Die setzen auf ein leicht abgeändertes Debian und für VMs auf KVM und bei Containern auf LXC. Besser und schneller bekommt man keine virtuelle Umgebung aufgebaut. Zumindest zum Null-Tarif nicht.
Die Integration zum Beispiel von Ceph bringt halt viele Vorteile und es wird alles regelmäßig auf dem aktuellen Stand gehalten. Genauso gut kannst du auch Proxmox komplett über die CLI bedienen.
Die Integration zum Beispiel von Ceph bringt halt viele Vorteile und es wird alles regelmäßig auf dem aktuellen Stand gehalten. Genauso gut kannst du auch Proxmox komplett über die CLI bedienen.
Ja, sorry, dass proxmox OpenSource ist, wußte ich. Deswegen habe ich das im Fokus. Ich meinte damit, man könnte das ja auch alles mit Hyper-V oder VMWare bauen. Dann ist die Lernkurve für eine Vertretung nicht so hoch, da das Standard ist und viele es supporten können. Aber ich möchte eben bewußt bei OpenSource bleiben.
Erstmal muss ich aber nun meine Hardware klarkriegen, da waren Eure Gedanken sehr hilfreich.
Danke und Gruß
Andreas
Erstmal muss ich aber nun meine Hardware klarkriegen, da waren Eure Gedanken sehr hilfreich.
Danke und Gruß
Andreas
Mit Hyper-V oder VMWare wird einfach alles um ein vielfaches teurer. Alleine wenn man stinknormale Failover-Funktionalitäten nachbilden möchte.
Normalerweise muss man sich erstmal klar darüber werden was man für ein Betriebssystem oder Hypervisor man einsetzen möchte. Da mögen mir zwar viele widersprechen, aber aus meiner Erfahrung heraus ist es mittlerweile so das sich dann erst heraus kristallisiert was man für Hardware verwenden möchte.
Während zum Beispiel bei Proxmox ein Hardware-Raid-Controller wenig Sinn macht, sieht es bei VMWare schon wieder anders aus.
Als erstes darüber klar werden was man für Software einsetzen möchte, dann Topologie/Anforderung (Ausfallsicherheit, Backup, Failover, Cluster, Shared Storage, etc. pp.), dann Hardware.
Normalerweise muss man sich erstmal klar darüber werden was man für ein Betriebssystem oder Hypervisor man einsetzen möchte. Da mögen mir zwar viele widersprechen, aber aus meiner Erfahrung heraus ist es mittlerweile so das sich dann erst heraus kristallisiert was man für Hardware verwenden möchte.
Während zum Beispiel bei Proxmox ein Hardware-Raid-Controller wenig Sinn macht, sieht es bei VMWare schon wieder anders aus.
Als erstes darüber klar werden was man für Software einsetzen möchte, dann Topologie/Anforderung (Ausfallsicherheit, Backup, Failover, Cluster, Shared Storage, etc. pp.), dann Hardware.
