3-Node Proxmox Ceph Cluster ablösen. Meinung oder Alternative?

g0drealm
Goto Top
Guten Abend zusammen,

wir haben in der Firma von meinem Vorgänger noch einen 3-Node Ceph Cluster auf dem noch 3 wichtige Server laufen.

Zwischen den Feiertagen würde ich den Cluster gerne abschaffen, da ich einen der drei Server für etwas anderes benötige und mir die Performance des Clusters einfach viel zu schlecht ist (langsame 3.5" Platten, kein SSD Cache / Journal, etc).

Ich hätte für die Umstrukturierung folgendes zur Verfügung:

2x Baugleiche HP Proliant DL320 6x2TB HDD, P840 4GB, 2x E5-2630v3, 64GB RAM, 4x 1Gbit, 2x 10Gbit LAN
2x QNAP TS-832PXU-RP-4G 2x512GB SSD als Cache, 6x 3TB HDD RAID10
1x 10Gbit Switch

Nach meiner ersten Überlegung würde ich auf den 2 HP Servern ein RAID10 erstellen, die neuste Proxmox Version installieren und ein 2-Node Cluster erstellen. Danach würde ich die beiden QNAPs als SAN per NFS oder ISCSI verbinden. Alles Server sind hierbei über 10Gbit mit dem Switch verbunden.
Bzgl. HA würde ich die VMs auf den primären QNAP kopieren und diese auf den sekundären QNAP zu bestimmten Zeiten spiegeln. Sollte einer der räumlich getrennten Proxmox Server ausfallen, würden über die HA-Gruppe die Server dann auf dem jeweils noch aktiven Server hochfahren.

Soweit meine Theorie. Aus Erfahrungen sollte dies deutlich schneller sein, als das alte Setup.
Leider steht aus aktuellem Anlass kein Budget zur Verfügung, wodurch ich mit dem arbeiten muss, was ich habe.

Hat jmd. vielleicht Meinungen zu dem Setup, oder evtl. alternative Ideen?

Gruß

g0drealm

Content-Key: 631525

Url: https://administrator.de/contentid/631525

Ausgedruckt am: 17.05.2022 um 20:05 Uhr

Mitglied: StefanKittel
StefanKittel 13.12.2020 um 18:22:46 Uhr
Goto Top
Hallo,

rechne mal nach was der Aufpreis für Enterprise SSDs sind.
Z.B. Micron 5300er.
Dafür dann den Cache weglassen.

Stefan
Mitglied: Ad39min
Ad39min 13.12.2020 um 18:50:39 Uhr
Goto Top
Hi,

wir haben in der Firma von meinem Vorgänger noch einen 3-Node Ceph Cluster auf dem noch 3 wichtige Server laufen.

Erst einmal nichts verkehrt dran. Wie darf man das zweite "noch" verstehen? Habt ihr vor, künftig nicht mehr auf Virtualisierung allgemein oder speziell nicht mehr auf Proxmox zu setzen?


Zwischen den Feiertagen würde ich den Cluster gerne abschaffen,

Da klingeln schonmal alle Alarmglocken. Bitte stelle vorher sicher, dass Backups vorhanden sind.

da ich einen der drei Server für etwas anderes benötige und mir die Performance des Clusters einfach viel zu schlecht ist (langsame 3.5" Platten, kein SSD Cache / Journal, etc).

Wozu benötigst Du den extra Server, ließe sich das evtl. auch virtualisieren?

2x Baugleiche HP Proliant DL320 6x2TB HDD, P840 4GB, 2x E5-2630v3, 64GB RAM, 4x 1Gbit, 2x 10Gbit LAN
2x QNAP TS-832PXU-RP-4G 2x512GB SSD als Cache, 6x 3TB HDD RAID10
1x 10Gbit Switch

Auf den ersten Blick wäre schon einmal zu bemängeln, dass es mit dem alleinstehenden 10G-Switch ein SPOF gibt. Es wäre angebracht hier eine hochverfügbare Gruppe von Switchen in Form von Stacking oder RSTP und VRRP(falls Layer3) einzusetzen.

Bzgl. HA würde ich die VMs auf den primären QNAP kopieren und diese auf den sekundären QNAP zu bestimmten Zeiten spiegeln. Sollte einer der räumlich getrennten Proxmox Server ausfallen, würden über die HA-Gruppe die Server dann auf dem jeweils noch aktiven Server hochfahren.

Hier ist eine VM-Snapshot-Replikation gemeint. Von echter HA mit automatischem Failover (wie es bei euch zur Zeit sein sollte) kann hierbei nicht die Rede sein. Denn hierzu wird ein einheitliches Shared Storage (aus HyperVisor-Sicht) benötigt, welches an sich natürlich auch hochverfügbar ausgelegt sein sollte. Oder eben ein Ceph-Cluster mit mindestens 3 Nodes.

Soweit meine Theorie. Aus Erfahrungen sollte dies deutlich schneller sein, als das alte Setup.
Leider steht aus aktuellem Anlass kein Budget zur Verfügung, wodurch ich mit dem arbeiten muss, was ich habe.

Je nach Situation ist es natürlich überlegenswert, ob man nicht noch warten kann, bis voraussichtlich die finanzielle Situation besser ist, und solange noch mit der etwas niedrigeren Geschwindigkeit lebt?

Ich würde (wenn es der preisliche Rahmen später hergibt) mir überlegen, ob ich nicht die Hosts im Ceph-Cluster mit schnelleren Datenträgern versorge und somit dem Geschwindigkeitsproblem entgegensteure. Oder eben ein hochverfügbares bzw. redundant ausgelegtes externes Storage und dann eben ein 2-node Cluster.

Egal wofür Du dich schlussendlich entscheidest, solltest Du Dir Dein Vorhaben gut überlegen, und nach Möglichkeit testen, ob das auch so funktioniert, wie Du Dir das vorstellst, bevor Du loslegst.

Gruß
Alex
Mitglied: g0drealm
g0drealm 13.12.2020 aktualisiert um 20:40:35 Uhr
Goto Top
@StefanKittel

Vertragen sich Micron SSDs in Original Trays mit HP Servern? Habe schon unschöne Erfahrungen mit 3rd Party SSDs gemacht. Trotz aktuellsten Firmware Updates liefen die Lüfter auf 90% :( face-sad

@Ad39min

Erst einmal nichts verkehrt dran. Wie darf man das zweite "noch" verstehen? Habt ihr vor, künftig nicht mehr auf Virtualisierung allgemein oder speziell nicht mehr auf Proxmox zu setzen?

Wir werden in Zukunft vermutlich irgendwann auf Hyper-V umsteigen. Unsere neuen Produktivsysteme (Warenwirtschaft, DMS etc.) laufen auf einem Hyper-V Starwind Cluster, welchen ich aufgesetzt habe und der deutlich performanter läuft als unser Ceph. Deswegen noch ;)

Da klingeln schonmal alle Alarmglocken. Bitte stelle vorher sicher, dass Backups vorhanden sind.

Maschinen werden natürlich am Tag vorher gesichert ;)

Wozu benötigst Du den extra Server, ließe sich das evtl. auch virtualisieren?

Brauche eine Testumgebung für Schulungen und neue Systeme, welche im Frühjahr kommen sollen. Für diese Systeme reichen die restlichen Ressourcen, die ich zu Verfügung habe, leider nicht aus.

Auf den ersten Blick wäre schon einmal zu bemängeln, dass es mit dem alleinstehenden 10G-Switch ein SPOF gibt. Es wäre angebracht hier eine hochverfügbare Gruppe von Switchen in Form von Stacking oder RSTP und VRRP(falls Layer3) einzusetzen

Da hast du vollkommen recht. Wir haben zwar einen gestackten 10Gbit Switch aber der dient als Core und da kann ich nicht noch den ISCSI Traffic drauflassen. Wobei ich SPOF bei dem Switch jetzt nicht so wild finde. Ersatzswitch liegt parat und sobald Monitoring anschlägt oder während der Arbeitszeit was passiert, wird einfach ausgetauscht.

Hier ist eine VM-Snapshot-Replikation gemeint. Von echter HA mit automatischem Failover (wie es bei euch zur Zeit sein sollte) kann hierbei nicht die Rede sein. Denn hierzu wird ein einheitliches Shared Storage (aus HyperVisor-Sicht) benötigt, welches an sich natürlich auch hochverfügbar ausgelegt sein sollte. Oder eben ein Ceph-Cluster mit mindestens 3 Nodes.

Ich habe einen QNAP bisher erst einmal als VM-Storage verwendet - ohne Cluster. Habe nur Erfahrung mit hyperkonvergenten Clustern. Wenn beide Cluster member denn selben Storage eingebunden haben und ein member ausfällt müsste die VM doch auf dem noch verfügbaren weiterlaufen oder hab ich da jetzt einen Denkfehler? Dass die beiden QNAPs nicht hochverfügbar ausgelegt sind, ist mir klar.

Je nach Situation ist es natürlich überlegenswert, ob man nicht noch warten kann, bis voraussichtlich die finanzielle Situation besser ist, und solange noch mit der etwas niedrigeren Geschwindigkeit lebt?

Ich würde (wenn es der preisliche Rahmen später hergibt) mir überlegen, ob ich nicht die Hosts im Ceph-Cluster mit schnelleren Datenträgern versorge und somit dem Geschwindigkeitsproblem entgegensteure. Oder eben ein hochverfügbares bzw. redundant ausgelegtes externes Storage und dann eben ein 2-node Cluster.

Egal wofür Du dich schlussendlich entscheidest, solltest Du Dir Dein Vorhaben gut überlegen, und nach Möglichkeit testen, ob das auch so funktioniert, wie Du Dir das vorstellst, bevor Du loslegst.

Da Problem ist, dass wir nur einmal im Jahr Betriebsurlaub haben und zwar an Weihnachten 2 Wochen. Ansonsten reicht für die komplette Neuinstallation der Systeme einfach die Zeit nicht.
Mitglied: Ad39min
Ad39min 14.12.2020 um 18:46:35 Uhr
Goto Top
Zitat von @g0drealm:

Erst einmal nichts verkehrt dran. Wie darf man das zweite "noch" verstehen? Habt ihr vor, künftig nicht mehr auf Virtualisierung allgemein oder speziell nicht mehr auf Proxmox zu setzen?

Wir werden in Zukunft vermutlich irgendwann auf Hyper-V umsteigen. Unsere neuen Produktivsysteme (Warenwirtschaft, DMS etc.) laufen auf einem Hyper-V Starwind Cluster, welchen ich aufgesetzt habe und der deutlich performanter läuft als unser Ceph. Deswegen noch ;)

Klingt doch gut. Wieso dann nicht die restlichen Hosts dazunehmen und die VMs Stück für Stück migrieren?

Wozu benötigst Du den extra Server, ließe sich das evtl. auch virtualisieren?

Brauche eine Testumgebung für Schulungen und neue Systeme, welche im Frühjahr kommen sollen. Für diese Systeme reichen die restlichen Ressourcen, die ich zu Verfügung habe, leider nicht aus.

Naja, sich für eine Testumgebung sich an einem funktionierenden Produktivsystem zu vergreifen ist dennoch fragwürdig ;-) face-wink
Habt ihr nicht irgendwo einen X-beliebigen Desktoprechner rumstehen? Für reine Testumgebungen wäre dies evtl. ausreichend.

Auf den ersten Blick wäre schon einmal zu bemängeln, dass es mit dem alleinstehenden 10G-Switch ein SPOF gibt. Es wäre angebracht hier eine hochverfügbare Gruppe von Switchen in Form von Stacking oder RSTP und VRRP(falls Layer3) einzusetzen

Da hast du vollkommen recht. Wir haben zwar einen gestackten 10Gbit Switch aber der dient als Core und da kann ich nicht noch den ISCSI Traffic drauflassen.

Je nach Kapazität und Leistung wäre dies evtl. möglich und ist auch allgemein keine seltene Praxis.

Wobei ich SPOF bei dem Switch jetzt nicht so wild finde. Ersatzswitch liegt parat und sobald Monitoring anschlägt oder während der Arbeitszeit was passiert, wird einfach ausgetauscht.

Da wäre ich vorsichtig. Bei Access-Switchen für Clientsysteme halte ich einen Ausfall auch nicht für wild, wenn man einen Cold-Standby parat liegen hat. Aber bei einem Switch, der die Verbindung zw. Virtualisierungshosts und deren Storage bereitstellt, sollte eine Unterbrechungsfreie Verfügbarkeit auf jeden Fall gewährleistet sein. Es können ungeahnte Dinge passieren, wenn laufenden VMs das Storage unter den Füßen weggezogen wird, insbesondere bei Datenbanksystemen.

Hier ist eine VM-Snapshot-Replikation gemeint. Von echter HA mit automatischem Failover (wie es bei euch zur Zeit sein sollte) kann hierbei nicht die Rede sein. Denn hierzu wird ein einheitliches Shared Storage (aus HyperVisor-Sicht) benötigt, welches an sich natürlich auch hochverfügbar ausgelegt sein sollte. Oder eben ein Ceph-Cluster mit mindestens 3 Nodes.

Ich habe einen QNAP bisher erst einmal als VM-Storage verwendet - ohne Cluster. Habe nur Erfahrung mit hyperkonvergenten Clustern. Wenn beide Cluster member denn selben Storage eingebunden haben und ein member ausfällt müsste die VM doch auf dem noch verfügbaren weiterlaufen oder hab ich da jetzt einen Denkfehler? Dass die beiden QNAPs nicht hochverfügbar ausgelegt sind, ist mir klar.

Das ist korrekt, aber damit bewegt man den SPOF nur von den Hosts in Richtung Storage. Wenn dieses ausfällt, ist das Cluster hinfällig, das können dann noch so viele VM-Hosts sein. Daher sollte das Storage (egal ob NAS oder SAN) immer hochverfügbar ausgelegt sein.

Natürlich wirkt man mit der Snapshot-Replikation von Storage A auf Storage B dem Totalausfall entgegen, aber ein hochverfügbares Storage lässt sich damit nicht ersetzen.


Je nach Situation ist es natürlich überlegenswert, ob man nicht noch warten kann, bis voraussichtlich die finanzielle Situation besser ist, und solange noch mit der etwas niedrigeren Geschwindigkeit lebt?

Ich würde (wenn es der preisliche Rahmen später hergibt) mir überlegen, ob ich nicht die Hosts im Ceph-Cluster mit schnelleren Datenträgern versorge und somit dem Geschwindigkeitsproblem entgegensteure. Oder eben ein hochverfügbares bzw. redundant ausgelegtes externes Storage und dann eben ein 2-node Cluster.

Egal wofür Du dich schlussendlich entscheidest, solltest Du Dir Dein Vorhaben gut überlegen, und nach Möglichkeit testen, ob das auch so funktioniert, wie Du Dir das vorstellst, bevor Du loslegst.

Da Problem ist, dass wir nur einmal im Jahr Betriebsurlaub haben und zwar an Weihnachten 2 Wochen. Ansonsten reicht für die komplette Neuinstallation der Systeme einfach die Zeit nicht.

Das ist natürlich (nicht nur bei euch) ein allbekanntes Problem. Mit richtiger Vorbereitung lässt sich sowas auch in weniger als 2 Wochen realisieren, wenn man von einer hundertprozentigen Downtime spricht. Möglicherweise ist dies mit der GL verhandelbar?

Gruß
Alex
Mitglied: g0drealm
g0drealm 15.12.2020 aktualisiert um 09:09:39 Uhr
Goto Top
@Ad39min Danke für deine Antwort.

Klingt doch gut. Wieso dann nicht die restlichen Hosts dazunehmen und die VMs Stück für Stück migrieren?

Wenn ich den Starwind Cluster erweitere, benötige ich pro Server 3x Windows Server 2016 Standard 16 Core für die Lizenzierung der VMs sowie zusätzlich noch die Lizenzkosten für Starwind. Das ist etwas arg zu viel :D

Naja, sich für eine Testumgebung sich an einem funktionierenden Produktivsystem zu vergreifen ist dennoch fragwürdig ;-) face-wink. Habt ihr nicht irgendwo einen X-beliebigen Desktoprechner rumstehen? Für reine Testumgebungen wäre dies evtl. ausreichend.

Genug aber entweder nicht VT-x fähig, oder zu wenig Ressourcen.

Da wäre ich vorsichtig. Bei Access-Switchen für Clientsysteme halte ich einen Ausfall auch nicht für wild, wenn man einen Cold-Standby parat liegen hat. Aber bei einem Switch, der die Verbindung zw. Virtualisierungshosts und deren Storage bereitstellt, sollte eine Unterbrechungsfreie Verfügbarkeit auf jeden Fall gewährleistet sein. Es können ungeahnte Dinge passieren, wenn laufenden VMs das Storage unter den Füßen weggezogen wird, insbesondere bei Datenbanksystemen.

Ok alles klar.

Das ist korrekt, aber damit bewegt man den SPOF nur von den Hosts in Richtung Storage. Wenn dieses ausfällt, ist das Cluster hinfällig, das können dann noch so viele VM-Hosts sein. Daher sollte das Storage (egal ob NAS oder SAN) immer hochverfügbar ausgelegt sein. Natürlich wirkt man mit der Snapshot-Replikation von Storage A auf Storage B dem Totalausfall entgegen, aber ein hochverfügbares Storage lässt sich damit nicht ersetzen.

Mhm ok. Also komplett hochverfügbares Storage bekomme ich auf jedenfall nicht durchgesetzt. Unsere Mutterfirma verwendet als Hauptserver 2 Debian Server welche mit drbd gespiegelt werden. Ohne Quorum Device. Starwind war schon ein Akt :D

Was ich mir jetzt mal noch angeschaut habe, ist ein Hyper-V 2 Node Cluster und Failover / Replikation mittel Veeam Backupg & Replication.
Ich habe noch 2 Windows Server Lizenzen und mit der Backupsoftware würde ich immerhin günstiger wegkommen als bei anderen Szenarien. Wäre dies eine Alternative?

In der Beschreibung von Veeam steht:

In addition to VM backups, you can create VM replicas with Veeam Backup & Replication. When you replicate a VM, Veeam Backup & Replication creates an exact copy of the VM in the native Microsoft Hyper-V format on a spare host, and maintains this copy in sync with the original VM.
Replication provides the best recovery time objective (RTO) values, as you actually have a copy of your VM in a ready-to-start state. That is why replication is commonly recommended for the most critical VMs that need minimum RTO

Das hört sich auch nicht schlecht an.
Mitglied: wecanIT
wecanIT 11.01.2021 um 09:10:47 Uhr
Goto Top
VEEAM kan man als Backup Software empfehlen. Dafür benötigst du aber einen weiteren phys. Server mit VEEAM drauf, welcher dann auch direkt auf dein Storrage zugreifen kann. Wenn du es performant haben möchtest. Und natürlich die, unerheblichen ;-) face-wink, VEEAM Lizenzen pro Host und Core.