5
Proxmox HA Cluster - Beratung Laufwerke
Hallo zusammen!
Wir haben 2 relativ identische Server die wir zusammen mit einem QDevice für einen Proxmox HA Cluster verwenden wollen.
Die 2 Server sind mit jeweils 2 SSDs ausgestattet welche mit einem Hardware-Raid Controller im RAID1 Verbund betrieben werden.
Wenn ich das richtig in diversenen Tutorial gesehen habe, ist das Disk-Setting für einen HA Cluster ungeeignet, da man dafür ein separates Laufwerk mit ZFS benötigt, welches auf allen Proxmox Instanzen gleich heißt (wird repliziert), damit bei einem Ausfall eines Clusters auch die Daten auf den übernehmenden Cluster verfügbar sind.
Ist o.g. Annahme korrekt, oder gibt es eine Möglichkeit mit nur einem Laufwerk einen HA Cluster zu realisieren?
Wenn ich ein separates Laufwerk benötige, wie wäre Eure Empfehlung?
Spontan sehe ich 2 Möglichkeiten:
Vielen Dank für Eure Beiträge,
Malungo
Wir haben 2 relativ identische Server die wir zusammen mit einem QDevice für einen Proxmox HA Cluster verwenden wollen.
Die 2 Server sind mit jeweils 2 SSDs ausgestattet welche mit einem Hardware-Raid Controller im RAID1 Verbund betrieben werden.
Wenn ich das richtig in diversenen Tutorial gesehen habe, ist das Disk-Setting für einen HA Cluster ungeeignet, da man dafür ein separates Laufwerk mit ZFS benötigt, welches auf allen Proxmox Instanzen gleich heißt (wird repliziert), damit bei einem Ausfall eines Clusters auch die Daten auf den übernehmenden Cluster verfügbar sind.
Ist o.g. Annahme korrekt, oder gibt es eine Möglichkeit mit nur einem Laufwerk einen HA Cluster zu realisieren?
Wenn ich ein separates Laufwerk benötige, wie wäre Eure Empfehlung?
Spontan sehe ich 2 Möglichkeiten:
- RAID auflösen; 1. SSD für Proxmox selbst verwenden, 2. SSD für ZFS (Raid wäre eine zusätzliche Sicherheit, wird aber ggf. wg. Cluster gar nicht mehr benötigt)?
- kleine SSD besorgen, darauf Proxmox installieren, und den RAID1 Verbund für ZFS verwenden (wobei ich Proxmox einen Hinweis bei der ZFS Erstellung: Note: ZFS is not compatible with disks backed by a hardware RAID controller. For details see the reference documentation.)
Vielen Dank für Eure Beiträge,
Malungo
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 668239
Url: https://administrator.de/contentid/668239
Ausgedruckt am: 26.09.2024 um 22:09 Uhr
5 Kommentare
Neuester Kommentar
Pro Node ist mindestens ein Laufwerk nötig. SSDs am RAID Controller machen in der Regel nur dann Sinn, wenn sie offiziell supportet sind. Grundsätzlich sollte nur supportete Hardware und Software in der Konfig sein.
Nur mit lokalen Storage kann man arbeiten, was aber Schreibzugriffe im Cluster wachsen lässt.
Mehrere SSDs können dir Zugriffe besser verteilt bekommen vom HV und dessen Treiber.
Ob und wann ein shared Storage Sinn macht würde ich noch prüfen und berechnen. Ein SAS-DAS oder iSCSI-DAS Storage ist nicht teuer im Verhältnis zu den Vorteilen.
Nur mit lokalen Storage kann man arbeiten, was aber Schreibzugriffe im Cluster wachsen lässt.
Mehrere SSDs können dir Zugriffe besser verteilt bekommen vom HV und dessen Treiber.
Ob und wann ein shared Storage Sinn macht würde ich noch prüfen und berechnen. Ein SAS-DAS oder iSCSI-DAS Storage ist nicht teuer im Verhältnis zu den Vorteilen.
Moin,
wenn du auf Proxmox setzt, dann empfehle ich dir großen Abstand von RAID Controllern zu nehmen.
Wenn du ZFS einsetzt wäre das in jedem Fall ein Performance tot!
Als system Platte würde ich zwei SSDs als ZFS-Mirror betreiben.
Als Storage, wie schon erkennt auch ZFS direkt ohne Controller am Board.
Der Storage mit im Ceph Cluster auf allen beteiligten Host identisch sein.
Zu dem brauchst du für einen sinnvollen Cluster mindestens drei Hosts! Ohne das funktioniert es nicht und VMs starten beim reboot nicht mehr.
## RAID Controller wenn überhaupt bitte nur als Port Multiplikator.
Gruß
Spirit
wenn du auf Proxmox setzt, dann empfehle ich dir großen Abstand von RAID Controllern zu nehmen.
Wenn du ZFS einsetzt wäre das in jedem Fall ein Performance tot!
Als system Platte würde ich zwei SSDs als ZFS-Mirror betreiben.
Als Storage, wie schon erkennt auch ZFS direkt ohne Controller am Board.
Der Storage mit im Ceph Cluster auf allen beteiligten Host identisch sein.
Zu dem brauchst du für einen sinnvollen Cluster mindestens drei Hosts! Ohne das funktioniert es nicht und VMs starten beim reboot nicht mehr.
## RAID Controller wenn überhaupt bitte nur als Port Multiplikator.
Gruß
Spirit
Hi,
wir setzen Proxmox seit mittlerweile 2 Jahren produktiv mit mehreren Nodes ein, ich selbst verwende Proxmox bereits seit ca. 10 Jahren.
Meine Empfehlung wäre daher wie folgt:
Systemplatte mit dediziertem RAID-Controller auf dem du also Proxmox installierst
ZFS mit mindestens 2 Festplatten im Mirror ohne RAID-Controller, da wir vorhergehend schon gesagt wurde, dass du ZFS damit massiv bremst.
Anzahl der Nodes: Wie vorher schon gesagt brauchst du mindestens 3, das ist aber nur die halbe Wahrheit. Es empfiehlt sich immer einen 2. Ring zu konfigurieren, dazu einfach mal googlen. Heißt du hast die LAN-Verbindung, über die sich die Server sehen und noch einen Glasfaser-Uplink, üb er den sich die Server auch nochmal sehen können. Du brauchst ohnehin noch eine Glasfaser-NIC, damit die Management-Daten drüber getauscht werden. Nimm hierfür eine mit mindestens 25GBit/s.
Als 3. Node kannst du einfach einen Raspberry nehmen und diesen als corosync-qnet verwenden, damit das Qurom Voting ausgeglichen ist und das Cluster bei einem Neustart eines Hosts oder eines Switches nicht abstürzen kann.
Der hängt dann einfach mit an einem Switch. Immer dran denken, dass die Votes ausgeglichen sein müssen, bedeutet also mindestens 2 Quorum-Teilnehmer müssen sich immer sehen können, mehr dazu hier https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_sup ...
Dieses Konzept haben wir bei uns seit 2 Jahren und funktioniert glänzend
LG
wir setzen Proxmox seit mittlerweile 2 Jahren produktiv mit mehreren Nodes ein, ich selbst verwende Proxmox bereits seit ca. 10 Jahren.
Meine Empfehlung wäre daher wie folgt:
Systemplatte mit dediziertem RAID-Controller auf dem du also Proxmox installierst
ZFS mit mindestens 2 Festplatten im Mirror ohne RAID-Controller, da wir vorhergehend schon gesagt wurde, dass du ZFS damit massiv bremst.
Anzahl der Nodes: Wie vorher schon gesagt brauchst du mindestens 3, das ist aber nur die halbe Wahrheit. Es empfiehlt sich immer einen 2. Ring zu konfigurieren, dazu einfach mal googlen. Heißt du hast die LAN-Verbindung, über die sich die Server sehen und noch einen Glasfaser-Uplink, üb er den sich die Server auch nochmal sehen können. Du brauchst ohnehin noch eine Glasfaser-NIC, damit die Management-Daten drüber getauscht werden. Nimm hierfür eine mit mindestens 25GBit/s.
Als 3. Node kannst du einfach einen Raspberry nehmen und diesen als corosync-qnet verwenden, damit das Qurom Voting ausgeglichen ist und das Cluster bei einem Neustart eines Hosts oder eines Switches nicht abstürzen kann.
Der hängt dann einfach mit an einem Switch. Immer dran denken, dass die Votes ausgeglichen sein müssen, bedeutet also mindestens 2 Quorum-Teilnehmer müssen sich immer sehen können, mehr dazu hier https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_sup ...
Dieses Konzept haben wir bei uns seit 2 Jahren und funktioniert glänzend
LG
Hi,
die Kommentare, die bisher geschrieben wurden, decken auch nicht alles ab. HA Cluster bei Proxmox muss nicht automatisch inkl. CEPH heißen! Mit CEPH liegen die Daten auf allen Nodes und müssten untereinander mit mindestens 10G angebunden sein, damit die Daten gleichzeitig auf allen Hosts zur Verfügung stehen um bei einem Ausfall einer Node auf aktuelle Daten zugreifen zu können (denke an den RAM-Bedarf, damit der eine Host dann auch alle VMs mit genug RAM bedienen kann). Hier empfiehlt es sich mindestens 3 Hosts für ein HA-Cluster, aber 2 Hosts und ein QDevice (wie du schon erwähnt hast) wird auch funktionieren.
Du kannst dein HA-Cluster aber auch mit einem per Netzwerk angebundenen Storage aufziehen, ein gutes NAS/SAN mit SSDs per iSCSI anbinden, worauf dann alle Hosts zugreifen.
Logisch, wenn das SAN/NAS ausfällt, geht auch nichts mehr, aber es gibt ja auch SAN-Systeme mit doppelten Controllern und Netzteilen usw um die meisten Funktionen HA-fähig zu machen.
Also die Frage ist: Wie viel HA wollt ihr wirklich? Oder reicht es auch, eine VM von vor z.B. 15 Minuten zu starten? Dann kann das auch mit der Proxmox-eigenen Replikation abgedeckt werden.
MfG
die Kommentare, die bisher geschrieben wurden, decken auch nicht alles ab. HA Cluster bei Proxmox muss nicht automatisch inkl. CEPH heißen! Mit CEPH liegen die Daten auf allen Nodes und müssten untereinander mit mindestens 10G angebunden sein, damit die Daten gleichzeitig auf allen Hosts zur Verfügung stehen um bei einem Ausfall einer Node auf aktuelle Daten zugreifen zu können (denke an den RAM-Bedarf, damit der eine Host dann auch alle VMs mit genug RAM bedienen kann). Hier empfiehlt es sich mindestens 3 Hosts für ein HA-Cluster, aber 2 Hosts und ein QDevice (wie du schon erwähnt hast) wird auch funktionieren.
Du kannst dein HA-Cluster aber auch mit einem per Netzwerk angebundenen Storage aufziehen, ein gutes NAS/SAN mit SSDs per iSCSI anbinden, worauf dann alle Hosts zugreifen.
Logisch, wenn das SAN/NAS ausfällt, geht auch nichts mehr, aber es gibt ja auch SAN-Systeme mit doppelten Controllern und Netzteilen usw um die meisten Funktionen HA-fähig zu machen.
Also die Frage ist: Wie viel HA wollt ihr wirklich? Oder reicht es auch, eine VM von vor z.B. 15 Minuten zu starten? Dann kann das auch mit der Proxmox-eigenen Replikation abgedeckt werden.
MfG
Du kannst dein HA-Cluster aber auch mit einem per Netzwerk angebundenen Storage aufziehen, ein gutes NAS/SAN mit SSDs per iSCSI anbinden, worauf dann alle Hosts zugreifen.
Dann musst du jedoch leider auf einen der meiner Meinung nach wichtigsten Vorteile der Virtualisierung verzichten: Snapshots sind mit diesem Setup nicht möglich.
1
