149680
Dec 06, 2023, updated at 14:08:00 (UTC)
5822
22
0
Realisiserung Cluster Proxmox
Hallo Community,
ich überlege gerade mein Homelab auf grundlage eines Proxmox Clusters aufzubauen. Dazu habe ich ein, zwei Fragen.
Aktuell habe ich im Kopf, zwei identische Server (MiniPc) zu nutzen die als Node1 und Node2 fungieren sollen. Als Quorum soll ein Rasberry Pi dienen. Was ich nicht ganz verstehe: Was passiert wenn der Pi ausfällt? Läuft alles weiter oder droht "Chaos" like Split-brain?
Wie verhält es sich wenn ich ein "komplettes" Proxmox Cluster aus drei vollwertigen Nodes aufbaue? Fällt einer weg, sollte doch eigentlich alles normal weiterlaufen oder droht dann auch "Chaos"? Falls ja bräuchte man für einen absolut stabilen Clusterbetrieb nicht immer 4 Nodes?
Dazu noch eine weitere Idee um Kabel und Geräte zu sparen (Homelab eben):
Auf Node3 könnte ich doch theoretisch den Proxmox Backup Server als VM laufen lassen, der eine Replizierung auf Node1 und Node2 ausführt. Die Nodes1 und Node2 hingegen sollen nicht auf Node3 replizieren. Damit hätte ich aus meiner Sicht den Vorteil, dass bei Ausfall von Node3 der PBS auf Node1 oder Node2 "wandern" würde und damit funktionsfähig bleibt. Nachteil wäre in meiner Umgebung, dass ich den den Backup Storage dann als USB Device anbinden muss, sollte dann der der Node tatsächlich ausfallen folgt eben ein umhängen. Ist sicherlich nicht die "beste und optimalste" Lösung aber möglich und für Homelab vertretbar?
Danke für euer Feedback.
ich überlege gerade mein Homelab auf grundlage eines Proxmox Clusters aufzubauen. Dazu habe ich ein, zwei Fragen.
Aktuell habe ich im Kopf, zwei identische Server (MiniPc) zu nutzen die als Node1 und Node2 fungieren sollen. Als Quorum soll ein Rasberry Pi dienen. Was ich nicht ganz verstehe: Was passiert wenn der Pi ausfällt? Läuft alles weiter oder droht "Chaos" like Split-brain?
Wie verhält es sich wenn ich ein "komplettes" Proxmox Cluster aus drei vollwertigen Nodes aufbaue? Fällt einer weg, sollte doch eigentlich alles normal weiterlaufen oder droht dann auch "Chaos"? Falls ja bräuchte man für einen absolut stabilen Clusterbetrieb nicht immer 4 Nodes?
Dazu noch eine weitere Idee um Kabel und Geräte zu sparen (Homelab eben):
Auf Node3 könnte ich doch theoretisch den Proxmox Backup Server als VM laufen lassen, der eine Replizierung auf Node1 und Node2 ausführt. Die Nodes1 und Node2 hingegen sollen nicht auf Node3 replizieren. Damit hätte ich aus meiner Sicht den Vorteil, dass bei Ausfall von Node3 der PBS auf Node1 oder Node2 "wandern" würde und damit funktionsfähig bleibt. Nachteil wäre in meiner Umgebung, dass ich den den Backup Storage dann als USB Device anbinden muss, sollte dann der der Node tatsächlich ausfallen folgt eben ein umhängen. Ist sicherlich nicht die "beste und optimalste" Lösung aber möglich und für Homelab vertretbar?
Danke für euer Feedback.
Please also mark the comments that contributed to the solution of the article
Content-ID: 74044883448
Url: https://administrator.de/contentid/74044883448
Printed on: October 6, 2024 at 15:10 o'clock
22 Comments
Latest comment
Woher sollen wir wissen was in deinem Homelab vertretbar ist? "Mein Homelab"ist ein PC der da meist offen rum steht. Wenn irgendwas nicht geht wird es halt gefixt, was nicht passt, wird passend gemacht. Ich wüsste nicht, was ich mit einem Cluster tun sollte. Wenn du statt mehreren MiniPCs z.B. einen soliden Mini Server kaufst ist deine Umgebnung bestimmt stabiler aufgestellt als mit einem Cluster auf Consumer Hardware.
Ich denke "haben will" ist hier Grund genug
@149680
ich kenne das Teil noch nicht wirklich - ist aber schneller ausprobiert als so eine Diskussion in einem Forum
@149680
ich kenne das Teil noch nicht wirklich - ist aber schneller ausprobiert als so eine Diskussion in einem Forum
Wenn der PI ausfällt, ist das Quorum ja immer noch erfüllt. Des weiteren kommt es drauf an was du für ein Storage verwenden willst.
Proxmox Cluster ist nämlich die eine Sache, Cluster Storage eine andere.
Das Proxmox Cluster basiert auf Corrosync und stellt in einem Heatbeat fest ob alle Cluster-Member noch da sind. Mehr macht er erstmal nicht. Dann kann man das kombinieren, mit HCI (z.B. mit Ceph) oder als ZFS. Auch Shared Storage per NFS oder iSCSI ist möglich. Je nachdem für was für ein Storage man sich entscheidet, verhält sich auch das Cluster.
Ein Proxmox-Cluster mit ZFS geht zum Beispiel nur über Storage Replication. Heißt: Fällt ein Node aus, dann müssen die Daten auf dem anderen schon vorhanden sein. Danach wird per Live Migration bei einer VM der Arbeitsspeicher transferiert.
Bei Ceph ist das wieder völlig anders. Da sich dort die Object Storages ständig abgleichen und mehrere Kopien pro Node abgelegt sein können, ist dort immer Zugriff auf die möglichst neuste Änderung möglich. Solange natürlich das Ceph funktioniert.
Ich an deiner Stelle würde erstmal anfangen mit einem 2-Node-Cluster, Storage mit ZFS und Storage Replication. Belese dich zum Thema Corrosync. Wenn du das mal durchgespielt hast, dann kannst du dein 3-node aufbauen. Du hast eben grundlegende Sachen bei Proxmox, so scheint es mir, noch nicht verstanden.
Proxmox Cluster ist nämlich die eine Sache, Cluster Storage eine andere.
Das Proxmox Cluster basiert auf Corrosync und stellt in einem Heatbeat fest ob alle Cluster-Member noch da sind. Mehr macht er erstmal nicht. Dann kann man das kombinieren, mit HCI (z.B. mit Ceph) oder als ZFS. Auch Shared Storage per NFS oder iSCSI ist möglich. Je nachdem für was für ein Storage man sich entscheidet, verhält sich auch das Cluster.
Ein Proxmox-Cluster mit ZFS geht zum Beispiel nur über Storage Replication. Heißt: Fällt ein Node aus, dann müssen die Daten auf dem anderen schon vorhanden sein. Danach wird per Live Migration bei einer VM der Arbeitsspeicher transferiert.
Bei Ceph ist das wieder völlig anders. Da sich dort die Object Storages ständig abgleichen und mehrere Kopien pro Node abgelegt sein können, ist dort immer Zugriff auf die möglichst neuste Änderung möglich. Solange natürlich das Ceph funktioniert.
Ich an deiner Stelle würde erstmal anfangen mit einem 2-Node-Cluster, Storage mit ZFS und Storage Replication. Belese dich zum Thema Corrosync. Wenn du das mal durchgespielt hast, dann kannst du dein 3-node aufbauen. Du hast eben grundlegende Sachen bei Proxmox, so scheint es mir, noch nicht verstanden.
Zitat von @149680:
Naja auf den Pi würde ich einfach ein Debian oder so installieren kein ProxMox. Dass würde dann auf einem anderen MiniPc laufen
Naja auf den Pi würde ich einfach ein Debian oder so installieren kein ProxMox. Dass würde dann auf einem anderen MiniPc laufen
Du kannst auf dem Pi auch "Pimox" installieren. Ist ein Pi Projekt für Proxmox und funktioniert für Cluster genauso und hat somit auch einen "Vote". Gibts ein Github dazu - google findets gleich!
LG
Hi. Schau mal auf Youtube nach dem Kanal "raspberry pi cloud" der hat vor 2-3jahren genau so etwas mit proxmox erstellt . Dort heißt es "high availabe" HA Cluster. Dort werden fast alle deine Fragen direkt beantwortet. Link:
https://youtu.be/PtwOihR2QLY?si=8JFuDytG1ImRJKrp
Wie viele nodes brauche ich, was passiert wenn einer ausfällt usw.
Was nicht gehen wird ist, so denke ich zumindest, das die nodes parallel laufen und nur bei Ausfall übernehmen. Ich denke die vm disk wird zentral liegen müssen.
Aber berichte gern wenn du das getestet hast, lerne gern dazu
VG
https://youtu.be/PtwOihR2QLY?si=8JFuDytG1ImRJKrp
Wie viele nodes brauche ich, was passiert wenn einer ausfällt usw.
Was nicht gehen wird ist, so denke ich zumindest, das die nodes parallel laufen und nur bei Ausfall übernehmen. Ich denke die vm disk wird zentral liegen müssen.
Aber berichte gern wenn du das getestet hast, lerne gern dazu
VG
Ja das mit der zfs replikation funtktioniert wie du denkst. Aber vorsicht mit einstellungen wie "run vm at boot". Wenn du den ausgefallenen Node wieder online bringst das nicht irgend welche VM's doppelt laufen.
Auch wichtig ist ein monitoring des ganzen. Wenn dir der raspi stirbt bekommst du das für gewöhnlich nicht mit. Wenn dann noch ein VmHost stirbt kannst dü mit dem übrig gebliebenen auch nichts mehr machen ohne grob ein zu greifen.
Auch wichtig ist ein monitoring des ganzen. Wenn dir der raspi stirbt bekommst du das für gewöhnlich nicht mit. Wenn dann noch ein VmHost stirbt kannst dü mit dem übrig gebliebenen auch nichts mehr machen ohne grob ein zu greifen.
Moin,
für ein PVE Cluster benötigst du immer eine ungerade Anzahl an Nodes (min. 3) für das Quorum.
Solle dann ein Node ausfallen, läuft, evtl. mit kurzen unterbrechungen einzelner VMs, alles im Readonly-Betrieb normal weiter, vorrausgesetzt du hast die Nodes so dimensioniert das alle VM rechnerrisch auf 2 Nodes laufen könnten.
Best
Jürgen
für ein PVE Cluster benötigst du immer eine ungerade Anzahl an Nodes (min. 3) für das Quorum.
Solle dann ein Node ausfallen, läuft, evtl. mit kurzen unterbrechungen einzelner VMs, alles im Readonly-Betrieb normal weiter, vorrausgesetzt du hast die Nodes so dimensioniert das alle VM rechnerrisch auf 2 Nodes laufen könnten.
Best
Jürgen
Muss mich etwas entschuldigen, mein erster Satz war nicht ganz richtig.
Damit der Cluster vernünftig funktioniert benötigt er ein Quorum, dieses muss nach ausfall eines Nodes immer noch >50% sein (größer und nicht gleich), sprich wie du bei der Fragestellung schon festgestellt hast benötigt das Cluster mind. 3 Nodes (hier war auch mein Fehler in der vorantwort).
Sollte das Quorum <= 50% sein gehts aus eigenschutz in den Readonly Modus.
In deinem Beispiel hättest du ja bei wegfall eines Nodes immer noch 66..%
Dennoch solltest du deine Konfiguration so dimensionieren das alle VMs auf einem MiniPC laufen würden falls der 2. Wegfällt.
Greets
Damit der Cluster vernünftig funktioniert benötigt er ein Quorum, dieses muss nach ausfall eines Nodes immer noch >50% sein (größer und nicht gleich), sprich wie du bei der Fragestellung schon festgestellt hast benötigt das Cluster mind. 3 Nodes (hier war auch mein Fehler in der vorantwort).
Sollte das Quorum <= 50% sein gehts aus eigenschutz in den Readonly Modus.
In deinem Beispiel hättest du ja bei wegfall eines Nodes immer noch 66..%
Dennoch solltest du deine Konfiguration so dimensionieren das alle VMs auf einem MiniPC laufen würden falls der 2. Wegfällt.
Greets
Wenn du die kommunikation des clusters und der VM's über die selbe NIC laufen lässt musst du aber das QOS der vlans richtig konfigurieren da du sonst ziemlich schnell in probleme rennst weii die NIC ausgelastet ist.
Ich lasse die Cluster kommunikation immer über eigene NIC's laufen.
Solltest du auch noch mit CEPH spielen wollen musst du zusätzlich mindesten 10Gbit NIC's haben da das ganze sonst ziemlich lahm wird.
Ach ja und CEPH schaltet immer den cache von SSD's aus. Also benötigst du SSD's mit Plp die sich den cache nicht deaktivieren lassen. Sonst sind diese auch lahm und ziemlich schnell kaputt.
Ich lasse die Cluster kommunikation immer über eigene NIC's laufen.
Solltest du auch noch mit CEPH spielen wollen musst du zusätzlich mindesten 10Gbit NIC's haben da das ganze sonst ziemlich lahm wird.
Ach ja und CEPH schaltet immer den cache von SSD's aus. Also benötigst du SSD's mit Plp die sich den cache nicht deaktivieren lassen. Sonst sind diese auch lahm und ziemlich schnell kaputt.