Proxmox CEPH Cluster - wie viele Disks?
Moin,
angenommen ich habe einen Proxmox Cluster mit drei Nodes und gleichzeitig ist jeder Node Teil von dem CEPH Cluster. Also kein SAN oder anderes zentrales Speichersystem. Aktuell habe ich ein SAN mit ~30TB netto Kapazität. Fällt ein ESXi Host aus, ist es kein Problem, die VMs werden dann auf einem anderen Host neu gestartet. HA läuft.
Damit ich diese Redundanz in dem Proxmox Cluster habe, ist es notwendig in jeden Node 3x 30TB zu haben?
Wenn das so stimmt, dann ist das etwas "overkill" im Budget. Wenn ich mit SAS SSDs mit je 3.84TB rechne, dann sind das 8 Disks pro Node. 24 Stück á €1000, das ist ... ufff... Und dann noch die Kosten für die drei Server, die auch nicht weniger als ~€7.000 sein werden.
Also doch beim SAN bleiben?
angenommen ich habe einen Proxmox Cluster mit drei Nodes und gleichzeitig ist jeder Node Teil von dem CEPH Cluster. Also kein SAN oder anderes zentrales Speichersystem. Aktuell habe ich ein SAN mit ~30TB netto Kapazität. Fällt ein ESXi Host aus, ist es kein Problem, die VMs werden dann auf einem anderen Host neu gestartet. HA läuft.
Damit ich diese Redundanz in dem Proxmox Cluster habe, ist es notwendig in jeden Node 3x 30TB zu haben?
Wenn das so stimmt, dann ist das etwas "overkill" im Budget. Wenn ich mit SAS SSDs mit je 3.84TB rechne, dann sind das 8 Disks pro Node. 24 Stück á €1000, das ist ... ufff... Und dann noch die Kosten für die drei Server, die auch nicht weniger als ~€7.000 sein werden.
Also doch beim SAN bleiben?
Kommentieren
Teilen
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 672791
Url: https://administrator.de/forum/proxmox-ceph-cluster-wie-viele-disks-672791.html
Ausgedruckt am: 20.05.2025 um 02:05 Uhr
6 Kommentare
Neuester Kommentar
Ich bin derzeit auch in solch einer Umstellung.
Ja. Du brauchst auf allen CEPH-Storages die max. Power sonst ist es nicht mehr egal in welcher Knotenkonfiguration Dein Cluster noch weiterlaufen kann.
Das wird auch bei uns schweineteuer, aber der Cluster wird auch über zwei Brandabschnitte verteilt.
Ja. Du brauchst auf allen CEPH-Storages die max. Power sonst ist es nicht mehr egal in welcher Knotenkonfiguration Dein Cluster noch weiterlaufen kann.
Das wird auch bei uns schweineteuer, aber der Cluster wird auch über zwei Brandabschnitte verteilt.
Hi,
laut dem hier bennetgallein.de/tools/ceph-calculator
brauchst du nur einmal 30TB pro Node bei 2 Replicas
laut dem hier bennetgallein.de/tools/ceph-calculator
brauchst du nur einmal 30TB pro Node bei 2 Replicas
@Switcher2k3 bei nur 2 Replikas ist es eine sehr dünne Redundanz, da darf im schlimmsten Fall nur ein OSD ausfallen. Ein ganzer Node und es ist dahin. Also 3 müssen es schon sein, soweit ich das Prinzip verstanden habe.
Ja das stimmt schon. Allerdings, im Vergleich mit einem SAN, was meistens auch nur duale Redundanz hat(2 Controller, 2 Netzteile) ist meiner Meinung nach, das eher ein entsprechendes Äquivalent.
3 Replikas sind natürlich besser.
3 Replikas sind natürlich besser.
Ein klassisches SAN bietet schon mehr Redundanz als nur der Ausfall einer Disk. In unserem Fall nutzen wir RAID-TP (Tripple Parity), hier können bis zu drei Disks in einer RAID-Gruppe ausfallen. Dies ist ähnlich dem CEPH RF=3 Konzept, jedoch erheblich billiger. Nachteil ist die Skalierbarkeit.
Moin, also wir haben zwei verschiedene Szenarien laufen:
1x zentrales NAS, welches per 25G an die Kisten verbunden ist - via NFS - das funktioniert recht gut, aber eben (aktuell noch) nicht via FC. (Ich hab mitbekommen, dass die da etwas gemacht haben, da war das Thema für uns aber schon durch)
Ansonsten noch die Idee, dass du nicht alle VMs mit allen replizieren musst, sondern nur A mit B und C mit A oder so, damit der "vorbehalt" Storage geringer wird. Im Proxmox kann man das sonst auch gut einstellen, welche VMs im Failover betrachtet oder ignoriert werden sollen.
1x zentrales NAS, welches per 25G an die Kisten verbunden ist - via NFS - das funktioniert recht gut, aber eben (aktuell noch) nicht via FC. (Ich hab mitbekommen, dass die da etwas gemacht haben, da war das Thema für uns aber schon durch)
Ansonsten noch die Idee, dass du nicht alle VMs mit allen replizieren musst, sondern nur A mit B und C mit A oder so, damit der "vorbehalt" Storage geringer wird. Im Proxmox kann man das sonst auch gut einstellen, welche VMs im Failover betrachtet oder ignoriert werden sollen.
