dermaddin

Proxmox CEPH Cluster - wie viele Disks?

Moin,

angenommen ich habe einen Proxmox Cluster mit drei Nodes und gleichzeitig ist jeder Node Teil von dem CEPH Cluster. Also kein SAN oder anderes zentrales Speichersystem. Aktuell habe ich ein SAN mit ~30TB netto Kapazität. Fällt ein ESXi Host aus, ist es kein Problem, die VMs werden dann auf einem anderen Host neu gestartet. HA läuft.

Damit ich diese Redundanz in dem Proxmox Cluster habe, ist es notwendig in jeden Node 3x 30TB zu haben?

Wenn das so stimmt, dann ist das etwas "overkill" im Budget. Wenn ich mit SAS SSDs mit je 3.84TB rechne, dann sind das 8 Disks pro Node. 24 Stück á €1000, das ist ... ufff... Und dann noch die Kosten für die drei Server, die auch nicht weniger als ~€7.000 sein werden.

Also doch beim SAN bleiben?
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilen

Content-ID: 672791

Url: https://administrator.de/forum/proxmox-ceph-cluster-wie-viele-disks-672791.html

Ausgedruckt am: 29.05.2025 um 10:05 Uhr

beidermachtvongreyscull
beidermachtvongreyscull 08.05.2025 um 16:33:44 Uhr
Goto Top
Ich bin derzeit auch in solch einer Umstellung.
Ja. Du brauchst auf allen CEPH-Storages die max. Power sonst ist es nicht mehr egal in welcher Knotenkonfiguration Dein Cluster noch weiterlaufen kann.

Das wird auch bei uns schweineteuer, aber der Cluster wird auch über zwei Brandabschnitte verteilt.
Switcher2k3
Switcher2k3 08.05.2025 um 16:46:58 Uhr
Goto Top
Hi,

laut dem hier bennetgallein.de/tools/ceph-calculator

brauchst du nur einmal 30TB pro Node bei 2 Replicas
DerMaddin
DerMaddin 09.05.2025 um 07:36:20 Uhr
Goto Top
@Switcher2k3 bei nur 2 Replikas ist es eine sehr dünne Redundanz, da darf im schlimmsten Fall nur ein OSD ausfallen. Ein ganzer Node und es ist dahin. Also 3 müssen es schon sein, soweit ich das Prinzip verstanden habe.
Switcher2k3
Switcher2k3 09.05.2025 um 09:24:05 Uhr
Goto Top
Ja das stimmt schon. Allerdings, im Vergleich mit einem SAN, was meistens auch nur duale Redundanz hat(2 Controller, 2 Netzteile) ist meiner Meinung nach, das eher ein entsprechendes Äquivalent.

3 Replikas sind natürlich besser.
DerMaddin
DerMaddin 09.05.2025 um 09:54:41 Uhr
Goto Top
Ein klassisches SAN bietet schon mehr Redundanz als nur der Ausfall einer Disk. In unserem Fall nutzen wir RAID-TP (Tripple Parity), hier können bis zu drei Disks in einer RAID-Gruppe ausfallen. Dies ist ähnlich dem CEPH RF=3 Konzept, jedoch erheblich billiger. Nachteil ist die Skalierbarkeit.
aura2105
aura2105 10.05.2025 um 08:46:56 Uhr
Goto Top
Moin, also wir haben zwei verschiedene Szenarien laufen:
1x zentrales NAS, welches per 25G an die Kisten verbunden ist - via NFS - das funktioniert recht gut, aber eben (aktuell noch) nicht via FC. (Ich hab mitbekommen, dass die da etwas gemacht haben, da war das Thema für uns aber schon durch)

Ansonsten noch die Idee, dass du nicht alle VMs mit allen replizieren musst, sondern nur A mit B und C mit A oder so, damit der "vorbehalt" Storage geringer wird. Im Proxmox kann man das sonst auch gut einstellen, welche VMs im Failover betrachtet oder ignoriert werden sollen.