4
RZ Auslagerung
Hallo,
ich habe gerade ein Projekt auf dem Tisch liegen und würde gerne paar Meinung dazu hören.
Kurz und Knapp, worum geht es?
Nachdem wir diverse Probleme hatten externe Services stabil über das letzte Jahr zu bringen, geschuldet den örtlichen Gegebenheiten (mehrere Standorte, alle Services zersplittert über diese verteilt, alle nicht auf dem selben technischen Stand), wurde entschieden das wir uns in einem RZ einmieten und dort unsere eigene Hardware betreiben wollen. Also klassisches Housing oder Colocation.
Die Services um die es geht sind vielfältig. Geht los mit Email-Server, über Groupware, hinzu einem Bestellsystem. Alles war über mehrere Standorte verstreut, kaskadiert und viele Redundanzen die niemand braucht. Die Standorte waren zudem alle in unterschiedlicher Verfassung (Anbindung Internet, Hausverkabelung Strom, unterschiedliche Server, Platz, Klimatisierung, usw.), was zu teuer gewesen wäre diese aufzurüsten. Deshalb soll das nun alles überarbeitet und geordnet werden. In Zukunft soll es auch so sein da es möglichst ausfallsicher und hochverfügbar ist.
Der Provider und das RZ sind mittlerweile ermittelt. Deren Angebot wurde sondiert und jetzt geht es um die Hardware. Ich hatte schon am Anfang eigentlich ein ziemliches klares Bild vor Augen was ich umsetzen wollte, aber angesichts der derzeitigen Hardware-Preise bin ich da etwas ins grübbeln gekommen.
Anforderungen:
Überlegung 1 "Proxmox Ceph Cluster":
Überlegung 2 "Proxmox Shared Storage":
Die Frage ist, mit was man hier Kosteneffizienter fährt? Vielleicht gibt es noch andere Optionen die ich noch gar nichts bedacht habe?
Bei Proxmox wollen wir nach Möglichkeit bleiben, die Leute kennen sich damit aus und sind damit vertraut. Budget ist leider nicht wirklich definierbar, die Verantwortlichen argumentieren: Es gibt ein Problem das gelöst werden muss, es kostet halt was es kostet.
Allerdings will ich hier auch nicht maßlos übertreiben und habe mir maximal die Grenze bei dem Virtualisierung-Verbund bei 30K gesetzt. Plus Minus versteht sich.
Was meint ihr dazu? Welche Option wäre die bessere? Gibt es andere? Wenn ja, welche? Hardware-Empfehlungen?
Gruß
ich habe gerade ein Projekt auf dem Tisch liegen und würde gerne paar Meinung dazu hören.
Kurz und Knapp, worum geht es?
Nachdem wir diverse Probleme hatten externe Services stabil über das letzte Jahr zu bringen, geschuldet den örtlichen Gegebenheiten (mehrere Standorte, alle Services zersplittert über diese verteilt, alle nicht auf dem selben technischen Stand), wurde entschieden das wir uns in einem RZ einmieten und dort unsere eigene Hardware betreiben wollen. Also klassisches Housing oder Colocation.
Die Services um die es geht sind vielfältig. Geht los mit Email-Server, über Groupware, hinzu einem Bestellsystem. Alles war über mehrere Standorte verstreut, kaskadiert und viele Redundanzen die niemand braucht. Die Standorte waren zudem alle in unterschiedlicher Verfassung (Anbindung Internet, Hausverkabelung Strom, unterschiedliche Server, Platz, Klimatisierung, usw.), was zu teuer gewesen wäre diese aufzurüsten. Deshalb soll das nun alles überarbeitet und geordnet werden. In Zukunft soll es auch so sein da es möglichst ausfallsicher und hochverfügbar ist.
Der Provider und das RZ sind mittlerweile ermittelt. Deren Angebot wurde sondiert und jetzt geht es um die Hardware. Ich hatte schon am Anfang eigentlich ein ziemliches klares Bild vor Augen was ich umsetzen wollte, aber angesichts der derzeitigen Hardware-Preise bin ich da etwas ins grübbeln gekommen.
Anforderungen:
- 15 virtuelle Maschinen und Container (52 Threads, 90Gb RAM, knapp 1.5Tb Daten) derzeitiger Stand
- Ausfallsicherheit und Hochverfügbarkeit
- Möglichkeit der Live Migration
- Performance und Kapazität so ausgelegt das man für die nächsten 5 Jahre seine Ruhe hat
- Extra Backup-Server
- primäre Port-Geschwindigkeit 1Gbit (Provider-Anbindung 1Gbit)
- Möglichst so ausgelegt, das wenig bis gar keine physische Präsenz notwendig ist
- maximal 43 Höheneinheiten
Überlegung 1 "Proxmox Ceph Cluster":
- 3 Nodes
- Mesh-Network, somit kein SPOF durch zusätzliche Switche
- Mellanox Connect-X5 mit 100Gbit als NIC für Storage- und Migration-Network
- CPU Epyc 7551P (32C/64T)
- 256Gb RAM
- 4x OSDs pro Node
- Festspeicher Option 1: ASUS Hyper M.2 X16 Gen 4 + 4x Samsung PM9A3 (1.92Tb)
- Festspeicher Option 2: Supermicro AOC-SLG3-4E4R + 4x Micron 9300 Max (3.92Tb)
- Dazu: 2x Router mit Debian als HA (0815-Hardware), 2x 1Gbit Switch mit RSTP und 10Gbit Ports für Sicherung (Midrange), 1x 0815 Backup-Server mit HBA und ZFS-Storage
Überlegung 2 "Proxmox Shared Storage":
- 2 Nodes (7551P, 256Gb RAM, 100Gbit QSFP NIC, 0815-SSD)
- 2 Storage mit SSD Zugriff per ZFS over iSCSI oder NFS
- Entweder Eigenbau mit entsprechender Hardware und OS Debian/Ubuntu oder von den üblichen Verdächtigen (QNAP, NetAPP, HP...)
- Festspeicher (siehe Überlegung 1, dann aber ein Drittel weniger Bedarf)
- Storage-Replikation
- 2 Highend-SAN Switches mit min. 100Gbit (Entweder gleich als Kombi um auch die 1Gbit-Verbindung abzufrühstücken, wenn dediziert, dann entsprechend 1Gbit-Switches zusätzlich)
- 2x Router
- 1x Backup-Server
Die Frage ist, mit was man hier Kosteneffizienter fährt? Vielleicht gibt es noch andere Optionen die ich noch gar nichts bedacht habe?
Bei Proxmox wollen wir nach Möglichkeit bleiben, die Leute kennen sich damit aus und sind damit vertraut. Budget ist leider nicht wirklich definierbar, die Verantwortlichen argumentieren: Es gibt ein Problem das gelöst werden muss, es kostet halt was es kostet.
Allerdings will ich hier auch nicht maßlos übertreiben und habe mir maximal die Grenze bei dem Virtualisierung-Verbund bei 30K gesetzt. Plus Minus versteht sich.
Was meint ihr dazu? Welche Option wäre die bessere? Gibt es andere? Wenn ja, welche? Hardware-Empfehlungen?
Gruß
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 1708113388
Url: https://administrator.de/contentid/1708113388
Printed on: April 19, 2024 at 15:04 o'clock
4 Comments
Latest comment
HI,
wir haben das ganze bei uns mit zwei HPE Servern und einer HPE Storage realisiert die per ISCSI angebunden ist.
Die Storage Redundanz lässt sich auch beheben mit einer zweiten Storage.
Wenn alles in einem Rack ist, könntest du auch darüber nachdenken, ist sicherlich günstiger als die Switche mit dabei zu haben.
Die Switche können auch eine potenzielle Fehlerquelle sein.
Gruß
wir haben das ganze bei uns mit zwei HPE Servern und einer HPE Storage realisiert die per ISCSI angebunden ist.
Die Storage Redundanz lässt sich auch beheben mit einer zweiten Storage.
Wenn alles in einem Rack ist, könntest du auch darüber nachdenken, ist sicherlich günstiger als die Switche mit dabei zu haben.
Die Switche können auch eine potenzielle Fehlerquelle sein.
Gruß
Zitat von @killtec:
HI,
wir haben das ganze bei uns mit zwei HPE Servern und einer HPE Storage realisiert die per ISCSI angebunden ist.
Die Storage Redundanz lässt sich auch beheben mit einer zweiten Storage.
Wenn alles in einem Rack ist, könntest du auch darüber nachdenken, ist sicherlich günstiger als die Switche mit dabei zu haben.
Die Switche können auch eine potenzielle Fehlerquelle sein.
Gruß
HI,
wir haben das ganze bei uns mit zwei HPE Servern und einer HPE Storage realisiert die per ISCSI angebunden ist.
Die Storage Redundanz lässt sich auch beheben mit einer zweiten Storage.
Wenn alles in einem Rack ist, könntest du auch darüber nachdenken, ist sicherlich günstiger als die Switche mit dabei zu haben.
Die Switche können auch eine potenzielle Fehlerquelle sein.
Gruß
Was habt ihr für einen Hypervisor verwendet? Ebenfalls Proxmox? Wenn nicht, was wurde verwendet und wie wurde genau die physische Verbindung zwischen den Nodes und dem Storage realisiert?
HI,
wir haben Hyper-V im Einsatz.
Die Nodes sind direkt per SAS redundant verbunden.
Die Hosts sind dann per 10Gbit/s im LAN angebunden. Die Management-Netzwerke die der Hyper-V nutzt sind separat angeschlossen.
Gruß
wir haben Hyper-V im Einsatz.
Die Nodes sind direkt per SAS redundant verbunden.
Die Hosts sind dann per 10Gbit/s im LAN angebunden. Die Management-Netzwerke die der Hyper-V nutzt sind separat angeschlossen.
Gruß
Ok. Danke.
Ich habe mich jetzt prinzipiell für das 3-Node-Cluster mit Ceph entschieden. Es wird, so hat es zumindest den Anschein, breiter von Proxmox selbst unterstützt.
Shared Storage geht zwar auch, aber scheint mir im Bezug auf Proxmox eher ein Auslaufmodell zu sein. NFS, iSCSI, ZFS over iSCSI geht alles, aber dann immer mit dem kompletten Ethernet-Stack dabei. Während Fibre Channel, SAS oder Infiniband ist zwar auch möglich aber nicht vom Proxmox selbst unterstützt, sondern als Umweg von Linux direkt. Ist dann auch wieder eine Insellösung, die kein anderer hätte und somit für Support unbrauchbar.
Ich habe mich jetzt prinzipiell für das 3-Node-Cluster mit Ceph entschieden. Es wird, so hat es zumindest den Anschein, breiter von Proxmox selbst unterstützt.
Shared Storage geht zwar auch, aber scheint mir im Bezug auf Proxmox eher ein Auslaufmodell zu sein. NFS, iSCSI, ZFS over iSCSI geht alles, aber dann immer mit dem kompletten Ethernet-Stack dabei. Während Fibre Channel, SAS oder Infiniband ist zwar auch möglich aber nicht vom Proxmox selbst unterstützt, sondern als Umweg von Linux direkt. Ist dann auch wieder eine Insellösung, die kein anderer hätte und somit für Support unbrauchbar.
