RZ Auslagerung

Fenris14
Hallo,

ich habe gerade ein Projekt auf dem Tisch liegen und würde gerne paar Meinung dazu hören.

Kurz und Knapp, worum geht es?

Nachdem wir diverse Probleme hatten externe Services stabil über das letzte Jahr zu bringen, geschuldet den örtlichen Gegebenheiten (mehrere Standorte, alle Services zersplittert über diese verteilt, alle nicht auf dem selben technischen Stand), wurde entschieden das wir uns in einem RZ einmieten und dort unsere eigene Hardware betreiben wollen. Also klassisches Housing oder Colocation.

Die Services um die es geht sind vielfältig. Geht los mit Email-Server, über Groupware, hinzu einem Bestellsystem. Alles war über mehrere Standorte verstreut, kaskadiert und viele Redundanzen die niemand braucht. Die Standorte waren zudem alle in unterschiedlicher Verfassung (Anbindung Internet, Hausverkabelung Strom, unterschiedliche Server, Platz, Klimatisierung, usw.), was zu teuer gewesen wäre diese aufzurüsten. Deshalb soll das nun alles überarbeitet und geordnet werden. In Zukunft soll es auch so sein da es möglichst ausfallsicher und hochverfügbar ist.

Der Provider und das RZ sind mittlerweile ermittelt. Deren Angebot wurde sondiert und jetzt geht es um die Hardware. Ich hatte schon am Anfang eigentlich ein ziemliches klares Bild vor Augen was ich umsetzen wollte, aber angesichts der derzeitigen Hardware-Preise bin ich da etwas ins grübbeln gekommen.

Anforderungen:

  • 15 virtuelle Maschinen und Container (52 Threads, 90Gb RAM, knapp 1.5Tb Daten) derzeitiger Stand
  • Ausfallsicherheit und Hochverfügbarkeit
  • Möglichkeit der Live Migration
  • Performance und Kapazität so ausgelegt das man für die nächsten 5 Jahre seine Ruhe hat
  • Extra Backup-Server
  • primäre Port-Geschwindigkeit 1Gbit (Provider-Anbindung 1Gbit)
  • Möglichst so ausgelegt, das wenig bis gar keine physische Präsenz notwendig ist
  • maximal 43 Höheneinheiten

Überlegung 1 "Proxmox Ceph Cluster":

  • 3 Nodes
  • Mesh-Network, somit kein SPOF durch zusätzliche Switche
  • Mellanox Connect-X5 mit 100Gbit als NIC für Storage- und Migration-Network
  • CPU Epyc 7551P (32C/64T)
  • 256Gb RAM
  • 4x OSDs pro Node
  • Festspeicher Option 1: ASUS Hyper M.2 X16 Gen 4 + 4x Samsung PM9A3 (1.92Tb)
  • Festspeicher Option 2: Supermicro AOC-SLG3-4E4R + 4x Micron 9300 Max (3.92Tb)
  • Dazu: 2x Router mit Debian als HA (0815-Hardware), 2x 1Gbit Switch mit RSTP und 10Gbit Ports für Sicherung (Midrange), 1x 0815 Backup-Server mit HBA und ZFS-Storage

Überlegung 2 "Proxmox Shared Storage":

  • 2 Nodes (7551P, 256Gb RAM, 100Gbit QSFP NIC, 0815-SSD)
  • 2 Storage mit SSD Zugriff per ZFS over iSCSI oder NFS
  • Entweder Eigenbau mit entsprechender Hardware und OS Debian/Ubuntu oder von den üblichen Verdächtigen (QNAP, NetAPP, HP...)
  • Festspeicher (siehe Überlegung 1, dann aber ein Drittel weniger Bedarf)
  • Storage-Replikation
  • 2 Highend-SAN Switches mit min. 100Gbit (Entweder gleich als Kombi um auch die 1Gbit-Verbindung abzufrühstücken, wenn dediziert, dann entsprechend 1Gbit-Switches zusätzlich)
  • 2x Router
  • 1x Backup-Server

Die Frage ist, mit was man hier Kosteneffizienter fährt? Vielleicht gibt es noch andere Optionen die ich noch gar nichts bedacht habe?

Bei Proxmox wollen wir nach Möglichkeit bleiben, die Leute kennen sich damit aus und sind damit vertraut. Budget ist leider nicht wirklich definierbar, die Verantwortlichen argumentieren: Es gibt ein Problem das gelöst werden muss, es kostet halt was es kostet.
Allerdings will ich hier auch nicht maßlos übertreiben und habe mir maximal die Grenze bei dem Virtualisierung-Verbund bei 30K gesetzt. Plus Minus versteht sich.

Was meint ihr dazu? Welche Option wäre die bessere? Gibt es andere? Wenn ja, welche? Hardware-Empfehlungen?

Gruß

Content-Key: 1708113388

Url: https://administrator.de/contentid/1708113388

Ausgedruckt am: 23.01.2022 um 19:01 Uhr

Mitglied: killtec
killtec 11.01.2022 um 09:59:58 Uhr
Goto Top
HI,
wir haben das ganze bei uns mit zwei HPE Servern und einer HPE Storage realisiert die per ISCSI angebunden ist.
Die Storage Redundanz lässt sich auch beheben mit einer zweiten Storage.
Wenn alles in einem Rack ist, könntest du auch darüber nachdenken, ist sicherlich günstiger als die Switche mit dabei zu haben.
Die Switche können auch eine potenzielle Fehlerquelle sein.

Gruß
Mitglied: Fenris14
Fenris14 13.01.2022 um 14:40:49 Uhr
Goto Top
Zitat von @killtec:

HI,
wir haben das ganze bei uns mit zwei HPE Servern und einer HPE Storage realisiert die per ISCSI angebunden ist.
Die Storage Redundanz lässt sich auch beheben mit einer zweiten Storage.
Wenn alles in einem Rack ist, könntest du auch darüber nachdenken, ist sicherlich günstiger als die Switche mit dabei zu haben.
Die Switche können auch eine potenzielle Fehlerquelle sein.

Gruß

Was habt ihr für einen Hypervisor verwendet? Ebenfalls Proxmox? Wenn nicht, was wurde verwendet und wie wurde genau die physische Verbindung zwischen den Nodes und dem Storage realisiert?
Mitglied: killtec
killtec 17.01.2022 um 08:14:52 Uhr
Goto Top
HI,
wir haben Hyper-V im Einsatz.
Die Nodes sind direkt per SAS redundant verbunden.
Die Hosts sind dann per 10Gbit/s im LAN angebunden. Die Management-Netzwerke die der Hyper-V nutzt sind separat angeschlossen.
Gruß
Mitglied: Fenris14
Fenris14 17.01.2022 um 13:13:33 Uhr
Goto Top
Ok. Danke.

Ich habe mich jetzt prinzipiell für das 3-Node-Cluster mit Ceph entschieden. Es wird, so hat es zumindest den Anschein, breiter von Proxmox selbst unterstützt.

Shared Storage geht zwar auch, aber scheint mir im Bezug auf Proxmox eher ein Auslaufmodell zu sein. NFS, iSCSI, ZFS over iSCSI geht alles, aber dann immer mit dem kompletten Ethernet-Stack dabei. Während Fibre Channel, SAS oder Infiniband ist zwar auch möglich aber nicht vom Proxmox selbst unterstützt, sondern als Umweg von Linux direkt. Ist dann auch wieder eine Insellösung, die kein anderer hätte und somit für Support unbrauchbar.
Heiß diskutierte Beiträge
question
Alternative für MS TeamsBlackDevilVor 1 TagFrageVideo & Streaming5 Kommentare

Servus Zusammen, ich arbeite eigentlich grundsätzlich remote, was eben auch Kundengespräche und -beratung inkludiert. Bisher mache ich das über MS Teams, was im Grundsatz auch ...

question
Analog Telefonanschluss aufs Netzwerk bringenpeter91gVor 1 TagFrageISDN & Analoganschlüsse13 Kommentare

Hallo zusammen, ich habe aktuell ein Router von meinem Provider welcher im Bridge-Modus geschalten ist. Dadurch kann ich die Festnetztelefonie nur über den Analog-Anschluss am ...

question
Verständnisproblem SubnettingKarolaVor 1 TagFrageNetzwerkgrundlagen7 Kommentare

Hallo, möchte mal nerven weil ich keine Antwort finde Ein Netzwerk 172.16.0.0 /16 besteht aus einem alten Router als 4 Port Switch und 4 Clients. ...

question
Syntax zum Mappen einer Freigabe auf einem RDSH gelöst mtcmtcVor 1 TagFrageNetzwerke14 Kommentare

Hallo zusammen, ich starte normalerweise eine rdp-Datei um mich vom HomeOffice auf meinen RDSH-Client in der Firma zu verbinden. -> also kein Problem Auf diesem ...

question
Apps mit riesigen Datenbank verbindenBella21Vor 1 TagFrageEntwicklung4 Kommentare

Hallo alle zusammen, ich suche nach einer Lösung für einen APP. Der Datenbank ist riesig mehr als 10GB, da die komplette Datenbank nicht auf das ...

question
Umgestaltung HeimnetzwerkPaulePilsVor 1 TagFrageNetzwerke1 Kommentar

Hallo zusammen, ich bin seit heute neu im Forum, deshalb hoffe ich, dass meine Beitrag an der richtigen Stelle platziert ist :-) Ich würde mich ...

question
Ist diese Hardware sinnvoll für privaten Haushalt?stonevVor 12 StundenFrageRouter & Routing4 Kommentare

Hallo erstmal :) Meine alte Fritzbox 7490 spinnt seit gestern. Ich gehe von Alterschwäche aus, es wird also Ersatz fällig. Zufrieden war ich mit ihr ...

question
Hyper V Maschine (Windows 10 Pro) auf Server2022 langsam gelöst factxyVor 1 TagFrageHyper-V6 Kommentare

Hallo, ich habe einen neuen Server2022 augesetzt und dort von einem 2016er Server eine Windows10 HyperV erst exportiert dann am 2022er importiert. Soweit mit gleicher ...