matzewo
Goto Top

Automatisiertes Setup von Hypervisor, VMs und Co

Moin,
Wir haben immer wieder Massen Rollout von Systemen.

Wir müssen jetzt in 120 Filialen neue Server ausrollen. Als Hypervisor ist Proxmox angedacht, kann aber auch jedes andere Produkt sein.

Auf den Kisten laufen 2 VMs. Ein R/O DC und ein Server auf dem diverse Applikationen laufen.

Ich habe keine Lust jede Kiste händisch zu installieren.

Wie würdet ihr das Thema angehen? Der Prozess soll so weit wie möglich automatisiert werden.

Content-ID: 72999535636

Url: https://administrator.de/contentid/72999535636

Ausgedruckt am: 25.11.2024 um 00:11 Uhr

O.Gensch
O.Gensch 28.10.2023 um 23:24:24 Uhr
Goto Top
Hallo,

theforeman.org/

kann man vieles damit automatisieren.

LG
8585324113
8585324113 29.10.2023 um 07:15:23 Uhr
Goto Top
120 baugleiche Server? Alles dauerhaft per VPN zu erreichen?

VMWare hat hier große Stärken. Von Hostprofilen die dir die OEMs im Werk einspielen über vorkonfigurierte BMC-Schnittstellen usw...
Ich denk es ist eine Frage der Philosophie und wofür man sein Geld ausgeben will.
Ich persönlich hätte die 120 Sites gerne im vCenter gesehen.
7907292512
7907292512 29.10.2023 aktualisiert um 07:31:10 Uhr
Goto Top
Wie würdet ihr das Thema angehen?
Template bauen und mit Ansible deployen.

Gruß Sid.
Matzewo
Matzewo 29.10.2023 um 08:07:38 Uhr
Goto Top
Vmware ist für uns finanziell nicht drin. Für kritische Anwendungen setzen wir vmware ein. Wir brauchen die Kisten, ja. Aber wenn davon eine stirbt ist es auch egal.

Alle Maschinen sind im MPLS Netz erreichbar
8585324113
8585324113 29.10.2023 um 08:12:34 Uhr
Goto Top
Und wie schaut es mit Hyper-V aus, wenn ihr eh Windows Server einsetzt und eine Domaine habt? Ist auch sehr komfortable, richtig angestellt.
Matzewo
Matzewo 29.10.2023 um 08:24:37 Uhr
Goto Top
Grundsätzlich schon. Der Hypervisor ist relativ egal solange wir keine Lizenzkosten haben.

Wichtig ist das Deployment. Wir setzen bereits sccm für die Clients ein. Auch sccm wäre daher theoretisch möglich. Leider bin ich in der Frage der Entscheider ohne SCCM Erfahrung.

Ich möchte das Thema aber auch dafür nutzen, dass sich das Team weiter entwickelt. Das spricht für mich gegen Hyper-V und sccm, aber letztlich ist das nicht final entscheidend.

Des Weiteren gibt es perspektivisch Überlegungen vmware abzulösen was für Proxmox spricht da ich Proxmox als den potentiellen Ersatz sehe.

Aber das sind keine harten Argumente sondern nur schwache Punkte.

Ich habe mal etwas gelesen und bin auf viele Optionen gestoßen. Jenkins, Ansible und Co. Ein Freund sagte, dass das alles nicht funktioniert für die Anwendung, allerdings kommt er aus der AWS Welt.
8585324113
8585324113 29.10.2023 um 09:04:26 Uhr
Goto Top
Das Hardware-Deployment der Server wird dir der SCCM nicht vereinfachen. Die beiden VMs nur bedingt, bzw hält sich da der Nutzen in Grenzen.

Fangen wir mal von vorn an.

120 Sites mit Standortvernetzung?
Server kommen vorkonfiguriert und müssen nur angepatcht werden?
Das AD für die beiden VMs eignet sich auch für die MGM-Umgebung der Hypervisoren und VMs?
Matzewo
Matzewo 29.10.2023 um 09:20:21 Uhr
Goto Top
Hi,
Alle 120 Standorte im MPLS.

Hardware kommt nicht konfiguriert. Raid wird wohl nicht automatisch konfiguriert werden können fürchte ich.

Meine Hoffnung ist, dass wir über das Netzwerk Booten und dann vielleicht noch ein paar Angaben machen und das war es.

Woran würdest du fest machen ob das AD geeignet ist?
8585324113
8585324113 29.10.2023 um 09:33:17 Uhr
Goto Top
Kannst du wenigsten eine BMC kaufen und vorkonfigurieren lassen? sonst wirst du alle Kartons vorher zu dir kommen lassen müssen und dann in den Neiderlassungen bringen oder bringen lassen müssen. Das kostet Geld!
Bei einem "richtigen" Server, ist die gesamte Konfig eines Server, samt RAID und NICs uns... mit dem Upload einer Konfig oder per Rest oder ähnlichen eine Sache von Minuten.

Übers Netzwerk booten geht, wenn du die Voraussetzungen schaffst. Aber bei Servern ungewöhnlich. Bei uns booten alle Server außer die HANAs und DCs über Netzwerk (FC/FCoE). OS Deployment für Server-OSes auf Baremetal sieht man sehr selten. VM Deployment ist Standard.

Bezüglich AD gibt es ja für Filialstrukturen verschiedene Konzepte. Ein Service User in der Welt zu verbreiten, der gleichzeitig der Admin-User für die Hypervisoren oder anderer wichtiger Dienste ist, davon ist dringend abzuraten. gMSA wäre eine Richtig die up2date ist...

Habt ich mal nachgerechnet oder Angebote eingeholt ob nciht vSAN-Ready-Nodes oder jeweils eine kleine VXRail nicht gut passen würde? 120 Hardware zu deployen ist mehr als eine Vollzeitstelle. Eine VXRail gibt es für unter 10k und dir könnte mehr als 2VMs und bringt sehr sehr viele Vorteile.
Th0mKa
Th0mKa 29.10.2023 aktualisiert um 09:42:57 Uhr
Goto Top
Quote from @Matzewo:
Wichtig ist das Deployment. Wir setzen bereits sccm für die Clients ein. Auch sccm wäre daher theoretisch möglich. Leider bin ich in der Frage der Entscheider ohne SCCM Erfahrung.

Hyper-V in Verbindung mit SCVMM, quasi das Gegenstück zum vCenter in VMware, wäre ein möglicher Weg. Wenn ihr SCCM im Einsatz habt habt ihr evtl auch schon Lizenzen für SCVMM und für den DC braucht ihr eh eine Windows Lizenz die dann auch für das Host OS genutzt werden kann. Mit SCVMM kann man sowohl die Hosts, inkl. RAID Konfiguration, als auch VM Templates deployen.
Matzewo
Matzewo 29.10.2023 um 09:49:11 Uhr
Goto Top
Network Boot bezog sich auf das Deployment.

Ich hoffe, dass ich wenigstens kleine HP Kisten durchsetzen kann, fürchte aber, dass es evtl sogar auf Desktop PCs hinaus läuft
8585324113
8585324113 29.10.2023 um 09:55:44 Uhr
Goto Top
Der Software ist das egal.
Aber ohne Server, der den Namen verdient, wirst Du nicht nur Turnschuhe benötigen.
Gehalt bekommt ihr nicht, nehme ich an?

Gibt es die 120 Sites jetzt schon mit Hardware? Wie wird da der Aufwand für die IT-Betreuung controled? Habt ihr ein Controling?
8585324113
8585324113 29.10.2023 um 10:00:02 Uhr
Goto Top
Bei 120 Sites mit je einen Hardware Server, würde ich Dell, HP und Fujitsu an den Tisch setzen. ggf auch Lenovo und die Beschaffung erstmal mit Wettbewerb im Preis ordentlich drücken. Bei 120 Server plus Software kannst du auch verlangen, dass die Vergabe im Bieterverfahren durch persönliches erscheinen zu erfolgen hat.
Server haben immer riesige kalkulatorische Reserven in den Preisen der echten OEMs.

Euer Chef ist gerne am "Sparen" und dennoch zugänglich für neuen Gedanken bzgl. Kosten und Geld?
Matzewo
Matzewo 29.10.2023 um 11:05:57 Uhr
Goto Top
Also wir sind offen für alles.

Wir brauchen die Kisten primär für eine Applikation.

Bei 120 Standorten denkt man immer was für ein riesen schuppen. An jedem Standort sind ca 10 Mitarbeiter, eher vergleichbar mit einem Geschäft. 3 PCs und leider ein paar iot Devices. Die Dinger brauchen leider einen PC im 24 / 7 Betrieb. Daher haben wir bisher Lenovo Kisten im Einsatz die jetzt 10 Jahre alt sind.

Wenn die Kiste steht zieht aktuell die Applikation auf eine PC um.

Offen sind wir für alles. Die Applikation ist kritisch, dennoch ist sie nicht so hoch bewertet, dass dafür viel Geld da ist.

Auf den ro dc können wir ggf verzichten
8585324113
8585324113 29.10.2023 um 11:16:56 Uhr
Goto Top
Die Applikation kommt erst richtig zur Geltung, wenn ein Server vor Ort ist? Vielleicht wegen Latenzen?
Der AD wird für Verzeichnisdienste, DNS usw benötigt?

Ich sags mal so, in mir wohnt ein Spielkind. Das möchte gerne 120 Kartons vom LKW holen und alle aufmachen und Server installieren und einrichten. Ich spiele so gern ;)
Aber meine Jungs und Ich sind nicht kostenlos bei der Arbeit. Wir kosten Geld und trotz der vielen Millionen die wir jeden Tag machen, kann ich beim Chef nicht erklären, warum wie so arbeiten wollen würden. Arbeit ist teuer.

Daher kommen die Server für unsere Sites weltweit vom OEM vorkonfiguriert und werden auch fast immer von Personal der Dienstleister eingebaut. Außer nahe des HQ, da bekommen wir selbst den Hintern hoch.

Und wenn du offen bist und irgendwer bei Euch was über die kosten weiß und ggf beim Chef damit gut ankommt, dann gucke was eine HCI Kiste kosten würde, mit der einfachsten CPU und Software-Lizenz.
Das spart an sehr vielen Stellen sehr viel Geld. Allein das Thema Backup wird sich komplett verändern, bzw kann sich verändern. Und wegen der Stückzahlen bekommst du für alle nicht Build-to-Order-Systeme sehr gute Preise.

Wenn man einen umfunktionierten Desktop neben einen echten Server stellt, dann ist der Desktop natürlich unterm Strich günstiger zu erwerben, aber man hat nicht gespart. Das musst du irgendwie erklären, beim Chef.

Ansonsten: Proxmox und alle andere Kreativität und Turnschuhe!
Matzewo
Matzewo 29.10.2023 um 11:40:00 Uhr
Goto Top
Also Backup brauchen wir nicht. Da liegen keine Daten drauf.

Früher waren noch lokale SQL Server installiert.

Ich verstehe noch nicht so ganz warum wir die lokalen Systeme brauchen. Ich versuche seit 5 Monaten mich als verantwortlicher durch die gesamte Infrastruktur zu arbeiten und viele Fragen können mir nicht beantwortet werden.

Ich vermute, dass die Applikation im gleichen Subnetz laufen muss. Teilweise ist sie auch per USB lokal an die Geräte angebunden.
Dani
Dani 29.10.2023 um 13:58:28 Uhr
Goto Top
Moin,
Offen sind wir für alles. Die Applikation ist kritisch, dennoch ist sie nicht so hoch bewertet, dass dafür viel Geld da ist.
die Aussage muss ich für das nächste Budget Meeting merken. face-wink Ihr lügt euch in die eigene Tasche. Ist die Anwendung kritisch oder nicht. Hier darf man gerne auf die bewährten Ansätze zurückgreifen. Was kostet eine 1, ,2 4, 8 Stunden Ausfall und welche Ressourcen stecken dahinter.

Ich versuche seit 5 Monaten mich als verantwortlicher durch die gesamte Infrastruktur zu arbeiten und viele Fragen können mir nicht beantwortet werden.
Auf der Informationsbasis eine Entscheidung treffen, halte ich nicht für verantwortungsbewusst. Falls noch nicht geschehen, würde ich alle Komponenten aufnehmen, die Abhängigkeiten definieren und die offenen Fragen dahinter formulieren. Bei den Kollegen, Geschäftsführung, IT Dienstleister, etc. die Fragen stellen und die Antworten hinterlegen. in der Regel ergeben sich aus den Antworten weitere Fragen. Aber nur so kannst du als Verantwortlicher eine fundierte und nachvollziehbare Entscheidung treffen.

Ein R/O DC und ein Server auf dem diverse Applikationen laufen.
  • Weshalb ein RODC vor Ort? Aus welchen Gründen? Könnte OpenLDAP als Proxy eine Alternative sein? Werden die Passwörter der Nutzer zwischengespeichert?
  • Weshalb läuft die Anwendung vor Ort? Windows oder Linux als Betriebssystem? Könnte ein Betrieb via RDS eine Alternative sein? Müssen die Laufwerke verschlüsselt werden, weil personenbezogen Daten gespeichert werden?

Fragen über Fragen... meiner Meinung nach bist du erst bei der Definition der Rahmenbedingungen und Anforderung.

Wie würdet ihr das Thema angehen? Der Prozess soll so weit wie möglich automatisiert werden.
Wir haben in der Tat auch ein paar Proxmox Server in einem dedizierten Netzwerk. eine unbeaufsichtigte Installation ist möglich: https://pve.proxmox.com/wiki/Unattended_installation_of_Proxmox. Im Kombination mit Ansible ist eine vollständige Installation möglich.

Bei uns laufen ausschließlich Linux VMs. Diese werden mehr oder weniger als Image bereitgestellt, auf den PM Server kopiert, eingebunden und mit Cloud Init angepasst. Die Installation der Anwendungen und dessen Konfigurationsdateien werden über Ansible angepasst bzw. kopiert. So das am Ende auch kein Backup erforderlich ist.


Gruß,
Dani
O.Gensch
O.Gensch 29.10.2023 um 15:21:39 Uhr
Goto Top
Hallo,

auch wenn du jetzt sagst es ist kein Geld vorhanden. würde ich das ganze in die Cloud o. Azure packen und die Stanbdorte einfach nur mit Thim Clients ausstatten. sollen die MA sich dann alle vonmir aus an Ihre VDs oder am TS anmelden....

LG