beidermachtvongreyscull
Goto Top

Hat jemand Erfahrung mit "nested virtualization"?

Moin Kollegen,

folgende IST-Situation habe ich:
Basis-Software
  • homogener Windows Server 2016-HyperV-Cluster (DataCenter-Lizenzierung)
  • Exchange Server 2016
  • SQL-Server 2017
  • Veeam B&R v12

Hardware
  • HP c7000 BladeCenter mit 4 Gen8-Servern
  • 2 MSAs P3000 G2 mit Extension Enclosure (zusammen fast 100 HDDs mit Gesamtkapazität ca. 6TB)

Der Cluster betreibt neben einer Linux-VM tatsächlich nur Windows 2016-VMs (30 Stück).

Der Haken
Die Hardware läuft wie Drecksau und ich hab einen ordentlichen Vorrat an Ersatzteilen. Es ist die geplante Obsoleszenz, die mir Sorgen macht, denn auf den Gen8 käme ein neueres Windows nicht mehr in Gang bzw. liefe alles andere als stabil. Im Hinblick auf den Umwelt- und Kostengedanken tue ich mir sehr schwer zu sagen, die Hardware müsse komplett ersetzt werden.

Ich hab verschiedene Überlegungen angestellt und eine ist mir ehrlich sympathisch: nested virtualization
Bei Microsoft selbst bin ich drüber gestolpert, dass man für Hyper-V nicht zwingend physische Hardware braucht, sondern dass man Hyper-V selbst als VM betreiben kann, die dann andere VMs hostet:
https://learn.microsoft.com/de-de/virtualization/hyper-v-on-windows/user ...

Laut obigem Artikel unterstützen die das, wenn der Unterbau ein Hyper-V ist, aber schließen auch nicht aus, dass ein Fremdvirtualisierer den Unterbau stellen kann.

Mir geht es im Prinzip darum festzustellen, ob ich mit einer anderen Virtualisierungsplattform (VMWare, Proxmox z.B.) hier eine Brücke schlagen kann, die modernere Hyper-Vs auf diesem Hardwareunterbau stabil trägt, da sich das Lizenzmodell der DC-Lizenzierung für uns als kostengünstiger gezeigt hat.

Ich danke für entsprechenden Erfahrungsaustausch.

Ich bitte darum, von Belehrungen hinsichtlich Sicherheit etc. Abstand zu nehmen. Ich bin mir durchaus bewusst, dass "ein möglicherweise butterweich gewordener Kern eine knallharte Schale benötigt", um weiterhin geschützt zu sein und habe Vorsorge getroffen!

Gruß
Andreas

Content-Key: 7298415362

Url: https://administrator.de/contentid/7298415362

Printed on: March 1, 2024 at 18:03 o'clock

Member: Th0mKa
Solution Th0mKa May 25, 2023 at 06:08:09 (UTC)
Goto Top
Moin,

Nested Virtualization wird von MS halt eher für Test und DEV Umgebungen empfohlen, der Perfomance tut das jedenfalls nicht gut. Warum migriert ihr die VMs denn nicht auf die neue Virtualisierungsplattform statt da noch eine Zwischenschicht einzubauen?

/Thomas
Member: beidermachtvongreyscull
beidermachtvongreyscull May 25, 2023 at 06:18:54 (UTC)
Goto Top
Moin Thomas,

das hängt mit der Datacenter-Lizenzierung zusammen. Du lizenzierst einen Hyper-V auf DataCenter und kannst beliebig viele Windows-Server-VMs ohne weitere Lizenzkosten drauf betreiben. Die werden durch einen AVMA-Key dann automatisch aktiviert.

Ab einer gewissen VM-Anzahl macht das Lizenzierungsmodell durchaus Sinn.

Gruß
Andreas
Member: Mr-Gustav
Solution Mr-Gustav May 25, 2023 at 06:53:49 (UTC)
Goto Top
Was hat die Lizenzierung damit zu tun ? Verstehe ich nicht so ganz.

Nur damit wir uns richtig verstehen:
Du hast relativ gute Hardware - Dein HP Blade Center und die passenden Server
inkl gutem Storage bzw. guten Anbindung.

Willst du jetzt eine andere Virtualisierungssoftware auf dem Blech betreiben und dann in der Virtualisierung
dann anschließend einen Hyper V aufsetzten / verwenden ?
Oder wollt ihr auf den alten Gen8 Blades irgendeine Virtualisierungslösung betreiben, die entsprechend Freigegeben/supportet ist, und auf der dann eine aktuelle Windows Server 2022 als virtuellen Hyper V Host betreiben ?


Je nach dem was Ihr macht bzw. was die VM´s machen ist das von der Performance her super lahm bis funktioniert teilweise. Du musst halt bedenken das das die Hardware sozusagen 2 mal Virtualisiert wird.

Ich werde aber nicht schlau daraus was du genau vor hast. Kannst du das bitte noch mal kurz erklären ?
ich verstehe auch nicht wirklich was das mit Datacenter Lizenzen zu tun hat. Wenn Ihr das OS auf aktuellere Version umstellen wollt dann braucht es ja sowieso neue Datacenter Lizenzen oder eben SA
Member: beidermachtvongreyscull
beidermachtvongreyscull May 25, 2023 at 07:10:40 (UTC)
Goto Top
Zitat von @Mr-Gustav:

Was hat die Lizenzierung damit zu tun ? Verstehe ich nicht so ganz.
Schau Dir mal einen Lizenzkostenrechner an, der die Modelle vergleicht:
https://wintelguy.com/windows-server-licensing-calc.pl

Ab einer gewissen Anzahl VMs ist DataCenter-Licensing billiger. AVMA-Keys, mit denen eine Windows-VM automatisch ohne "wenn und aber" aktiviert werden funktionieren aber nur, wenn der Unterbau ein Hyper-V ist.
Nur damit wir uns richtig verstehen:
Du hast relativ gute Hardware - Dein HP Blade Center und die passenden Server
inkl gutem Storage bzw. guten Anbindung.
Korrekt. Alle eingesetzten Hardwarekomponenten sind laut Benchmarks nicht an ihrer Auslastungsgrenze.
Willst du jetzt eine andere Virtualisierungssoftware auf dem Blech betreiben und dann in der Virtualisierung
dann anschließend einen Hyper V aufsetzten / verwenden ?
So war die Idee. Das nennt sich "nested virtualization". Die Gen8-Server laufen auf Windows 2016 stabil und gut. Auf Windows 2019 bekäme ich sie wohl auch noch in Gang, aber dann muss ich schon Treiberpfusch begehen und am Virtualisierer brauche ich Stabilität, also ein OS, was auf die Hardware passt wie Faust aufs Auge.
Oder wollt ihr auf den alten Gen8 Blades irgendeine Virtualisierungslösung betreiben, die entsprechend Freigegeben/supportet ist, und auf der dann eine aktuelle Windows Server 2022 als virtuellen Hyper V Host betreiben ?
Das ist der Gedanke dahinter.
Je nach dem was Ihr macht bzw. was die VM´s machen ist das von der Performance her super lahm bis funktioniert teilweise. Du musst halt bedenken das das die Hardware sozusagen 2 mal Virtualisiert wird.
Deswegen wollte ich mal nach Erfahrungen in dieser Richtung fragen.
Ich werde aber nicht schlau daraus was du genau vor hast. Kannst du das bitte noch mal kurz erklären ?
ich verstehe auch nicht wirklich was das mit Datacenter Lizenzen zu tun hat. Wenn Ihr das OS auf aktuellere Version umstellen wollt dann braucht es ja sowieso neue Datacenter Lizenzen oder eben SA
Im Prinzip will ich zwischen Hyper-V-Server-OS und Hardware eine weitere Virtualisierungsschicht einbringen, so dass in 2025 uns nur Lizenzkosten für neue Windows-OS treffen, die dann dennoch auf unserem System laufen können. Die Hardware ist zu alt für Windows 2022 oder Nachfolger. Wenn aber Windows auf einem kompatiblen Virtualiserungsunterbau selbst VMs virtualisieren kann, kann ich die Hardware noch betreiben.

Mich stört einfach, dass ich funktionale Hardware aussondern muss, wegen Umweltschutz- und Kostengedanken.
Es muss nicht sein, finde ich.
Member: Lochkartenstanzer
Solution Lochkartenstanzer May 25, 2023 updated at 07:13:07 (UTC)
Goto Top
Moin,

Mit einem ESXi drunter sollte das funktionieren, notfalls auch VMware-Player Workstation auf Linux-Unterbau.

Aber das wäre nur Bastelei.

Pack statt hyperv einfach ESXi ohne hyoer-v drauf und du solltest Deine Hardware noch eine Weile nutzen können.

lks
Member: Razer1
Solution Razer1 May 25, 2023 at 07:37:33 (UTC)
Goto Top
Moin,

die DC Lizenz kannst du auch direkt in der VM akvieren z.B. bei ESXi oder Proxmox etc., es kann sein das du mal mit MS Telefonieren musst da man nicht undendlich aktivierungen hat durch den Key.
Somit kein Problem. Auch mit mehr als 40 VM's hat es ein Kollege schon mal gemacht weil er es nicht besser wusste, hat funktioniert.

Gruß
Member: anteNope
Solution anteNope May 25, 2023 at 07:46:20 (UTC)
Goto Top
Moin,
... denn auf den Gen8 käme ein neueres Windows nicht mehr in Gang bzw. liefe alles andere als stabil.

Schon ausprobiert oder wer sagt das? HP? Die haben im Prinzip keine Lust zum Testen und verkaufen lieber neues ...

Wenn 2016 problemfrei läuft, sollte 2019 und 2022 eigentlich auch laufen. Die letzte richtig große Änderung war von 2012 auf 2016.

Wenn möglich teste doch 2022 mal auf einem der Teile ­čĄ¬
Member: Mr-Gustav
Solution Mr-Gustav May 25, 2023 at 09:24:42 (UTC)
Goto Top
Also zum einen Windows Server 2019 läuft bei mir im LAB auf mehreren BL460c Gen8 ohne Probleme. Die 3 Server machen Hyper V Cluster mit Shared Storage. Konnte bisher keine Probleme feststellen. Läuft also.
Was meine Kunden angeht - denen verkaufe ich lieber gleich was neues. Ist einfach ein Punkt der Gewährleistung


So nun zu deinen punkten:


Was hat die Lizenzierung damit zu tun ? Verstehe ich nicht so ganz.
Schau Dir mal einen Lizenzkostenrechner an, der die Modelle vergleicht:
https://wintelguy.com/windows-server-licensing-calc.pl
Ist mir bekannt. Ich habe neben an ein VMware und ein kleineres Hyper V Cluster laufen. Insgesamt ca. 20 DL380G11 mit gesamt ca 130/180 Server unter Windows/Linux/Unix und ca...

Ab einer gewissen Anzahl VMs ist DataCenter-Licensing billiger. AVMA-Keys, mit denen eine Windows-VM >automatisch ohne "wenn und aber" aktiviert werden funktionieren aber nur, wenn der Unterbau ein Hyper-V ist.

AVAM geht auch unter VMWare wenn man es richtig macht bzw. ab einer gewissen Anzahl wäre KMS oder MAK Keys die bessere Lösung. Wir hatten das Problem auch - haben dann KMS eingeführt und das Problem war gelöst.

Willst du jetzt eine andere Virtualisierungssoftware auf dem Blech betreiben und dann in der Virtualisierung
dann anschließend einen Hyper V aufsetzten / verwenden ?
So war die Idee. Das nennt sich "nested virtualization". Die Gen8-Server laufen auf Windows 2016 stabil und gut. >>Auf Windows 2019 bekäme ich sie wohl auch noch in Gang, aber dann muss ich schon Treiberpfusch begehen >>und am Virtualisierer brauche ich Stabilität, also ein OS, was auf die Hardware passt wie Faust aufs Auge.

Mir ist bekannt was Nested Virt. ist. Einsetzen tu ich ebenfalls aber immer nur in DEV und Testumgebungen. Produktiv würde ich das allerdings nicht verwenden woll so wie du es planst. Wird bei der Fehlersuche sehr sehr Interessant da ist eben halt noch eine Ebene dazwischen welche sich zusätzlich noch dazwischen hängt.
Alleine das ich die ganze Konfig 2 mal machen müsste würde mir da schon auf den Zeiger gehen und wäre mir zu anfällig für Konfigurationsfehler.

Angeblich gibt es da keine Leistungsverluste oder Einbußen in irgend einer Art und weise. Glaube ich aber nicht denn es wird ja von der VM an den virtuellen Hyper V durchgereicht und dann nochmals vom virtuellen Hyper V Richtung ( ich sag jetzt einfach mal als Bsp. VMware ) VMWare ESX weitergereicht/ durchgereicht. Es muss also für eine VM 2 x Hardware Ressourcen bzw. Zeiten für den Zugriff durchgereicht werden und es muss dann eben auch immer alles 2x berechnet werden. Das kostet natürlich Zeit und Leitung.
Auch wenn das in kleinen Testumgebungen gut genug läuft. Meine größte Nested Virt. Umgebung zum Test waren glaube ich damals max 15/18 VM´s für eine AD Teststellung mit Sub/Sub/Sub Domänen und diversen Trusts dazwischen inkl einer dreistufigen CA. Lief einigermaßen - Etwas Zäh beim erstellen der CA´s -kannte ich so nicht wenn ich es direkt als VM installiere. Kann auch nur ein Gefühl gewesen sein.


Im Prinzip will ich zwischen Hyper-V-Server-OS und Hardware eine weitere Virtualisierungsschicht einbringen, so >>dass in 2025 uns nur Lizenzkosten für neue Windows-OS treffen, die dann dennoch auf unserem System laufen >>können. Die Hardware ist zu alt für Windows 2022 oder Nachfolger. Wenn aber Windows auf einem kompatiblen >>Virtualiserungsunterbau selbst VMs virtualisieren kann, kann ich die Hardware noch betreiben.

Mich stört einfach, dass ich funktionale Hardware aussondern muss, wegen Umweltschutz- und Kostengedanken.
Es muss nicht sein, finde ich.

Mag alles sein und grundsätzlich bin ich auch dagegen das man funktionierende Hardware entsorgt. Aber bedenke bitte auch das neuere Hardware deutlich Energieeffizienter ist als das was bereits 10 Jahre auf dem Markt ist.
Hier ist bei einer Laufzeit von 5 Jahren und entsprechend 365 einiges an Energie einzusparen.
Von daher hat neue Hardware durchaus seine Vorteile. Auch wenn man irgendwelche Standards einhalten muss.
Ich habe jetzt leider keine Bilder mehr aber einer meiner DL380GEN10 hat im Vergleich zu seinem Vorgängen wie z.B. ein DL380GEN8 deutlich weniger verbraucht über einen Zeitraum von 12 Stunden. Es war mindestens 1/4 bzw. im Ruhezustand sogar 1/3 weniger was die neuen Server ( GEN10 ) benötigt haben. Die Ausstattung war bei den Kisten gleich. 128GB Ram 2 x Intel CPU mit je 10 Kernen und 2 SSD 250GB im Raid .

Es macht also durchaus Sinn die Hardware irgendwann auszutauschen. Teilweise, je nach Rechnung, ist es sogar so dass das was die alten Server mehr an Energie verbrauchen derzeit über 5 Jahre dann einen neuen Server gibt bzw. gegeben hätte. Und das der Strom noch mal billiger wird ---- nun ja warten wir es ab.
Und bevor jetzt einer um die Ecke kommt von wegen das Stimmt nicht ..... Es sind nicht nur die Stromkosten der Server an sich sondern in die o.G. Rechnung sind auch die kosten für Klima und Lüftung mit drin. Es macht schon einen Unterschied ob ich als bsp. 10kW aus dem Serverraum abführen/kühlen muss oder eben nur 5-8.

Nebenbei mal gefragt: Was macht ihr wenn euch die Backplane des Bladecenters verreckt ? Was macht Ihr wenn euch ein Server stirbt. Wie lange dürfen die Server nicht erreichbar sein ohne das es zum Schaden kommt ?

Wir hatten mal ein defektes Mainboard welches innerhalb von ( glaube 4 Stunden ) durch den HP Support getauscht wurde. Will ich nicht mehr missen.
Member: em-pie
Solution em-pie May 25, 2023 at 09:53:17 (UTC)
Goto Top
Moin,

Ich äußere mich nur mal zum Lizenzthema:
Wir haben alle Windows VMs (~55) auf nem vSphere Cluster rödeln.
Die VMs werden über den KMS-Key via AD aktiviert.
https://learn.microsoft.com/de-de/windows/deployment/volume-activation/a ...

Via vSphere rollen wir neue VMs über ein BasisImage aus. Zudem kommt noch die Customisation hinzu, die der Windows-Kiste dann den Namen der Vm gibt, direkt ins AD einbindet und somit dann auch direkt aktiviert wird..

Easy Going.
Ne neue VM haben wir so binnen 5-10 Minuten verfügbar.
Und dank der DC-Lizenzen auch entsprechend sauber lizensierst…
Member: beidermachtvongreyscull
beidermachtvongreyscull May 25, 2023 at 15:38:29 (UTC)
Goto Top
Zitat von @anteNope:

Moin,
... denn auf den Gen8 käme ein neueres Windows nicht mehr in Gang bzw. liefe alles andere als stabil.

Schon ausprobiert oder wer sagt das? HP? Die haben im Prinzip keine Lust zum Testen und verkaufen lieber neues ...

Wenn 2016 problemfrei läuft, sollte 2019 und 2022 eigentlich auch laufen. Die letzte richtig große Änderung war von 2012 auf 2016.

Wenn möglich teste doch 2022 mal auf einem der Teile ­čĄ¬

Moin,
ich probiere es aus.
Member: beidermachtvongreyscull
beidermachtvongreyscull May 25, 2023 at 15:39:47 (UTC)
Goto Top
Danke Kollegen für die Augenöffner.