rayms86
Goto Top

Hyper-V Set Switches

Hallo zusammen,

ich habe ein Problem mit Hyper-V und seinen SET Switches.

Folgendes ist gegeben:

Ein Hyper-V Server (Windows Server 2022 Datacenter) mit eine NIC mit 4x10Gbit sowie eine weitere NIC mit 4x 1Gbit.
Der Server hängt an zwei physischen Switchen 1x 1Gbit und 1x 10Gbit auf Switch 1 und 1x 1Gbit und 1x 10Gbit auf Switch 2.
So das wenn switch 1 ausfällt Switch 2 weiterhin die VMs und den Host online hält.

Auf zwei Ports der 1Gbit NIC habe ich ein SET-Switch für das Management Netz angelegt (SET-Switch_MGMT). Das funktioniert auch soweit.

Für zwei Ports der 10 Gbit NIC habe ich ebenfalls ein SET-Switch angelegt (SET-Switch_VMs), über diesen SET-Switch sollen 2 VLANs verteilt werden. Somit habe ich auf diesen SET-Switch_VMs folgende Befehle angewendet:

Add-VMNetworkAdapter -ManagementOS -Name "VLAN-10" -SwitchName "SET-Switch_VMs"  

und anschließend

Set-VMNetworkAdapterVlan -VMNetworkAdapterName "VLAN-10" -vlanid 10 -Access -ManagementOS  


Das ganze habe ich für VLAN-20 wiederholt.

Der Hyper-V Host bekommt auf den jeweiligen VLAN Switchen eine IP und auch Internetanbindung.

Wenn ich nun einer VM den SET-Switch_VMs zuweise und in den Einstellungen der VM Netzwerkkarte VLAN-id 10 eintrage, bekommt die VM keine IP und auch kein Internet.

Starte ich jedoch den Hyper-V Host neu, bekommt der Host und die VM auf dem "vEthernet (VLAN-10)" eine IP.
Deaktiviere ich nun die Netzwerkkarte der VM und reaktiviere sie kurze Zeit später, bekommt die VM wieder keine IP.

Wenn ich jetzt eine zweite VM aufsetze und dieser z.B. die VLAN-ID 10 zuweise, passiert das selbe wie mit der ersten VM.
VLAN-20 brauch ich der VM gar nicht erst zuweisen, weil selbst der Hyper-V Hosts auf dem "vEthernet (VLAN-20)" Adapter keine IP bekommt.

unbenannt

Die physischen Switche auf denen die 10 Gbit Ports hängen sind so konfiguriert, das auf den Ports lediglich VLAN 10 und 20 tagged zugelassen wird.


Irgendwie stehe ich gerade auf dem Schlauch, ist die Konfiguration des SET-Swtich_VMs falsch, oder wo könnte der Fehler liegen?

Ich hatte zuerst den physischen Switch vermutet, das hier ggf. die Port Protection mehrere Geräte auf einem Port verbietet. Das Macht Cisco ja ganz gerne. Die Port Protection ist jedoch ausgestellt. Somit kann es an der nicht mehr liegen.

Ich würde mich sehr über Antworten von euch freuen.


PS.: Das ist mein erster Post hier, sollte er also in einer falschen Kategorie einsortiert sein, bitte ich dies zu entschuldigen.

Content-ID: 668310

Url: https://administrator.de/contentid/668310

Ausgedruckt am: 28.09.2024 um 19:09 Uhr

Ueba3ba
Ueba3ba 23.09.2024 um 13:49:14 Uhr
Goto Top
Hey servus, hab dir PN geschrieben.

Hier auch noch mal für alle.
User Guide for NIC Teaming

Dieses Dokument hat mir sehr bei meinen Tests mit SET Switchen geholfen.


LG
Chris
Rayms86
Rayms86 24.09.2024 aktualisiert um 14:07:23 Uhr
Goto Top
Hallo Ueba3ba,

danke für den Link.
Aber auch mit dem komm ich nicht weiter.

Ich habe auf dem Hyper-V Host eine NIC-1 und NIC-2 diese beiden führe ich zu einem SET-Switch mit folgendem Befehl zusammen:

New-VMSwtich -Name "SET-Switch" -NetAdapterName "NIC-1","NIC-2" -AllowNETLBFOTeams $true -AllowManagementOS $true  

Danach muss ich diesem SET-Switch irgendwie die VLANs beibringen.
In einem anderen Beitrag habe ich dazu die Befehle wie im EIngangspost erwähnt gefunden:

Add-VMNetworkAdapter -ManagementOS -Name "VLAN-10" -SwitchName "SET-Switch"    

Anschließend wird mit folgendem Befehl dem VMNetworkAdapter die VLAN-ID zugewiesen:

Set-VMNetworkAdapterVlan -VMNetworkAdapterName "VLAN-10" -vlanid 10 -Access -ManagementOS    

selbst wenn ich den letzten Befehl von "-Access" auf "-Trunk" abändere:

Set-VMNetworkAdapterVlan -VMNetworkAdapterName "VLAN-10" -Trunk -AllowedVlanIdList "10" -NativeVlanId "1"  

bekommt weder der Hyper-V Host noch die VM eine IP.

Starte ich jetzt den Hyper-V Host neu, bekommt der Netzwerkadapter "VLAN-10" eine IP im richtigen VLAN und auch Internetzugriff.

Die VM erhält eine IP im richtigen VLAN, aber nur für ca. 30 Sekunden Internetzugriff.
Deaktiviere ich nun die virtuelle Netzwerkkarte der VM und aktiviere sie nach 20 Sekunden wieder, bekommt die VM wieder keine IP. Bis zum Neustart des Hyper-V Hosts.

Irgendwas stimmt in der Konfiguration noch nicht. Die Switch Ports des physischen Switches auf dem NIC-1 und NIC-2 hängen sind als "Trunk" konfiguriert.

Haben Sie ggf. noch eine Idee?
C.R.S.
C.R.S. 24.09.2024 um 16:48:02 Uhr
Goto Top
Hallo,

prinzipiell sieht das korrekt aus. Wobei nicht ganz klar ist, warum die Parent-Partition einen zweiten Adapter bekommt, anstatt lediglich den durch "New-VMSwtich -AllowManagementOS $true" erstellten zu konfigurieren.

Nicht erwähnt ist, wie die physischen Switche verbunden sind. Zwischen allen Mitgliedern des SET-Teams muss auf der physischen Seite geswitcht werden, d.h. die Verteilung auf getrennte physische Switche ist nicht möglich. Je nachdem kommt dann STP ins Spiel.

Grüße
Richard
MysticFoxDE
MysticFoxDE 25.09.2024 um 08:27:37 Uhr
Goto Top
Moin @Ueba3ba,

Hier auch noch mal für alle.
User Guide for NIC Teaming

Dieses Dokument hat mir sehr bei meinen Tests mit SET Switchen geholfen.

die Doku ist grundsätzlich nicht schlecht, ist aber vor allem was Server 2022 betrifft veraltet,
da Microsoft bei diesem die SDN Architektur nochmals umgekrempelt hat.

Und LBFO Teaming sollte man ab Server 2016 für einen vSwitch überhaupt nicht mehr verwenden, da dies seitens Microsoft ab Server 2016 abgekündigt ist und auch nicht mehr weiterentwickelt wurde.

https://community.spiceworks.com/t/the-windows-horror-story-season-001-n ...
😔

Ferner ist würde ich niemals einen Hyper-V Netzwerktechnisch so einrichten wie es Microsoft in dieser Doku beschrieben hat, also einen vSwitch und dann alles (VM-Traffic, Management, Livemigration und auch noch Storage-Traffic) über diesen drübernuddeln. 😭

Bitte ja nicht nachmachen, da kommt nur ein Kramp dabei heraus.

Gruss Alex
MysticFoxDE
MysticFoxDE 25.09.2024 um 09:08:06 Uhr
Goto Top
Moin @Rayms86,

ich habe ein Problem mit Hyper-V und seinen SET Switches.

das mit Hyper-V und SET ist auch nicht ganz so einfach wie es Microsoft gerne suggeriert, vor allem im Zusammenspiel mit VMQ und oder SR-IOV. 😔

Auf zwei Ports der 1Gbit NIC habe ich ein SET-Switch für das Management Netz angelegt (SET-Switch_MGMT). Das funktioniert auch soweit.

Jup, weil es bei 1G NIC's, meistens kein SR-IOV/VMQ Support gibt. 🙃

Für zwei Ports der 10 Gbit NIC habe ich ebenfalls ein SET-Switch angelegt (SET-Switch_VMs), über diesen SET-Switch sollen 2 VLANs verteilt werden. Somit habe ich auf diesen SET-Switch_VMs folgende Befehle angewendet:

Add-VMNetworkAdapter -ManagementOS -Name "VLAN-10" -SwitchName "SET-Switch_VMs"  

und anschließend

Set-VMNetworkAdapterVlan -VMNetworkAdapterName "VLAN-10" -vlanid 10 -Access -ManagementOS  

Kann man so auch machen, muss man aber nicht.
Siehe Kommentar von @c.r.s.

Irgendwie stehe ich gerade auf dem Schlauch, ist die Konfiguration des SET-Swtich_VMs falsch, oder wo könnte der Fehler liegen?

Na ja, als erstes würde ich dir Empfehlen, die Konfiguration mal ohne SET zu machen, sprich, klassisch einen vSwitch mit nur einer Uplink-NIC anzulegen und dann zu testen ob es damit besser funktioniert.

Für weitere Tipps, benötige ich jedoch ein paar weitere Informationen.
Fangen wir mal mit dem Wichtigsten an, was sind das denn genau für NIC's (Hersteller/Typ)?
(Hoffentlich nicht Broadcom. 🙏🙏🙏)

Gruss Alex
Rayms86
Rayms86 25.09.2024 um 13:48:12 Uhr
Goto Top
Hallo @MysticFoxDE,

Na ja, als erstes würde ich dir Empfehlen, die Konfiguration mal ohne SET zu machen, sprich, klassisch einen vSwitch mit nur einer Uplink-NIC anzulegen und dann zu testen ob es damit besser funktioniert.

Ohne SET funktioniert die Anbindung der VMs per VLAN an das Netzwerk. Egal ob man den vSwitch auf NIC-1 oder NIC-2 setzt

Wir haben den Hyper-V Server auf zwei 10Gbit Ports stecken, um eine Redundanz zu erhalten.
Sollte der erste physische Switch aus unerklärlichen gründen ausfallen, wären die VMs über Switch zwei weiterhin erreichbar. Darum war die Überlegung aus den beiden NICs ein SET zu gründen.

Es handelt sich nicht um "HPE Ethernet 10Gb 562SFP+" Netzwerkkarten
MysticFoxDE
MysticFoxDE 25.09.2024 um 20:13:55 Uhr
Goto Top
Moin @Rayms86,

Ohne SET funktioniert die Anbindung der VMs per VLAN an das Netzwerk. Egal ob man den vSwitch auf NIC-1 oder NIC-2 setzt

das bestätigt meine Vermutung/Befürchtung, dass die Probleme am SET-Switch liegt. 😔

Wir haben den Hyper-V Server auf zwei 10Gbit Ports stecken, um eine Redundanz zu erhalten.
Sollte der erste physische Switch aus unerklärlichen gründen ausfallen, wären die VMs über Switch zwei weiterhin erreichbar. Darum war die Überlegung aus den beiden NICs ein SET zu gründen.

Alles gut, die Gründe dafür sind mir schon bewusst und die kann ich auch gut nachvollziehen.
Leider ist das mit dem Teaming, seit Server 2019 leider nicht mehr so einfach. 😭

Es handelt sich nicht um "HPE Ethernet 10Gb 562SFP+" Netzwerkkarten

OK, das ist eigentlich eine Intel X710, damit sollte es eigentlich viel weniger Probleme geben als mit den Broadcom NIC's.

Hast du denn im BIOS des Servers SR-IOV eingeschaltet?

https://support.hpe.com/hpesc/public/docDisplay?docId=sd00002448en_us&am ...

Wenn nein, dann kannst du Dinge wie VMQ und SR-IOV im vSwitch und auf den vNIC's knicken und VMQ ist z.B. per Default auf jeder vNIC aktiviert. 😬

Sprich, du kannst den SET switch schon so machen wie bisher, dann aber bitte VMQ und IP-Sec Offloading in den erweiterten Einstellungen der vNIC der VM's deaktivieren und auch das folgende bitte noch ausführen ...

Set-VMSwitchTeam -Name "SET-Switch" -LoadBalancingAlgorithm HyperVPort  


... dann sollte der SET Switch eigentlich viel stabiler laufen, jedoch wirst du mit dieser Konfiguration, bei einer vNIC niemals wirklich einen Durchsatz von auch nur annähernd 10G sehen, da man dafür schon entweder VMQ oder SR-IOV benötigt.

Gruss Alex