03.03.2025 um 11:10:20 Uhr

424

Inter-VLAN Routing - Router on a Stick - Windows Server 2022

Hallo zusammen,

ich bin seit Tagen auf Fehlersuche, diverse Einträge in diesem Forum und in anderen Foren als auch Beiträgen im Internet haben mir bisher leider nicht die Lösung verschafft.

Ich muss ein (bestehendes) Netzwerk aus einem Segment segmentieren. Dazu habe ich mir eine Testumgebung aufgebaut.
Bei den Systemen die im aktuellen Schritt zu segmentieren sind handelt es sich um virtuelle Maschinen mit Windows Server 2022 auf Hypervisoren mit Windows Server 2022 (Hyper-V).
Bei den Switchen handelt es sich um Switche von Juniper, Modell EX3400.
Bei der Firewall handelt es sich um Sophos XGS 3100.

Der Aufbau den ich bisher durchgeführt habe ist dieser Zeichnung zu entnehmen, ich denke das sagt mehr als tausend Worte:

netzwerk segementierung logisch vlan-kopie von seite-2

Ich möchte nun den linken (neuen) Hypervisor in Dunkelblau (10.0.5.203/24) mit der Domäne joinen. Der Domänencontroller ist virtualisiert und befindet sich auf der VM oben rechts in Blaulila (10.0.10.216/24).
Das Hostbetriebssystem zu der VM liegt auf dem Hypervisor rechts in Blau (10.0.5.202/24).
Die Hypervisoren sind in dem Netzwerk 10.0.5.0/24 welches ich auf der Zeichnung CYAN markiert habe und in dem VLAN 5 liegen. Die VMs sind für die Testumgebung in dem Netzwerk 10.0.10.0/24 welches ich GELB markiert habe und in dem VLAN 10 liegen.
Zwischen den Hypervisoren und dem Switch (Juniper EX3400) ist ein VLAN Trunk konfiguriert, die Konfiguration sieht so aus:

show interfaces xe-0/2/0
unit 0 {
    family ethernet-switching {
        interface-mode trunk;
        vlan {
            members [ 5 10 ];
        }
        storm-control default;
    }
}

show interfaces xe-1/2/0
unit 0 {
    family ethernet-switching {
        interface-mode trunk;
        vlan {
            members [ 5 10 ];
        }
        storm-control default;
    }
}

show interfaces xe-0/2/2
unit 0 {
    family ethernet-switching {
        interface-mode trunk;
        vlan {
            members [ 5 10 ];
        }
        storm-control default;
    }
}

Von dem Switch zur Sophos XGS Firewall geht es mit einem LCAP - VLAN Trunk. Auf dem Switch sind die Interfaces zu ae0 zusammengefasst:

show interfaces ae0
vlan-tagging;
aggregated-ether-options {
    lacp {
        active;
    }
}
unit 0 {
    family ethernet-switching {
        interface-mode trunk;
        vlan {
            members [ 5 10 ];
        }
    }
}

show interfaces ge-0/0/0
ether-options {
    802.3ad ae0;
}

show interfaces ge-0/0/1
ether-options {
    802.3ad ae0;
}

show interfaces ge-0/0/2
ether-options {
    802.3ad ae0;
}

show interfaces ge-0/0/3
ether-options {
    802.3ad ae0;
}

show interfaces ge-1/0/0
ether-options {
    802.3ad ae0;
}

show interfaces ge-1/0/1
ether-options {
    802.3ad ae0;
}

show interfaces ge-1/0/2
ether-options {
    802.3ad ae0;
}

show interfaces ge-1/0/3
ether-options {
    802.3ad ae0;
}

Die Sophos XGS ist so konfiguriert:

Damit das die Firewall auch zwischen den beiden Netzen transportiert habe ich eine Testregel angelegt:

Details:

Ich möchte nun einen Ping zum Testen von 10.0.5.203 an die VM 10.0.10.216 senden. Damit der Hypervisor die Route dahin kennt habe ich diese auf dem Hypervisor (DUNKELBLAU) auf der Powershell mit

New-NetRoute -DestinationPrefix "10.0.10.0/24"-InterfaceIndex 26 -NextHop 10.0.5.254  

eine Route dahin gesetzt und in diesem Netzsegment die Sophos (10.0.5.254) angegeben. Achtung, hier ist es wichtig zu wissen das der Hypervisor noch ein zweites Netzwerkinterface hat an dem das Internet / DMZ anliegt. Auf diesem Netzwerkinterface ist auch das Default Gateway (= 172.27.77.1/24) gesetzt.

Der Vollständigkeit halber hier die Routingtabelle des Hypervisors 10.0.5.203:

Ich habe auf allen Systemen aktuell die Windows Firewall für alle Profile (Domäne, Private, Public) ausgestellt.

Sende ich nun von dem Hypervisor der noch nicht in der Domäne ist (DUNKELBLAU 10.0.5.203) einen Ping an die VM 10.0.10.216 kommt keine Antwort zurück. Auf der VM sehe ich allerdings mit Wireshark die eingehenden ICMP Requests:

Auf der Sophos Firewall sehe ich im Packet Capture auch nur diese Richtung:

Soweit also alles stimmig. Nur, warum kommt kein Reply zurück? RDP, Telnet etc. funktioniert ebenso nicht.

Von dem Hypervisor (10.0.5.203/24) kann ich aber die Sophos im anderen Netz auf der 10.0.10.254/24) mit ping erreichen und erhalte eine Antwort.

Ein Traceroute von dem Hypervisor auf die VM sieht so aus, hier abgebrochen da sich nichts mehr ändert:

Ich vermute ich habe nur eine ganze Kleinigkeit vergessen, habe mich nur derart in dem Thema verstrickt das ich es nicht erkenne.

Ich hoffe ihr könnt mir den hilfreichen Hinweis oder die Lösung sagen. Wenn noch andere Informationen etc. notwendig sind kann ich diese nachliefern.

Vielen Dank und beste Grüße!

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 671706

Url: https://administrator.de/forum/inter-vlan-routing-router-on-a-stick-windows-server-2022-671706.html

Ausgedruckt am: 03.03.2025 um 17:03 Uhr

20 Kommentare

Neuester Kommentar

Moin @Pagra37,

Ich möchte nun einen Ping zum Testen von 10.0.5.203 an die VM 10.0.10.216 senden. Damit der Hypervisor die Route dahin kennt habe ich diese auf dem Hypervisor (DUNKELBLAU) auf der Powershell mit

New-NetRoute -DestinationPrefix "10.0.10.0/24"-InterfaceIndex 26 -NextHop 10.0.5.254  

lösche bitte die obere Route wieder raus und mach lieber die hier rein.

New-NetRoute -DestinationPrefix "10.0.10.0/24"-InterfaceIndex 26 -NextHop 10.0.10.254  

😉

Gruss Alex

Hallo Alex,

besten Dank für die Anregung, das funktioniert jedoch nicht, wie auch, woher soll das System jetzt wissen wo es 10.0.10.0/24 zu finden hat. Es wird es wie erwartet dann an das Default Gateway (172.27.77.1./24) senden was es nicht kennt und dann weiter Richtung Internet was es schon längst nicht kennt:

Ich vermute aber es ist wirklich ein ganz triviales Routingproblem...

Gruß

Hey Servus,

überprüfe auf den HyperV Hosts die SET Switches.

Das NIC Team muss ein Trunk sein. Die vNICS musst du dann mit entsprechender Vlan-ID anlegen und der VM zuweisen.

Edit:

Noch ein Tipp. Nutze für die Konfiguration nicht den HyperV Manager.
Mach das über die Powershell.

Erst SET Switch erstellen:

New-VMSwitch -Name "SET-Switch-01" -NetAdapterName "Embedded FlexibleLOM 1 port 3","Embedded FlexibleLOM 1 port 4" -AllowManagementOS $True  

Überprüfen:

Get-VMSwitchTeam -Name "SET-Switch-01" | FL

LoadBalancing Modus auf: Dynamic stellen:

Set-VMSwitchTeam -Name "SET-Switch-01" -LoadBalancingAlgorithm Dynamic

So, jetzt erstellst du den ersten virtuellen Adapter für das Management:

Add-VMNetworkAdapter -ManagementOS -Name "VLAN101" -SwitchName "SET-Switch-01"  
Set-VMNetworkAdapterVLAN -VMNetworkAdapterName "VLAN101" -vlanid 101 -Access -ManagementOS  

Dann den zweiten virtuellen Adapter für die VM:

Add-VMNetworkAdapter  -Name "VLAN102" -SwitchName "SET-Switch-01"  
Set-VMNetworkAdapterVLAN -VMNetworkAdapterName "VLAN102" -vlanid 102 -Access   

Den zweiten Adapter kannst du dan deiner VM zuweisen. Entweder im HyperV Manager oder mit Powershell.

Add-VMNetworkAdapter -VMName DC-01 -Name "VLAN102"

Fertig!

P.S

Wenn deine Sophos das VLAN Routing macht, werden eigentlich keine Routen benötigt. Du musst nur an jedem Host und jeder VM das richtige Gateway eintragen.
Und natürlich auf der Sophos die ACL erstellen, so das die VLAN's untereinander kommunizieren dürfen. Sieht auf deinen Bildern aber so aus, als wäre das schon richtig eingerichtet.

Das hier habe ich auf dem rechten Hypervisor:

PS C:\Windows\system32> Get-VMSwitchTeam -SwitchName SETswitch | FL


Name                           : SETswitch
Id                             : 38b9bfa1-0c70-466d-a285-f5965edfc7dc
NetAdapterInterfaceDescription : {Broadcom NetXtreme E-Series Advanced Dual-port 10Gb SFP+ Ethernet OCP 3.0 Adapter,
                                 Broadcom NetXtreme E-Series Advanced Dual-port 10Gb SFP+ Ethernet OCP 3.0 Adapter #2}
NetAdapterInterfaceGuid        : {6b45d58b-96a7-4bc2-ad96-b89cec6efedb, f47abaf8-45a6-4f30-be07-1784b748bead}
TeamingMode                    : SwitchIndependent
LoadBalancingAlgorithm         : Dynamic


PS C:\Windows\system32> Get-VMNetworkAdapter -VMName VM16

Name            IsManagementOs VMName  SwitchName           MacAddress   Status              IPAddresses
----            -------------- ------  ----------           ----------   ------              -----------
server-10       False          VM16 SETswitch            xxxxx {Ok}                {10.0.10.216, fe80::3d...


PS C:\Windows\system32> Get-VMNetworkAdapterVlan -VMName VM16

VMName  VMNetworkAdapterName Mode     VlanList
------  -------------------- ----     --------
VM16   server-10            Access   10


PS C:\Windows\system32>

PS C:\Windows\system32> Get-VMNetworkAdapterVlan -ManagementOS

VMName VMNetworkAdapterName Mode     VlanList
------ -------------------- ----     --------
       server-5             Access   5
       SETswitch            Untagged

Das hier ist auf dem linken Hypervisor:
(sorry für Bild, ich kann über die Konsole kein Text rauskopieren)

Auf dem linken Hypervisor habe ich kein Team Interface da nur eine LWL auf den Switch geht und dieses System auch nicht die Bandbreite und Zuverlässigkeit benötigen wird.

Wahrscheinlich ist hier das Problem zu suchen. Ich habe mir vor zwei Jahren schon mit dem "neuen" SETswitches die Finger gebrochen und wahrscheinlich ist das so gar nicht richtig... Ich sehe es nur einfach nicht.

Ich würde sagen das dein SET Switch im falschen Modus ist.

"Untagged"

Er müsste auf "Trunk" stehen.

Du musst deinen vSwitch so einstellen, das er VLAN Tagging unterstützt.

Set-VMSwitch -Name "SET-Switch-01" -EnableEmbeddedTeaming $true  

-EnableEmbeddedTeaming $true → Stellt sicher, dass der Switch VLAN-Tagging unterstützt.

Ok, ich meine damals hang es auch an genau dieser Stelle. Der SETswitch ist ja der vom Hypervisor. Wie kann ich den von Untagged auf Trunk umstellen? Der Befehl hier scheitert:

Das geht alles immer nur nicht für das Managementos. Was ist hier der korrekte Befehl oder wo ist mein Gedankenfehler?

Das "EnableEmbeddedTeaming" ist auf dem einem Hypervisor wo das Teaming an ist bereits schon auf true.

Sorry für die Verwirrung.

Den SET Switch selbst in den "TRUNK" Modus setzten geht nicht.

Poste bitte mal die Ausgabe von:

Get-VMSwitch -Name "DeinSETswitch" | fl *

Egal von welchem Host. Am besten von beiden.

Wenn deine Sophos das VLAN Routing macht, werden eigentlich keine Routen benötigt. Du musst nur an jedem Host und jeder VM das richtige Gateway eintragen.

Da genau ist das Problem! An jedem Host und jeder VM muss das richtige Gateway eingetragen werden. Ich hatte es nur auf dem Hypervisor jedoch nicht auf der VM eingetragen. Jetzt ist es in der VM mit

New-NetRoute -DestinationPrefix "10.77.5.0/24" -InterfaceIndex 25 -NextHop 10.77.10.254  

eingetragen und es geht mit dem Ping in beide Richtungen!

Jedoch weiter gesponnen: Gerade geht es "nur" um die Server, physikalisch und VMs. Jedoch kommen auch die Clients noch mit der Segmentierung in "viele" VLANs dran.
Wie ist denn hier die Best-Practise um allen Clients immer den gesamten Umgebung das Routing für alle VLANs die sie betreffen mitzugeben? Das kann doch unmöglich mit einem Skript auf allen Clients "manuell" angewendet werden müssen? Vor allem wenn ich gerade an Notebooks denke die "draußen" auch mal durch solche Routen-Settings Probleme in anderen LANs/WLANs bekommen könnten.
Oder wird das doch auf der Firewall (Router, Sophos) gemacht um das zu vermeiden?

Gruß

Der rechte Hypervisor:

PS C:\Windows\system32> Get-VMSwitch -Name "SETswitch" | FL *  


DefaultQueueVmmqQueuePairs                       : 0
DefaultQueueVmmqQueuePairsRequested              : 16
Name                                             : SETswitch
Id                                               : 38b9bfa1-0c70-466d-a285-f5965edfc7dc
Notes                                            :
Extensions                                       : {Microsoft Windows Filtering Platform, Microsoft NDIS Capture}
BandwidthReservationMode                         : Absolute
PacketDirectEnabled                              : False
EmbeddedTeamingEnabled                           : True
AllowNetLbfoTeams                                : False
IovEnabled                                       : False
SwitchType                                       : External
AllowManagementOS                                : True
NetAdapterInterfaceDescription                   : Teamed-Interface
NetAdapterInterfaceDescriptions                  : {Broadcom NetXtreme E-Series Advanced Dual-port 10Gb SFP+ Ethernet
                                                   OCP 3.0 Adapter, Broadcom NetXtreme E-Series Advanced Dual-port
                                                   10Gb SFP+ Ethernet OCP 3.0 Adapter #2}
NetAdapterInterfaceGuid                          : {6b45d58b-96a7-4bc2-ad96-b89cec6efedb,
                                                   f47abaf8-45a6-4f30-be07-1784b748bead}
IovSupport                                       : False
IovSupportReasons                                : {This network adapter does not support SR-IOV.}
AvailableIPSecSA                                 : 0
NumberIPSecSAAllocated                           : 0
AvailableVMQueues                                : 0
NumberVmqAllocated                               : 0
IovQueuePairCount                                : 0
IovQueuePairsInUse                               : 0
IovVirtualFunctionCount                          : 0
IovVirtualFunctionsInUse                         : 0
PacketDirectInUse                                : False
DefaultQueueVrssEnabledRequested                 : True
DefaultQueueVrssEnabled                          : False
DefaultQueueVmmqEnabledRequested                 : True
DefaultQueueVmmqEnabled                          : False
DefaultQueueVrssMaxQueuePairsRequested           : 16
DefaultQueueVrssMaxQueuePairs                    : 0
DefaultQueueVrssMinQueuePairsRequested           : 1
DefaultQueueVrssMinQueuePairs                    : 0
DefaultQueueVrssQueueSchedulingModeRequested     : StaticVrss
DefaultQueueVrssQueueSchedulingMode              : Dynamic
DefaultQueueVrssExcludePrimaryProcessorRequested : False
DefaultQueueVrssExcludePrimaryProcessor          : False
SoftwareRscEnabled                               : False
RscOffloadEnabled                                : False
BandwidthPercentage                              : 10
DefaultFlowMinimumBandwidthAbsolute              : 2000000000
DefaultFlowMinimumBandwidthWeight                : 0
CimSession                                       : CimSession: .
ComputerName                                     : HV-202
IsDeleted                                        : False

Der linke Hypervisor:

Warum hast du das mit einer Netz Route umgesetzt und nicht mit dem standard Gateway?

Im linken Host ist "EmbeddedTeaming" aus!!

Warum hast du das mit einer Netz Route umgesetzt und nicht mit dem standard Gateway?

Die VM wird noch in andere VLANs gehangen. Welcher virtuelle Adapter sollte denn dann das Standard Gateway erhalten?

Im linken Host ist "EmbeddedTeaming" aus!!

Ja, es ist kein Team Interface, dementsprechend gibt es den Befehl nicht. Oder muss ich da irgendwas noch machen?

Wenn die VM auch noch in andere Vlan's muss, dann braucht sie das standard Gateway.
Ich denke dass das die IP der Sophos für das entsprechende VLan ist.
Wenn die anderen VLan's die du mit der VM erreichen möchtest auch von der Sophos
geroutet werden, dann bedarf es nur einem standard Gateway auf der VM, da deine Sophos ja die Vlan's kennst und routet.

Um einen SET Switch zu erstellen muss nicht zwingend ein NIC Team erstellt werden. Das geht auch mit einer einzelnen NIC. Du kannst auch mit nur einer NIC den SET Switch mit

New-VMSwitch -Name "SET-Switch" -NetAdapterName "Ethernet1" -EnableEmbeddedTeaming $true -AllowManagementOS $false  

erstellen und nutzen.

Wenn du mit einer vNIC mehrere Vlan's erreichen möchstest, dann musst du die vNIC so erstellen

Add-VMNetworkAdapter -VMName "MeineVM" -SwitchName "SET-Switch" -Name "VMNIC-VLAN20"  
Set-VMNetworkAdapterVlan -VMName "MeineVM" -Trunk -AllowedVlanIdList "10,20" -NativeVlanId 1  

Es sollte aber reichen wenn du eine vNIC erstellst und diese in das Vlan deiner Wahl als Access setzt. Das Routing in andere Vlan's sollte dann deine Sophos erledigen. Entsprechende ACL vorausgesetzt
.

Moin @Pagra37,

besten Dank für die Anregung, das funktioniert jedoch nicht, wie auch, woher soll das System jetzt wissen wo es 10.0.10.0/24 zu finden hat. Es wird es wie erwartet dann an das Default Gateway (172.27.77.1./24) senden was es nicht kennt und dann weiter Richtung Internet was es schon längst nicht kennt:

doch, das ist schon richtig, denn der nächste Hop aus dem 10.0.5.203/24 zu dem 10.0.10.0/24 Netz, ist laut deiner bisherigen Beschreibung die Schnittstelle/IP der Sophos aus dem entsprechenden Quell-Netz und das ist die 10.0.5.254. 😉

Kannst du den die 10.0.5.254 von dem entsprechenden HV pingen?

Gruss Alex

P.S. Hast du auf dem HV und der VM auch schon testweise die Windows-FireWall deaktiviert?

Die pfuscht bei solchen Dingen auch sehr gerne dazwischen. 🙃

Es sollte aber reichen wenn du eine vNIC erstellst und diese in das Vlan deiner Wahl als Access setzt. Das Routing in andere Vlan's sollte dann deine Sophos erledigen. Entsprechende ACL vorausgesetzt

Genau das war das wirklich kleine Problem was ich überhaupt nicht beachtet hatte! Da die VM eine VM aus der Produktivumgebung ist in der noch nichts segmentiert ist war natürlich dennoch ein Default Gateway gesetzt. Das hatte ich nicht bedacht und dann ist alles dahin zurückgesendet worden und die neue Sophos hat das nicht mitbekommen können!
Default Gateway (erstmal testweise bis Migration stattfinden kann) aus dem "alten" Adapter raus und auf den neuen server-5 als Gateway die Sophos (10.0.10.254/24) und siehe an, es funktioniert!

Dementsprechend bekommen natürlich alle VMs und auch Clients (PC/Laptop) die Sophos via DHCP als Default Gateway und dann funktioniert das auch. Lediglich die Hypervisoren werden mit der zweiten Route mit New-NetRoute konfiguriert da diese einmal das Default Gateway Richtung Router Internet haben und zusätzlich die Sophos für das interne, segmentierte Netzwerk.
Macht man das denn so herum, also das das Default Gateway auf dem Adapter nach dem Internet gesetzt wird und mit Add-NetRoute das Gateway für intern oder eher anders herum die Sophos als Default Gateway und eine 0.0.0.0/0 auf den Internetrouter?

Danke für die gelungene Unterstüzung!!!

Gruß

Schön das es jetzt funktioniert.

Zu deiner Frage: Ich würde sagen, Nein, das macht man nicht so.

Wenn deine Sophos die Tür für das Internet und die Tür für die anderen Vlan's ist,
dann brauchst du auf den VM's und den Hosts nur das default Gateway.

Deine Sophos kennt die Wege ins Internet und in die anderen Vlans's schon.
Du musst die Wege also nicht auch noch den Hosts und VM's extra für jedes Netz angeben. Das regelt dann das default Gateway.

Liebe Grüße

Üba3ba

Wenn deine Sophos die Tür für das Internet und die Tür für die anderen Vlan's ist,
dann brauchst du auf den VM's und den Hosts nur das default Gateway.

Ja, dann wäre es klar. Die Sophos ist jedoch nur für die Netzwerksegmentierung da und nicht für den Weg ins Internet. Das macht eine andere Firewall. Wie macht man es dann?

OK. Danke für die Klarstellung.

Wenn die eine Sophos nur das Vlan Routing macht und eine andere das Gateway ins Internet ist, würde ich es so machen.

Um ins Internet zu kommen würde ich das default Gateway auf die FW stellen, die den Weg ins Internet kennt.

Um in die anderen Vlan's zu kommen, würde ich dann statische Routen einrichten.

Andersrum kannst du es auch machen.

Default Gateway für das Vlan Routing und statische Route für den Internet Zugang.

Bleibt dir überlassen wie du das machst.

Funktionieren tut beides.

Wenn beide Firewalls an L3 Interfaces eines Switch hängen, kannst du auch auf einer Firewall die Route, entwender ins Internet oder zu den anderen Vlan's einrichten. Dann brauchst du auf den Clients, Hosts und VM's nur das default GW.

Wenn beide Firewalls an L3 Interfaces eines Switch hängen, kannst du auch auf einer Firewall die Route, entwender ins Internet oder zu den anderen Vlan's einrichten. Dann brauchst du auf den Clients, Hosts und VM's nur das default GW.

Ja, das wäre meine bevorzugte Option. Leider möchte unser ISB das DMZ und Intranet über getrennte Switche laufen (komplette physikalische Trennung) und das nicht nur auf Layer 2 getrennt haben. Daher geht das so leider nicht.

Ich werde es machen wie dein Vorschlag 1, so habe ich es auch intuitiv gemacht.

DANKE!

Moin @Pagra37,

Das macht eine andere Firewall. Wie macht man es dann?

wenn du den Internetverkehr über eine andere FW händelst, dann route die entsprechenden Anfragen doch einfach über die Sophos an diese weiter, dann musst du auch an den Servern keine zusätlichen Routen händeln. 😉

Gruss Alex

gelöst Frage Firewall Router, Routing Netzwerkgrundlagen Windows Netzwerk

Mehr von Pagra37

Nach Upgrade von Win 10 22H2 auf Windows 11 Blackscreen + MauszeigerPagra37 - 14 Kommentare

Server 2022 SETswitch mit Teaming an einem VLAN TrunkPagra37 - 7 Kommentare

Heiß diskutiert