v3g4it
Goto Top

VLANs über mehrere L3-Switches oder besser Router?

Hallo!

Ich habe zwei L3-Switches, jeweils einen in einem von zwei Gebäuden. Diese sind miteinander verbunden und sollten sich wie ein einziger großer Switch (für beide Gebäude zusammen) verhalten. Ich habe gelesen, dass es "Switch Stacking" gibt, wo mehrere Switches so zusammengeschalten werden, dass sie sich wie ein einziger großer Switch verhalten. Soweit ich weiß, ist dies nur mit relativ teuren Switches von bestimmten Herstellern möglich.

Eine vereinfachte Version meiner Netzwerkkonfiguration ist im unten angefügten Netzwerkdiagramm dargestellt: Gebäude A und Gebäude B haben eigene Switches, die über mehrere Kabel verbunden sind (Link Aggregation). Es gibt VLANs (VLAN 1+2), die in beiden Gebäuden (dh. in beiden Switches) verfügbar sind. Und es gibt VLANs, die nur in einem Gebäude verwendet werden (VLAN 3+4), aber auch von allen anderen VLANs erreicht werden sollen - innerhalb des selben Gebäudes, aber auch aus dem anderen Gebäude. Zusätzlich gibt es eine Reihe von Firewall-Regeln auf den L3-Switches, um den Datenverkehr zwischen den verschiedenen VLANs zu filtern.

Es gibt nun zwei Ziele:

  • Netzwerkpakete sollten die schnellste Verbindung zum Ziel verwenden: Ein Netzwerkpaket von einem Gerät in VLAN 1 in Gebäude B zu einem anderen Gerät in VLAN 1 in Gebäude B sollte nicht über L3-Switch A geroutet werden. Deshalb hat L3-Switch B eine andere IP . Herausforderung: Der DHCP-Server für VLAN 1 muss wissen, ob sich ein Gerät in Gebäude A oder Gebäude B befindet, um das entsprechende Standard-Gateway (10.1.1.1 oder 10.1.1.2) zuzuweisen. In meinem tatsächlichen Setup verhält sich Switch B derzeit wie ein L2-Switch, was bedeutet, dass alles zu Switch A geroutet wird, was die Bandbreite einschränkt (Link Aggregation zwischen Gebäuden vs. Switch-Backplane).
  • Keine manuelle Replikation der Switch-Konfiguration (insbesondere Firewall-Regeln zur Steuerung des Datenverkehrs zwischen VLANs). Zwischen den VLANs gibt es mehr oder weniger komplexe Firewall-Regeln. Es wäre also ein ziemlich großer Aufwand, sie in beiden Switches zu pflegen - vor allem, wenn ein anderes Default-Gateway (Switch B) ins Spiel kommt.

Soweit ich weiß, gibt es 3 Lösungsansätze. Bitte korrigiert mich, wenn ich falsch liege:

  1. "Stackable Switches" = mehrere Switches, die so konfiguriert werden können, dass sie sich wie ein einzelner großer Switch verhalten. Dies wäre die bequemste und leistungsfähigste Option. Es ist nur für teure Schalter bestimmter Hersteller verfügbar.
  2. Routing über expliziten Router, der die gesamte Kommunikation zwischen den VLANs bewerkstelligt. Vorteil: Nur eine Firewall-Konfiguration (Filterregeln zwischen VLANs). Nachteil: Engpass ist der Link vom Switch (bzw. von den Switches) zum Router und natürlich die Routing-Performance des Routers selbst. Die Routing-Performance des L3-Switch über Backplane wäre wohl höher.
  3. Routing auf Switch-Ebene (wie im nachstehenden Diagramm dargestellt). Vorteil: Höchste Performance durch Switch-Backplanes, auch in Routing-Szenarien, Flaschenhals nur bei Verbindungen zwischen Switches. Nachteil: aufwendige Einrichtung, da Firewall-Regeln manuell dupliziert und ggf. an Gebäude/Switch angepasst werden müssen. Der DHCP-Server muss wissen, in welchem ​​Gebäude der Netzwerk-Client ist um das richtige Standard-Gateway (Switch A vs. Switch B) zuzuweisen.

Welchen der drei Ansätze würdet ihr aus einer praktischen bzw. pragmatischen Sichtweise wählen? Oder gibt es noch weitere Möglichkeiten, die ich bisher übersehen habe?

bildschirmfoto 2022-08-03 um 20.51.27

Content-Key: 3536524890

Url: https://administrator.de/contentid/3536524890

Printed on: April 24, 2024 at 15:04 o'clock

Member: lcer00
lcer00 Aug 03, 2022 at 21:05:13 (UTC)
Goto Top
Hallo,

Du solltest bedenken, dass im Switch eigentlich nur ACLs definiert werden und keine wirklichen Firewallregeln. Die ACLs sind eigentlich eher “Verdratungsregeln”, eine moderne Firewall filtert z.B. stateful und berücksichtigt komplexe Regelwerke. Daher: Alles Sicherheitsrelevante durch eine Firewall, der Rest kann über den Switch geroutet werden.

Oder Variante 4: Zero Trust: Du verlagerst die Sicherheitssperre komplett auf die Endpoints. Verbindungen sind Verschlüsselt und nur erlaubt, wenn der Endpunkt bzw. Server sich vergewissert hat, dass Benutzer! A von ClientPC! 1 aus auf Dienst Y zugreifen darfst - nicht ohne zuvor Benutzer A und ClientPC 1 authentifiziert zu haben. Dann kamst Die Switche Lustig Routen lassen. Sicherheitsrelevant wären sie kaum noch. Allerdings setzt diese Variante eine passende Sicherheitssoftware voraus, sowie passend programmierte Anwendungssoftware.

Grüße

lcer
Member: v3g4it
v3g4it Aug 03, 2022 at 21:22:15 (UTC)
Goto Top
Zitat von @lcer00:
Du solltest bedenken, dass im Switch eigentlich nur ACLs definiert werden und keine wirklichen Firewallregeln. Die ACLs sind eigentlich eher “Verdratungsregeln”, eine moderne Firewall filtert z.B. stateful und berücksichtigt komplexe Regelwerke. Daher: Alles Sicherheitsrelevante durch eine Firewall, der Rest kann über den Switch geroutet werden.

Du hast recht. Switches bieten nur simple Filtermöglichkeiten. Die wären aber für unsere Zwecke wsl. ausreichend (auch wenn manches mit einer richtigen Stateful-Firewall einfacher zu lösen wäre).

Oder Variante 4: Zero Trust: Du verlagerst die Sicherheitssperre komplett auf die Endpoints. Verbindungen sind Verschlüsselt und nur erlaubt, wenn der Endpunkt bzw. Server sich vergewissert hat, dass Benutzer! A von ClientPC! 1 aus auf Dienst Y zugreifen darfst - nicht ohne zuvor Benutzer A und ClientPC 1 authentifiziert zu haben. Dann kamst Die Switche Lustig Routen lassen. Sicherheitsrelevant wären sie kaum noch. Allerdings setzt diese Variante eine passende Sicherheitssoftware voraus, sowie passend programmierte Anwendungssoftware.

Interessante Idee, aber das scheidet bei uns wohl aus. In der Praxis haben wir noch mehr VLANs als im Beispiel und etliche Geräte, die sich nur schwer gut absichern bzw. in so eine Infrastruktur einbinden lassen (SIP-Telefone, Videokameras, IoT-Geräte etc.)
Member: TwistedAir
TwistedAir Aug 03, 2022 at 21:48:00 (UTC)
Goto Top
Hallo,

deine Beschreibung ist in manchen Dingen etwas unpräzise: "routing findet zwischen verschiedenen Netzen auf IP-Ebene (OSI-Layer 3) statt. Alles, was im selben (V)LAN passiert findet auf MAC-Ebene (Layer2) statt.
Daher kann der Verkehr vom VLAN1 in Gebäude A nicht nach VLAN1 in Gebäude B "geroutet" werden - er fließt auf Layer2 zwischen den Gebäuden hin und her. Kein Router oder Firewall kann an der Stelle regulieren. Daher wird unabhängig welchen Router oder Firewall irgendwo im Netzwerk eingesetzt wird mindestens Broadcast-Traffic zwischen den Gebäuden ausgetauscht.

Du solltest daher folgendes überarbeiten, damit deine Intension besser verstanden werden kann:
Ein Netzwerkpaket von einem Gerät in VLAN 1 in Gebäude B zu einem anderen Gerät in VLAN 1 in Gebäude B sollte nicht über L3-Switch A geroutet werden.
[...]
In meinem tatsächlichen Setup verhält sich Switch B derzeit wie ein L2-Switch, was bedeutet, dass alles zu Switch A geroutet wird, was die Bandbreite einschränkt (Link Aggregation zwischen Gebäuden vs. Switch-Backplane).

Wenn dir daran liegt, die Bandbreite zwischen den Gebäuden von unnützen Traffic zu schützen, kannst du im jeweiligen Gebäuden eigene Netze definieren: Gebäude A mit VLANs 1,2,3 und Gebäude B mit VLANs 4,5,6 - und dann entsprechende Routen definieren. Wenn VLAN1 mit VLAN4 korrespondiert (und 2 mit 5, 3 mit 6), dann kannst du zwischen diesen Pärchen eine direkte Route definieren - entweder an der Firewall vorbei oder auf der Firewall mit einer Any/Any-Regel.

Zum Stacking: da sind wir erstmal wieder auf Layer2, d.h. du hast auch wieder Broadcast zwischen den Gebäuden.
Was deinem Szenario, dass am jeweiligen Standort geroutet wird, aber nur einmal die Firewall-Regeln gepflegt werden, näher kommt, wäre auch ein "distributed router"-Aufbau. Das halte ich aber bei dem übersichtlichem Netz für überdimensioniert und vermutlich auch zu kostspielig.

Frage nebenbei: wie sind die beiden Gebäude verbunden? Kupfer/LWL-Kabel, Geschwindigkeit? Solange das LAG ein vielfaches der Performance einer Verbindung vom Switch zu den Subnetzen innerhalb eines Gebäudes hat, würde ich mir eh keine Sorgen machen...

Grüße
TA
Mitglied: 2423392070
2423392070 Aug 04, 2022 at 05:20:48 (UTC)
Goto Top
Es gibt mehr Modis.
Wie heißen die Geräte?
Mitglied: 148523
148523 Aug 04, 2022 updated at 08:53:04 (UTC)
Goto Top
Die Core Switches koppelt man entweder per MLAG mit VRRP oder Full Stack so das sie zentral als ein virtueller L3 Switch routen.
Die MLAG und L3 Switch Tutorials hier erklären dir wie es geht.
Mitglied: 108012
108012 Aug 04, 2022 at 10:04:03 (UTC)
Goto Top
Hallo,

Ich habe zwei L3-Switches, jeweils einen in einem von zwei Gebäuden. Diese sind miteinander verbunden und
sollten sich wie ein einziger großer Switch (für beide Gebäude zusammen) verhalten.
Man unterscheidet zwischen mehreren Sorten (Arten) von Stapeln
- Im Rack als Ring (geschlossen) oder "open" also nicht als Ring
- Im Rack oder über mehrere Racks mittels SFP(+) Ports ("poor mans" Methode)
- Über mehrere Racks als Spind & Leaf Konzept

Ich habe gelesen, dass es "Switch Stacking" gibt, wo mehrere Switches so zusammengeschalten werden, dass
sie sich wie ein einziger großer Switch verhalten.
- Mittels Stackingmodulen (teuer aber schnell)
- Mittels SFP(+) Optiken (günstig und auch im unteren Segment zu haben)
- Spine & Leaf (Alle Switche sind L3 und daher etwas teurer aber schnell und Ortsunabhängig)

Soweit ich weiß, ist dies nur mit relativ teuren Switches von bestimmten Herstellern möglich.
Nicht unbedingt und was heißt denn nun teuer? Ist das schon der 200 € Switch oder erst der 30.000 € Switch!?

Eine vereinfachte Version meiner Netzwerkkonfiguration ist im unten angefügten Netzwerkdiagramm dargestellt:
Welche Layer hast Du denn auf beiden Seiten?
- Core, Distributed und Access
- Core & Access

Es gibt nun zwei Ziele:
In der Regel wenn man weiß was man vor Ort schon hat, kann man auch unterschiedlich aufsetzten bzw.
konfigurieren. VLAN1 ist das default VLAN bei vielen Herstellern und sollte möglichst nicht oder nur als Admin
VLAN benutzt werden. Und auf einer Seite (A) hast Du dann die VLANs ungerade (11,13,15,17....) und auf Seite
B Hast Du dann die geraden VLANs im Einsatz (10,12,16,18...) so gibt es erst gar keine doppelten.

Soweit ich weiß, gibt es 3 Lösungsansätze. Bitte korrigiert mich, wenn ich falsch liege:
- Core, Distributed und Access Layer dann verbindet man die beiden Core Switche mit einander
- Core und Access Layer, dann verbindet man auch wieder die beiden Cores miteinander

Will ein "großes" bauen und damit eine Vereinfachung der Verwaltung erreichen kann man auch mittels
diverser Routingprotokolle die Sachen angehen. OSPF und/oder VRRP

"Stackable Switches" = mehrere Switches, die so konfiguriert werden können, dass sie sich wie ein einzelner
großer Switch verhalten. Dies wäre die bequemste und leistungsfähigste Option.
5 Switche im Stack (Ring) und die an einen oder zwei (redundant) ToR und die an einen oder mehrere Core
Switche anbinden und die Cores dann mittels einem Routing Protokoll verbinden.

Es ist nur für teure Schalter bestimmter Hersteller verfügbar.
Wichtig ist es die Switche und deren Leistung bzw. die Protokolle auf einander abzustimmen.

Der DHCP-Server muss wissen, in welchem ​​Gebäude der Netzwerk-Client ist um das richtige Standard-
Gateway (Switch A vs. Switch B) zuzuweisen.
DHCP Relay ist Dein Freund.

Welchen der drei Ansätze würdet ihr aus einer praktischen bzw. pragmatischen Sichtweise wählen?
Netgear M5300 (Access), M7100 (ToR) und M7300 als Core auf beiden Seiten Stack im Ring und dann
OSPF aktivieren. (Als Beispiel)

Oder gibt es noch weitere Möglichkeiten, die ich bisher übersehen habe?
Netgear M4300 Spine & Leaf Konzept

Dobby
Member: v3g4it
v3g4it Aug 04, 2022 at 10:24:14 (UTC)
Goto Top
Zitat von @TwistedAir:
deine Beschreibung ist in manchen Dingen etwas unpräzise: "routing findet zwischen verschiedenen Netzen auf IP-Ebene (OSI-Layer 3) statt. Alles, was im selben (V)LAN passiert findet auf MAC-Ebene (Layer2) statt.
Daher kann der Verkehr vom VLAN1 in Gebäude A nicht nach VLAN1 in Gebäude B "geroutet" werden - er fließt auf Layer2 zwischen den Gebäuden hin und her. Kein Router oder Firewall kann an der Stelle regulieren. Daher wird unabhängig welchen Router oder Firewall irgendwo im Netzwerk eingesetzt wird mindestens Broadcast-Traffic zwischen den Gebäuden ausgetauscht.

Ja, stimmt. Im VLAN1 wird nicht geroutet - das war ein schlechtes Beispiel. Besseres Beispiel wäre: VLAN1<->VLAN4. Hier sollte nicht über L3-Switch A geroutet werden, zumindest im Optimalfall.

Wenn dir daran liegt, die Bandbreite zwischen den Gebäuden von unnützen Traffic zu schützen, kannst du im jeweiligen Gebäuden eigene Netze definieren: Gebäude A mit VLANs 1,2,3 und Gebäude B mit VLANs 4,5,6 - und dann entsprechende Routen definieren. Wenn VLAN1 mit VLAN4 korrespondiert (und 2 mit 5, 3 mit 6), dann kannst du zwischen diesen Pärchen eine direkte Route definieren - entweder an der Firewall vorbei oder auf der Firewall mit einer Any/Any-Regel.

Klingt interessant, werde ich mal überlegen. Danke.

Zum Stacking: da sind wir erstmal wieder auf Layer2, d.h. du hast auch wieder Broadcast zwischen den Gebäuden.
Was deinem Szenario, dass am jeweiligen Standort geroutet wird, aber nur einmal die Firewall-Regeln gepflegt werden, näher kommt, wäre auch ein "distributed router"-Aufbau. Das halte ich aber bei dem übersichtlichem Netz für überdimensioniert und vermutlich auch zu kostspielig.

Das denke ich auch. In so einem Fall vielleicht doch eher dann einen Router nehmen und die LAG-Verbindung als auch die Verbindung zum Router entsprechend groß dimensionieren.

Frage nebenbei: wie sind die beiden Gebäude verbunden? Kupfer/LWL-Kabel, Geschwindigkeit? Solange das LAG ein vielfaches der Performance einer Verbindung vom Switch zu den Subnetzen innerhalb eines Gebäudes hat, würde ich mir eh keine Sorgen machen...

Ja, das ist auch eine Überlegung. Nicht die maximale Performance herausholen, wenn es in der Praxis ohnehin reicht, aber das Setup vereinfacht (z.B. einen Router mit etwas "unnötigem" Datenaustausch zwischen den Gebäuden im Fall von Inter-VLAN-Routing).

Die Gebäude sind über 4 x TP Cat. 7 verbunden. Derzeit hat die LAG 4 GBit/s, aber ev. könnte man auch die Verbindung 1 x 10 GBit/s machen (genauso wie Anbindung zu einem Router).
Member: v3g4it
v3g4it Aug 04, 2022 at 10:26:11 (UTC)
Goto Top
Zitat von @2423392070:

Es gibt mehr Modis.
Wie heißen die Geräte?

Es sind 2 x Ubiquiti EdgeSwitch 24 mit POE+
Member: v3g4it
v3g4it Aug 04, 2022 at 10:31:47 (UTC)
Goto Top
Zitat von @108012:
sollten sich wie ein einziger großer Switch (für beide Gebäude zusammen) verhalten.
Man unterscheidet zwischen mehreren Sorten (Arten) von Stapeln
- Im Rack als Ring (geschlossen) oder "open" also nicht als Ring
- Im Rack oder über mehrere Racks mittels SFP(+) Ports ("poor mans" Methode)
- Über mehrere Racks als Spind & Leaf Konzept

Auf Anhieb würde ich sagen, dass eine Verbindung zwischen den Switches über SFP+ für uns völlig ausreichend ist.

Soweit ich weiß, ist dies nur mit relativ teuren Switches von bestimmten Herstellern möglich.
Nicht unbedingt und was heißt denn nun teuer? Ist das schon der 200 € Switch oder erst der 30.000 € Switch!?

Teuer in unserem Fall: ab 800-1000 EUR pro Switch. Günstig: 100-400 EUR.

Eine vereinfachte Version meiner Netzwerkkonfiguration ist im unten angefügten Netzwerkdiagramm dargestellt:
Welche Layer hast Du denn auf beiden Seiten?
- Core, Distributed und Access
- Core & Access

Das ist sozusagen der Access Layer. Hier sind direkt die Clients angeschlossen. Unser Setup ist nicht sehr komplex. In der Realität haben wir nur mehr VLANs als dargestellt (und einen Internet-Uplink / Router).

Will ein "großes" bauen und damit eine Vereinfachung der Verwaltung erreichen kann man auch mittels
diverser Routingprotokolle die Sachen angehen. OSPF und/oder VRRP

Das klingt nach Komplexität, die ich eher reduzieren will. Unser Szenario ist auch quasi Access Layer.

Welchen der drei Ansätze würdet ihr aus einer praktischen bzw. pragmatischen Sichtweise wählen?
Netgear M5300 (Access), M7100 (ToR) und M7300 als Core auf beiden Seiten Stack im Ring und dann
OSPF aktivieren. (Als Beispiel)

Oder gibt es noch weitere Möglichkeiten, die ich bisher übersehen habe?
Netgear M4300 Spine & Leaf Konzept

Denke, das ist eine Liga zu groß für uns. Aber danke für die Vorschläge!
Mitglied: 108012
108012 Aug 04, 2022 at 12:09:48 (UTC)
Goto Top
Ja, das ist auch eine Überlegung. Nicht die maximale Performance herausholen, wenn es in der Praxis ohnehin
reicht, aber das Setup vereinfacht (z.B. einen Router mit etwas "unnötigem" Datenaustausch zwischen den
Gebäuden im Fall von Inter-VLAN-Routing).
Seite A - 192.xx.xx
Seite B - 172.xx.xx
DHCP Server von Seite A wird bei Seite B als DHCP Relay hinterlegt.

Die Gebäude sind über 4 x TP Cat. 7 verbunden. Derzeit hat die LAG 4 GBit/s, aber ev. könnte man auch
die Verbindung 1 x 10 GBit/s machen (genauso wie Anbindung zu einem Router).
4 x 1 GBit/s oder 2 - 4 x 10 GBit/s ist völlig egal, aber auf jeden Fall Glasfaser! Wegen des Potentialausgleichs
und der Brandgefahr, die dadurch entstehen kann.

Auf Anhieb würde ich sagen, dass eine Verbindung zwischen den Switches über SFP+ für uns völlig ausreichend ist.
mindestens 2 x 10 GBit/s denn wenn ein Kabel defekt ist hat man noch das zweite.

Teuer in unserem Fall: ab 800-1000 EUR pro Switch. Günstig: 100-400 EUR.
Alles klar waren auch nur Beispiele wie schon weiter oben dazu geschrieben, UBNT hat auch
einen Aggegration Switch für um die ~1.300 € mit im Programm, also der kann dann als "Verbinder" oder
Router zwischen den Netzen fungieren.

Das ist sozusagen der Access Layer. Hier sind direkt die Clients angeschlossen. Unser Setup ist nicht sehr komplex.
In der Realität haben wir nur mehr VLANs als dargestellt (und einen Internet-Uplink / Router).
Access Layer und Core würde ich dann versuchen wollen UBNT Aggreagation Switch als Core.

Das klingt nach Komplexität, die ich eher reduzieren will. Unser Szenario ist auch quasi Access Layer.
Du hast aber geschrieben den einfachsten Weg von A nach B und auch auf einer Seite selber noch einmal
den kürzesten Weg, also das wäre deann OSPF! Wenn alles auf Layer3 und wenn auch nur mittels einem
Core Switch wäre das dann genau das was DU angefragt hast.

Denke, das ist eine Liga zu groß für uns. Aber danke für die Vorschläge!
1 oder 2 Stück als Core - Ubiquiti UniFi Switch Pro Aggregation - USW-Pro-Aggregation
Mehrere Ubiquiti Unifi Switch 48 Managed Gigabit Switch mit SFP+ (US-48)

Es sind 2 x Ubiquiti EdgeSwitch 24 mit POE+
Alternativ:
Ubiquiti Networks UniFi Dream Machine Pro All-in-One Gateway, UDM-Pro als Router

Dobby