Frage an Proxmox Profis für VLAN

freedy
Goto Top
Hallo zusammnen,

nach vielen Klimmzügen und mit einer grossen Unterstüzung durch aqui ( mit vielen Nachhilfestunden!) haben wir folgendes Senario aufgebaut.

Der Start meines kleines HomeLab könnt Ihr hier sehen:
https://administrator.de/forum/save-homelab-mit-fritzbox-proxmox-pfsense ...

Die folgende Skizze ist auch von lieben aqui angefertigt:

prox-next

Damit ihr nicht zuviel lesen müsst, deshalb einige Bilder die mehr sagen als 1000 Worte ;-) face-wink

Das erste Bild oben ist wie folgt zu verstehen:

- Im Bild VLAN1 -gelb- ist mein VLAN 100 in meiner Konfig( Netgear Switch,pfSense) für das LAN Heim
- Im Bild VLAN10 -grün- ist mein VLAN 200 in meiner Konfig( Netgear Switch,pfSense) für das /30 Netz öffentliche IP
- Im Bild VLAN20 -blau- ist mein VLAN 300 in meiner Konfig( Netgear Switch,pfSense) für meine Nextcloud VM , die über die öffentliche IP erreicht werden soll!

Meine Konfig vom Netgear GS308T Switch:
netgear_vlan1

Meine pfSense Konfig:
pfsense2

Meine proxmox Konfig:
proxmox2

Ohne die VLAN Konfigurationen , habe ich meine Nextcloud aus dem Internet erreichen können!
Ich habe mit meinen ersten gehversuchen in proxmox das VLAN nicht hinbekommen.
Kein VLAN und NC sind mehr erreichbar.
Daher bitte ich Euch um Eure Untestützung in proxmox, wie ich es am besten umsetzen kann.

Vielen Dank schon mal...
Und tausend Dank an aqui, das er mich bis hierher an die Hand genommen hat!

Wenn noch Infos fehlen, bitte nachfragen ;-) face-wink

Freddy

Content-Key: 2892348387

Url: https://administrator.de/contentid/2892348387

Ausgedruckt am: 27.06.2022 um 19:06 Uhr

Mitglied: freedy
freedy 25.05.2022 um 15:32:50 Uhr
Goto Top
Ich habe im Vorfeld auch schon viel im Netz gelesen , es aber leider nicht verstanden :-( face-sad

https://pve.proxmox.com/pve-docs/chapter-sysadmin.html#_vlan_802_1q
Mitglied: Reini82
Reini82 26.05.2022 aktualisiert um 16:03:22 Uhr
Goto Top
Hi

Generell gilt bei Proxmox VLAN aware muss auf der Bridge aktiv sein. Dann gibt es zwei Möglichkeiten:
1. Deine VM arbeitet mit den Vlans wie du es in deinem Setup offenbar gemacht hast
2. Das VLAN wird in der Virtuellen Netzwerkkarte eingetragen und der vm dann mehrere Netzwerkkarten hinzugefügt.

Was schon einmal auffällt ist das setup des switches. Du gibst als pvid 1 an port 8 an. Das bedeutet jeder Traffic ohne einen Tag landet im VLAN 1. Da du aber untagged 100 eingetragen muss die PVID auch auf 100.

Was jetzt auch nicht erkennbar ist ist die 2. Bridge mit dem 2. Interface? Geht das auf den Switch oder wohin? Laut der Zeichnung ist nur 1 Interface des Proxmox Servers am Switch.
Die Pfsense hat 2 Interfaces auf beide Bridges von Proxmox und auch auf beiden Interfaces ist ein VLAN drauf. Entweder stimmt deine Zuordnung nicht oder es muss auf vmbr1 noch das VLAN aware aktiviert werden.

Im Setup der pfsense ist auch die Firewall aktiviert. Wenn diese auf der VM, dem Hostserver und im Datacenter aktiviert ist, musst du auch dementsprechend Regeln auf allen Ebenenen erstellen

https://pve.proxmox.com/wiki/Firewall



Generell solltest du auch als Treiber die VirtIO fürs Netzwerk verwenden.

Gruß
Mitglied: freedy
freedy 26.05.2022 um 19:35:37 Uhr
Goto Top
Hallo Reini82,

vielen Dank für deine Anmerkungen bzw. Hilfestellungen!
Ich werde mal deinen vorgeschlagen Setup durchgehen und mich dann gerne zurückmelden.

Viele Grüße
Freddy
Mitglied: freedy
freedy 26.05.2022 um 22:12:36 Uhr
Goto Top
Hi Reini82,

Was schon einmal auffällt ist das setup des switches. Du gibst als pvid 1 an port 8 an. Das bedeutet jeder Traffic ohne einen Tag landet im VLAN 1. Da du aber untagged 100 eingetragen muss die PVID auch auf 100.

Habe ich auf PVID 100 on Port8 geändert und fliege jetzt aus proxmox GUI nicht mehr raus... ;-) face-wink Danke !

Generell gilt bei Proxmox VLAN aware muss auf der Bridge aktiv sein. Dann gibt es zwei Möglichkeiten:
1. Deine VM arbeitet mit den Vlans wie du es in deinem Setup offenbar gemacht hast
2. Das VLAN wird in der Virtuellen Netzwerkkarte eingetragen und der vm dann mehrere Netzwerkkarten hinzugefügt.

Welche Möglichkeit ist der einfachste Weg für einen Anfänger? Sollte aber auch der sicherste sein... ;-) face-wink

Was jetzt auch nicht erkennbar ist ist die 2. Bridge mit dem 2. Interface? Geht das auf den Switch oder wohin? Laut der Zeichnung ist nur 1 Interface des Proxmox Servers am Switch.
Die Pfsense hat 2 Interfaces auf beide Bridges von Proxmox und auch auf beiden Interfaces ist ein VLAN drauf. Entweder stimmt deine Zuordnung nicht oder es muss auf vmbr1 noch das VLAN aware aktiviert werden.

Wenn ich dich richtig verstehe geht meine vmbr1 zu meiner pfSense:
vmbr1

vmbr0

Ich habe die Treiber VirtIO fürs Netzwerk eingestellt, aber daurch waren alle meine VLANS in pfSense weg.
Habe sie wieder neu angelegt.

proxmox1

pfsense1
Mitglied: freedy
freedy 27.05.2022 um 10:45:52 Uhr
Goto Top
Ich habe erstmal geschaft, dass meine Nextcloud VM eine IP vom VLAN 300 erhalten hat.
Die NC nd meine pfSense haben aber noch keine Internetanbindung.

Habs mit den folgenden VLAN Einstellungen in der pfSense VM unter Proxmox versucht, führte aber auch nicht zum Erfolg:

vmbr0-200

vmbr1-300
Mitglied: Reini82
Reini82 29.05.2022 um 03:59:40 Uhr
Goto Top
Hi,

Im Grunde ist es egal wie du es machst du musst nur sicher sein, dass deine Zuordnung der Interfaces in der pfSense dann richtig ist zu den in Proxmox konfigurierten.

Ich verstehe es gerade so:

Proxmox Bridge vmbr0 ist dein Gateway für die pfSense. Dies soll ins VLAN 200 richtig?
Jetzt kommt es darauf an, wie das Interface physikalisch verbunden ist. Hängt dieses am Netgear oder direkt an der Fritzbox? Bei ersterem muss dann der Port auf Untagged 200 stehen und sonst in keinem VLAN bzw. wenn es nicht das 200 ist das dementsprechende.

Was verwirrt ist das dein em0, welches mit vmbr0 verbunden ist noch als optionales Interface in der pfSense auf vlan 200 eingetragen ist? Eine kurze Beschreibung wäre hier hilfreich welches vlan was macht und welches Interface von Proxmox wo angeschlossen ist.

Gruß
Mitglied: freedy
freedy 29.05.2022 um 17:01:01 Uhr
Goto Top
Hallo Reini82,
wau 03:59 eine Antwort von Dir.

Proxmox Bridge vmbr0 ist dein Gateway für die pfSense. Dies soll ins VLAN 200 richtig?
JA!


unbenanntes notizbuch-2
Das Bild beschreibt wie folgt:

Meine Proxmox Bridge vmbr0 ist ja die WAN von meiner Zbox, diese hängt an dem Netgear Switch Port 8.
Connect mit VLAN200 (T) zu Port 4 (switch) und von da aus auf die Fritze Port 4 ( mit Portfreigabe für public IP .xx8)

Bei ersterem muss dann der Port auf Untagged 200 stehen und sonst in keinem VLAN
Auch nach meinem aktuellen Setup wie auf dem Bild zu sehen ist?


Was verwirrt ist das dein em0, welches mit vmbr0 verbunden ist noch als optionales Interface in der pfSense auf vlan 200 eingetragen ist?

Mit em0 sehe ich als mein WAN in der pfsense? Verstehe ich das Falsch?
Im Proxmox hatte ich das optionales Interface auf VLAN 200 eingetragen als TEST (wegen kein Internet).
Ist wieder ohne VLAN Eintrag ( vmbr0 und vmbr1)
Ich habe die Bilder in meinem Beitrag aktualisiert, wie es zurzeit ist! Bitte nochmal anschauen und ich entschuldige
mich für das Durcheinander ;-) face-wink

Der Laptop am Zbox LAN dient für die Konfig der pfSense, weil er nur dort drüber zu erreichen ist.

Danke & Gruß
Freddy
Mitglied: Reini82
Reini82 30.05.2022 um 08:33:53 Uhr
Goto Top
Moin,

wau 03:59 eine Antwort von Dir.

wenn man nicht schlafen kann muss man sich beschäftigen :) face-smile

Super mit der Zeichnung jetzt check auch ich das. Dann stimmt dein WAN Interface in der pfSense nicht.
Dein Port 8 ist eingestellt auf PVID 100, Untagged 100 Tagged 200, 300.
Wenn jetzt Traffic ins VLAN 200 soll so muss dieser getagged werden! Deine pfSense macht dies aber mit den aktuellen WAN-Einstellungen nicht. Diese sendet den Traffic untagged ins VLAN 100. Dein optionales Interface "em0.200" dagegen tagged den Traffic für das VLAN 200.

https://administrator.de/tutorial/vlan-installation-und-routing-mit-pfse ...


Ich würde der der VM ein neues Interface hinzufügen mit VLAN 200. Dieses dann in der pfSense als WAN-Interface anlegen und dann sollte die Fritte erreichbar sein. Dann kannst den Traffic auch gezielt in Proxmox deaktivieren. Alternativ kannst du auch dein optionales Interface "em0.200" verwenden.

Gruß
Mitglied: aqui
aqui 30.05.2022 aktualisiert um 12:53:11 Uhr
Goto Top
Ein wichtiger Schritt ist strategisch vorzugehen und generell zuerst einmal die /30er Internet Verbindung zu testen um hier Gewissheit zu haben das das ganze Konstrukt damit funktioniert.

Es wäre also sehr sinnvoll im ersten Schritt erst einmal ein entsprechendes Endgerät direkt am FB Port 4 anzuschliessen und über Ping, Traceroute, nslookup usw. sicherzustellen das eine wasserdichte Internet Connectivity da ist.
Im 2ten Schritt klemmt man den FB Port 4 dann auf den NetGear ins VLAN 200, richtet sich hier außer dem Trunk Port 8 noch einen Test Access Port im VLAN 200 ein und testet mit dem o.a. Endgerät wieder die Internet Connectivity. Wenn dann am Trunk Port 8 das VLAN 200 Tagged anliegt kann man zu 99% davon ausgegehen das dort auch das funktionierende /30er Netz dranhängt.

Da man dann sicher weiss das das /30er Netz im VLAN 200 an vmbr0 anliegt startet man dann die Firewall und legt den WAN Port mit der o.a. /30 IP Adresse Tagged ins VLAN 200.

Wie Kollege @Reini82 oben schon richtig sagt muss sichergestellt sein das der WAN Port der Firewall Tagged im VLAN 200 liegt, da ja auch der NetGear Port 8 Tagged im 200er ist.
Stimmt hier etwas mit dem Tagging nicht scheitert die Verbindung.
Hier zahlt sich jetzt der oben erwähnte UNtagged VLAN 200 Testport im NetGear Switch aus!
Mit diesem Port kann man das ganze Konstrukt jetzt auch in Richtung Proxmox und Firewall VM testen.
Dazu setzt man die WAN Port FW Regel temporär im Setup außer Kraft so das der WAN Port von außen pingbar ist!
Die FritzBox zieht man ab und gibt ihre IP dem Testrechner am VLAN 200 Testport.
Der muss nun in der Lage sein den FW WAN Port zu pingen wenn das VLAN 200 Tagging usw. sauber konfiguriert wurde.
Damit kann man dann auch absolut sicherstellen das die VLAN 200 Connectivity vom Switch in Richtung Proxmox und Firewall VM sauber klappt.

Über das Diagnostics Menü der Firewall macht man dann analog wie oben mit dem Endgeräte genau die gleichen Connectivity Tests mit Ping, Traceroute, nslookup, Paket Capture usw. ins Internet um dann sicherzustellen das das VLAN 200er Netz dann auch sicher am WAN Port der Firewall anliegt.

Erst wenn diese Tests sauber durchgelaufen sind am WAN Port, kann man ja sicher sagen das der Firewall WAN Port eine wasserdichte Internet Connectivity hat bzw. sauber auch am NetGear Switch rauskommt.
Bis hierher muss man also zwingend kommen. Bevor das nicht sichergestellt ist muss man mit dem ganzen Rest gar nicht erst weitermachen.
Das ganze Konzept steht und fällt mit dieser Connectivity des /30er VLAN 200 Netzes! Also gilt es auch diese wasserdicht über den Switch vorab zu testen.
Ganz einfache Logik...! ;-) face-wink
Mitglied: Reini82
Reini82 30.05.2022 um 14:18:53 Uhr
Goto Top
Moin moin,

Es wäre also sehr sinnvoll im ersten Schritt erst einmal ein entsprechendes Endgerät direkt am FB Port 4

oder den freien Port von Proxmox wo jetzt vmbr1 dran hängt direkt an die Fritte. Dann wäre auch der Internetverkehr nicht mehr auf dem Switch und läuft sauber über Proxmox.
Mitglied: aqui
aqui 30.05.2022 um 16:32:56 Uhr
Goto Top
Oder so... 😉
Letztlich ist es IP technisch egal was da hängt. Das kann auch eine Linux oder andere VM mit einer IP 1.1.1.1 /24 sein die ins VLAN 200 getagged wird.
Am Switchtestport im VLAN 200 hat man dann einen Test PC 1.1.1.2 /24

Beide müssen sich gegenseitig pingen können um die bidirektionale Verbindung über Switch und Proxmox Hypervisor wasserdicht zu verifizieren.
Rennt das muss man nur die Endgeräte und ihre IPs umstellen und gut iss...
Mitglied: freedy
freedy 30.05.2022 um 17:32:43 Uhr
Goto Top
Einen herzlichen Dank an die beiden Herren für ihre wertvollen Tipps bzw. Fahrplan!
Ich werde es heute Abend erst testen können und melde mich dann zurück ;-) face-wink
LG Freddy
Mitglied: freedy
freedy 03.06.2022 um 19:32:09 Uhr
Goto Top
Hallo ,

nach vielen testen in den Abendstunden, hier ein kurzes update wo ich hänge bzw. mich wohl verzettelt habe :-( face-sad

- Am Test Port (Netgear) hängt ein Laptop der eine IP aus dem VLAN20 per DHCP4 erhalten hat ( 10.11.20.11 /24)

- Für die pfSense habe ich in Proxmox eine neue Interface vmbr0 mit VLAN Tag 200 angelegt und in der pfSense
dem WAN Port diese zugewiesen laut Reini82:
Ich würde der der VM ein neues Interface hinzufügen mit VLAN 200. Dieses dann in der pfSense als WAN-Interface anlegen und dann sollte die Fritte erreichbar sein.

Dann kannst den Traffic auch gezielt in Proxmox deaktivieren.
Wie meinst du das genau?


- Habe in der pfSense für die VLAN´s DHCP am Laufen!
- Und die pfSense hat sich via DHCP4 eine VLAN200-IP erhalten ( 10.11.20.12/24)
- Vom Laptop (am Testport auf dem Switch im VLAN200) ein ping raus in die WWW : 1.1.1.1 DNS Server geht nicht!
- Etwas happy/ Erfolgserlebnis um Mitternacht :-) face-smile das die pfSense raus in die Welt pingen kann ( ping DNS Server 1.1.1.1) und habe sogleich auch die pfSense upgegradet.
Aktuell geht es nicht mehr, habe wohl zu viel rumgespielt ;-) face-wink
- Was auch noch nicht geht:
An den einzelnen Ports am Switch (VLAN100 /200) , erhalte ich auch keine IPs aus dem VLAN100 & 300

Hier ein Überblick von meinem Setup:

pfSense Dashboard
pfsense dashboard

Interfaces_pfSense
interfaces_pfsense

pfSense_Network
pfsense_network

pfSense_WAN-LAN
pfsense_wan-lan


Hier sind die FW Rules die ich zum Testen erstmal angelegt habe:

Rules_WAN
rules_wan

Rules_LAN
rules_lan

Rules_VLAN200
rules_vlan200

So ich habe jetzt schonmal meine Winterdecke rausgeholt, damit ich ein dickes Fell bekomme, für Eure Kritik ;-) face-wink
(Bei so viel Murks von mir!!!)

Könnt Ihr bitte, genau sagen, wo ich genau was einstellen muss?
homelab
Sonst wird es wohl nix mit mir werden :-) face-smile

z.B An Fritte Port 1........
an pfSense vmbr0 / vmbr1
an Zbox WAN / LAN
/30 IP : Welche IP genau ?
A.) xx.xx.xx.xx7 Gateway
B.) xx.xx.xx.xx8 Freie statische IP für meine Nextcloud
Subnetz: xx.xx.xx.xx6
Netmask: 255.255.255.252

Vielen Dank !
Gruß
Freddy
Mitglied: aqui
aqui 03.06.2022 aktualisiert um 21:27:11 Uhr
Goto Top
Test Port (Netgear) hängt ein Laptop der eine IP aus dem VLAN20 per DHCP4 erhalten hat
WO ist dieses ominöse VLAN 20???
In deiner aktuellen Zeichnung von oben existiert dieses VLAN nirgendwo. Sowas ist wenig hilfreich wenn man zig mal nachfragen und raten muss. :-( face-sad
Deine Topologie Zeichnung sollte wenigstens aktuell sein und dem entsprechen was technisch beschrieben wird.
VLAN 300 irreführend am Trunk Port 8 zu schreiben der auch VLAN 1, 100 und 200 führt ist wenig hilfrech für Troubleshooter und verwirrt...
Und die pfSense hat sich via DHCP4 eine VLAN200-IP erhalten ( 10.11.20.12/24)
Du sprichst hier vom WAN/Internet Port der pfSense, richtig?
Von WO kommt diese IP Adresse?
Der pfSense WAN Port arbeitet nur als DHCP Client! Er benötigt um eine IP zu bekommen einen DHCP Server den es in deiner Zeichnung nirgendwo im VLAN 200 gibt! Wie soll die pfSense da also eine IP bekommen?
Die "20" in der IP lässt nur erahnen das der WAN Port in einem völlig falschen VLAN liegt. :-( face-sad

Fragen also:
  • Von wo kommt diese WAN IP?
  • Hast du einen Test DHCP Server im VLAN 200 laufen??
  • Wieso eine IP mit einer "20" ? Ein VLAN 20 gibt es nirgendwo ?
ein ping raus in die WWW : 1.1.1.1 DNS Server geht nicht!
Bedeutet das dein /30er Konstrukt an der FritzBox de facto keinerlei Internet Connectivity hat! Ist für dein Proxmox Setup aber auch erstmal egal und eine ganz andere Baustelle.

Du solltest erstmal die interne VLAN Connectivity im Proxmox sauber zum Laufen bringen mit einem Testhost im WAN VLAN 200.
So kannst du das eigentliche Setup sauber und vollständig testen. Das Umschalten auf einen Internet Port (wie auch immer der aussieht) im VLAN 200 ist dann danach eine Sache von 3 Minuten.
Etwas happy/ Erfolgserlebnis um Mitternacht :-) face-smile face-smile das die pfSense raus in die Welt pingen kann ( ping DNS Server 1.1.1.1) und habe sogleich auch die pfSense upgegradet.
Das ist laut deiner Beschreibung und auch technsich gesehen, wenn deine Topologie Zeichnung oben stimmen sollte, völlig unmöglich?
Wie bitte soll die pfSense mit einer 10.11.20er IP am WAN Port via VLAN 200 ins Internet gelangen??

Sorry, aber da stimmt doch hinten und vorne alles nicht oder du bindest uns hier Bären auf mit falschen Zeichnungen.... :-( face-sad
Der WAN Port ist doch niemals im WAN Netz VLAN 200 wo die eigentliche Internet Connectivity ist oder sein soll. Zumal dann auch noch mit einer /24er Maske.
Der Firewall WAN Port muss in Wahreheit dann völlig woanders hängen aber garantiert nicht im VLAN 200 an Port 4 der FB.

Vermutlich ist das 10.11.20er das LAN Netz der FB und die pfSense bekommt über 3 Ecken durch falsche oder fehlerhafte VLAN Zuordnung im Proxmox darüber eine WAN IP Adresse und hat so Internet Verbindung (simple Router Kaskade mit der FB)

Mal im Ernst... Das ist doch alles wirr und verworren. Kein Mensch steigt hier mehr durch deine VLAN Konfig durch und von wo wer welche IPs per DHCP bezieht und wo nicht. Man kann nur schliessen das die Proxmox VLAN Zuordnung völlig falsch ist.
Die o.a. Zeichnung stimmt nicht mit der Realität überein und wir müssen raten was vielleicht wo verbunden ist.
Dein pfSense WAN Port ist irgendwo aber ganz sicher nicht im VLAN 200.
Eine zielführende Hilfestellung wird so zum Kristallkugeln und Raten im freien Fall und macht wahrlich nicht mehr viel Spaß... :-( face-sad
Mitglied: aqui
Lösung aqui 04.06.2022 aktualisiert um 12:33:15 Uhr
Goto Top
Hier für den nächsten und dann hoffentlich richtigen Anlauf noch einmal eine reine Layer 3 Übersicht der IP Netzwerk Zuordnung:

freedl3

Die dazu korrespondierende Layer 2 Topologie Sicht sieht dann so aus:

prox-next

Damit sollte es doch nun final endlich einmal klappen...?!