13.07.2022, aktualisiert um 21:26:12 Uhr

3372

PPPOE mit VLAN7 über Mikrotik Switch an mehrere Server switchen

Hallo zusammen,

ich heiße Lucas und bin aktuell im 2 Jahr in der Ausbildung zum Fachinformatiker für Systemintegration. Um Erfahrungen sammeln zu können betreibe ich ein Homelab das auf Proxmox basiert. Es sind 3 Nodes die jeweils 2x 2 Port 10 Gbit Karten verbaut haben. 1 Port nutze ich als Uplink für die FW, einen als Trunk Port für meine LXC's, sowie VM's. Die anderen beiden sind als bond zusammen geschaltet und dienen als Migrations- / Replikationnetz. Als Switch verwende ich einen Mikrotik CRS 354-48G-4S+2Q dieser übernimmt ledig das Switching.

Jeder Node hat zudem 3x RJ45 1Gbit Interfaces. 1 Port dient als MGMT Port, der andere als Port für das Corosync und der letzte ist der WAN Uplink für meine OPNSense FW.

Die Syncronisation der DSL Leitung (Vodafone, die Leitung ist aber ledig durch VF von Telekom gemietet) übernimmt ein Draytek Vigor 165, welches im Bridge Betrieb läuft. Aktuell habe ich das Vigor über Port 1 an einen stupiden Netgear GS108 an die WAN Ports der Nodes verbunden. Soweit funktioniert das Setup. Gerne würde ich in Zukunft das ganze über den Mikrotik Switch realisieren, allerdings scheitere ich grandios daran dies zu konfigurieren.

Mein Ansatz war bis jetzt ein VLAN 7 auf die bridge1 zu legen. Dort habe ich die bridge1, sowie die 4 Ports tagged eingestellt. Anschließend habe ich die 4 Port, die ich für das Unterfangen nutzen möchte mit der PVID 7 versehen und dies Tagged bzw. "admit only VLAN tagged" konfiguriert.

Für die OPNSense habe ich eine virtuelle Bridge mit dem VLAN Tag 7 erstellt und dieses an die VM gekoppelt. Anschließend habe ich über das WebUI der OPNSense ein VLAN mit dem Tag 7, welches als Parent Interface meine virtuelle Bridge hat, angelegt. Danach habe ich eine Point to Point Verbindung mit meinen Einwahldaten erstellt diese basiert auf dem zuvor angelegten VLAN 7.

Ich gehe aktuell von einem Fehler auf den Mikrotik Switch aus, da das Setup funktioniert wenn es über den Netgear angeklemmt ist.

Ich komme leider nicht dahinter wo genau mein Fehler liegt und würde mich freuen, wenn mir der ein oder andere Erfahrende weiterhelfen kann!

Sollte ich Informationen vergessen haben, bitte einfach melden. Ich hoffe ich habe alles für euch parat

In dem Sinne einen sonnigen Abend

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 3331646120

Url: https://administrator.de/forum/pppoe-mit-vlan7-ueber-mikrotik-switch-an-mehrere-server-switchen-3331646120.html

Ausgedruckt am: 24.03.2025 um 12:03 Uhr

19 Kommentare

Neuester Kommentar

Was ist denn dein Fehler, was funktioniert nicht?

Guten Morgen,

sobald ich die Ethernetkabel von dem Netgear auf den Mikrotik umstecke reißt die WAN Verbindung ab. Nach etwa 10 Sekunden verschwindet das Gateway WAN_PPPOE aus der Gatewayliste des Dashboard meiner OPNSense. Das WAN Interface ist daraufhin als "down" makiert und baut erst wieder eine Verbindung auf, wenn ich die Kabel zurückstecke.

Mein Ansatz war bis jetzt ein VLAN 7 auf die bridge1 zu legen.

Solltest du nicht machen. Es ist immer besser das VLAN Tagging das Modem machen zu lassen. Das vereinfacht das Management und auch die Konfiguration des Routers und auch der Firewall deutlich und ist best Practise und dein Vigor supportet das auch. (Siehe hier).

Damit musst du dich dann NICHT mehr um das Tagging der WAN Ports deiner Endgeräte kümmern und behandelst die als stinknormale UNtagged Accessports.
Hier bist du mit deiner angedachten Konfig also auf dem Holzweg, denn der Fehler ist nicht der MT sondern ein PEBKAC basierender!

Wie man PPPoE auf dem MT einrichtet steht u.a. hier:
IPv6 mittels Prefix Delegation bei PPPoE (Mikrotik)
Mikrotik RB3011UiAS Einwahl ins Internet nicht möglich - Port Eth01 reagiert nicht
Grundlagen zum VLAN Handling auf dem MT, wie immer, HIER.

Danke schon einmal für deine Hilfe!
Ich fasse einmal zusammen um zu prüfen ob ich auch alles richtig verstanden habe.
VLAN Tag 7 direkt im Vigor einrichten (hatte ich bei meiner früheren UDM Pro auch)
Anschließend PPPoE Einwahl über den Mikrotik konfigurieren und die Pakete über VLAN 7 an die 3 Ports der Nodes weiterleiten.
Danach an der OPNSense die PPPoE Einwahl deaktivieren und Internet Zugang über VLAN 7 einstellen.

Das VLAN 7 (oder ein anderer nicht verwendeter Tag) möchte ich gerne tagged beibehalten, da ich mit dem Gedanken spiele in Zukunft das WAN Interface mit auf den Uplink der FW zu legen, also dem 10 Gbit Interface. Oder würdest du generell davon abraten das WAN Interface NICHT getrennt zu konfigurieren.

Ist das soweit richtig?

und die Pakete über VLAN 7 an die 3 Ports der Nodes weiterleiten.

Wenn du die WAN Ports der Endgeräte in einem VLAN zusammenfassen willst dann ist das richtig. Welche VLAN ID du dabei verwendest ist aber völlig Wumpe. Das kann 7 sein oder 99 oder 999. Ist ja völlig egal, denn der Switchport an dem das Vigor Modem angeschlossen wird ist ja immer UNtagged wie auch die WAN Ports der Endgeräte in dem VLAN.
Logisch, denn Tags musst du NICHT mehr mitgeben, dann das macht ja zentral dann das Modem selber.

Danach an der OPNSense die PPPoE Einwahl deaktivieren und Internet Zugang über VLAN 7 einstellen.

Nein, leider auch falsch verstanden. PPPoE musst du ja schon machen aber eben ohne VLAN Tag. Das VLAN Tag zum Provider fügt ja das Modem hinzu wie es sein sollte. Das PPPoE Protokoll am WAN Endgerät aber muss bleiben, denn das reichst du bzw. das Modem ja durch zum Provider.
Das nur Modem ist ja nichts anderes als nur ein passiver Medienwandler von Ethernet Framing auf xDSL. An der IP Kommunikation, sprich Layer 3, ist es ja aktiv nicht beteiligt, da es ja ein reines Modem ist und kein Router. Einfache Logik...

Das VLAN 7 (oder ein anderer nicht verwendeter Tag) möchte ich gerne tagged beibehalten

Wie oben schon gesagt: Welche ID du dem VLAN gibts ist deine eigene, freie Wahl. Nur taggen zum Modem UND zu den Endgeräte WAN Ports musst du NICHT mehr da das ja, wie oben breits mehrfach gesagt, das Modem übernimmt.

Bedenke auch das Provider immer nur eine einzige aktive PPPoE Verbindung supporten pro Endkunde. Eine Einwahl mehrerer PPPoE Endgeräte parallel über einen xDSL Anschluss ist providerseitig nicht möglich! Nur das du das auf dem Radar hast...?!

Eigentlich müsste es auch im Aufbau des TO gehen. Ist ja nicht selten, dass Leute das Tagging in der Firewall machen und es funktioniert.

Da es dem TO ums Lernen geht, wäre also Fehlersuche vielleicht nicht verkehrt - um es am Ende dann natürlich im Modem zu taggen

Und damit ich auch was lerne: Ist das mit dem Switch hinter dem Modem nicht ziemlich schräg? Da wäre ich nie drauf gekommen. Sollte nicht immer ein Router hinter das Modem? Sonst habe ich doch mehrere Einwahlen zum Provider und die Angriffsebenen vervielfacht. Gibt es ein sinnvolles Szenario für ein solches Setup?

Da es mit dem Netgear geht, der sich um das Tag ja nicht kümmert, liegt das Problem sehr wahrscheinlich tatsächlich irgendwo in der MT-Konfiguration. Möglicherweise Firewall aktiv/kein Forwarding eingerichtet?
Ich finde aber, das Setup hat zunächst eine ordentliche Zeichnung verdient und die Config des MT gehört auch hierher. Oder ins Mikrotik-Forum eben.

Viele Grüße, commodity

Ist das mit dem Switch hinter dem Modem nicht ziemlich schräg?

Das wäre es in der Tat.
Das hat der TO aber verwirrend und so wohl auch falsch beschrieben, denn "hinter" dem Modem ist für jeden (normalen) Admin ja der Provider Port. Das ist bekanntlich eine RJ-11 Buchse mit xDSL Framing und hat rein gar nix mehr mit Ethernet, geschweige denn Tagging zu tun. In sofern dann wirklich extrem schräg! 😉
Ist aber auch eine Frage der Sichtweise WIE man das "hinter" denn nun sieht. Aus Provider Perspektive ist es dann der Modem Ethernetport und da sieht die Welt dann wieder anders aus.
Wieder mal ein Beispiel was passiert wenn man in Foren unklare Aussagen macht und wir uns dann 3mal sinnfrei im Kreis drehen statt zielgerichtet helfen zu können...aber egal, andere Baustelle.
Fazit:
Es macht keinerlei Sinn Frames in dem WAN VLAN zu taggen. Alles muss ja eh durchs Modem und es ist immer sinnvoller das Modem taggen zu lassen.
Es vereinfacht das Setup der WAN Endgeräte deutlich. Denen auch noch das Tagging mit nochmehr Setup Aufwand aufzubürden um es dann am Ende doch nur durchzureichen macht keinerlei Sinn.

Ich habe verstanden: DSL - Modem - Switch - Firewall bzw. WAN-Ports der VMs. Modem zu Switch ist ja Ethernet, technisch geht das also schon.
Dennoch finde ich es schräg, lerne aber gern dazu.

Viele Grüße, commodity

Ist auch etwas schräg weil nur jeweils einer mit PPPoE agieren kann und die Modem Connection immer Punkt zu Punkt sind.
Solange denn alle anderen Endgeräte am Switch aus sind, und man sich unbedingt das Umstöpseln sparen will kann man das machen wenn man sowas toll findet. Der reale Nutzen ist eher zweifelhaft.
Wie heisst es so schön: "Jedem Tierchen sein..."

Danke für die Lösung und die Erklährung. Ich habe es jetzt am laufen, zwar noch nicht über das 10 Gbit Interface, aber danach habe ich ja auch nicht gefragt.
Entschuldigt bitte meine unklare Formulierung. Schluss endlich bin ich noch ganz am Anfang von etwas großem. Es fehlt einem am Anfang die Sicht auf das große Ganze.

Jetzt stehe ich aber leider erneut vor einem Problem. Mein Vigor ist so konfiguriert, dass er auf Port 1 das WAN Signal ausgibt und auf Port 2 seine MGMT Oberfläche in einem VLAN 10. Port 1 ist auf dem Switch mit Port 48 verbunden. Sie befinden sich in VLAN 7. Port 2 vom Modem ist mit Port 15 auf dem Switch verbunden. Sie befinden sich in VLAN 10. Sind nun beide Ports mit dem Switch verbunden gibt der Switch als Rolle bei dem Port 48 (WAN) Backup an und die Internetverbindung reißt erneut ab.

Wenn ich das richtig verstanden stuft der Switch den Backup Port mehr oder weniger als Loop ein. Wie kann ich dies beheben? Die beiden Port befinden sich doch bereits in unterschiedlichen VLANs.

Der Hintergrund warum ich an jedem meiner Nodes eine Möglichkeit einer PPPoE Verbindung haben muss, ist das mein Cluster HA fähig ist. Zumindest was die VM's und LXC's entspricht und solange mein Switch nicht die Beine lang macht. Da die OPNSense eine Virtuelle Appliance ist und PPPoE bei mir macht muss Sie auf jedem Node ein Signal dazu anliegen haben.

Um sofort einer unötigen Diskussion über die Sinnhaftigkeit von HA im Homelab vor zu kommen - Wie heisst es so schön: "Jedem Tierchen sein..." Daher bitte ich mir diese Diskussion zu ersparen

Abschließend, danke schön für die Hilfe!

Vielleicht mag Lucas uns das Setup ja noch - neben einem hübschen Plänchen und der MT-Config - etwas erläutern.

Ich wollte das nur klären, damit nicht andere das arglos nachbauen, wenn es so schräg ist, wie es mir vorkam.

Viele Grüße, commodity

Edit (nachdem Lucas diesem Post zuvor gekommen ist):

Sinnhaftigkeit von HA im Homelab

Im Homelab und in der Ausbildung ist absolut alles erlaubt. Ich finde es klasse, dass Du so fleißig baust.
Dass es ein sehr spezielles Setup ist, ist ja schon geklärt.

Wenn ich das richtig verstanden stuft der Switch den Backup Port mehr oder weniger als Loop ein. Wie kann ich dies beheben?

Wahrscheinlich mit einer korrekten Konfiguration. Deine Beschreibung legt ja nahe, dass Deine VLAN-Konfig noch nicht das macht, was sie machen soll. Oder der Vigor fügt die VLANS wieder zusammen. Oben schreibst Du es ja anders, aber kann es sein, dass der Vigor an untagged Ports des Switches hängt bzw. auf diesen Ports auch das native VLAN1 noch anliegt? Dann weiß er ja nicht, dass das getrennte Netze sind und sieht das als eines.

P.S.: Ohne Configs ist es meist eher Rätselraten

gibt der Switch als Rolle bei dem Port 48 (WAN) Backup an und die Internetverbindung reißt erneut ab.

Sorry, da versteht man nur Bahnhof? Rolle? Backup? was soll das sein?
Nur so viel. Der 2te Port kann nicht parallel benutzt werden und ist auch kein Management Port wie beim Zyxel VMG3006 Modem. Wenn du P1 als WAN benutzt wie üblich ist der P2 Port dann Tabu.
Hast du das beachtet?
Wie man aufs Vigor Management zugreift erklären diese Forenthreads:
Hardware für PfSense (DualWan, DDNS, VPN)
Vigor 165 - pfSense VM - Cisco Switch 350X-48P - DHCP über pfSense?

Wie kann ich dies beheben?

Gar nicht! Laut Draytek Knowledgebase ist der parallele Betrieb beider Ports im reinen Modem Mode NICHT supportet! Den2ten Port zu benutzen, egal wie, ist nicht supportet solange P1 aktiv ist!

Was dein HA Design anbetrifft ist eine Diskussion darüber ja auch nicht der Punkt. Kollege @commodity hat es oben schon gesagt. Mit nur einem einzigen Internet Zugang ist es ja niemals ein HA Design, dafür bräuchtest du ja immer zwei Zugänge. HA mit nur einem Internet Zugang ist ja Utopie und Link Redundanz mit dem Vigor technisch nicht möglich.
Oder wir haben deinen Konfig Ansatz missverstanden?!

Oder wir haben deinen Konfig Ansatz missverstanden?!

ist ja eigentlich nur zum Üben, so verstehe ich das. Den zweiten Internetanschluss kann er sich dann denken

Laut Draytek Knowledgebase ist der parallele Betrieb beider Ports im reinen Modem Mode NICHT supportet!

Also doch PEBKAC. Was für ein wertvolles Ergebnis dieses Threads:
Ein Azubi muss lesen, lesen und nochmals lesen (wie andere natürlich auch). Irgendwie ist man in der IT ja immer Azubi

Viele Grüße, commodity

@commodity Da wirst du wahrscheinlich Recht haben, dass der Vigor die Netze wieder verbindet. Leider gibt es im Vigor keine Option oder Möglichkeit einen VLAN Tag zu konfigurieren und daher müsste das VLAN Untagged das Modem erreichen. Was ja leider nicht funktioniert.

@aqui In Winbox kann man, wenn unter Switch eine bridge angelegt wurde, hinter den der bridge zugeordneten Ports verschiedene Rollen erkennen. Im englischen wird es als "Role" angezeigt. Unter anderem sind Rollen wie z.B. disabled port, designated port oder eben backup port und andere möglich.

Es wird vielleicht nicht offiziel supportet, was durch aus möglich sein kann oder ist. Allerdings funktionierte es bei dem Setup mit dem Netgear Switch, sowie einen direkten Anschluss von Modem an den Server und meinem alten Setup mit einer UDM Pro immer tadellos. Daher auch kein Blick in die Knowledgebase von Draytek. Warum etwas prüfen ob es möglich ist, wenn es vorher immer möglich war.
Ich habe auch nicht gesagt das es ein Management Port ist sonder lediglich, dass ich diesen Port bis jetzt immer auf diese Art nutzen konnte.

Im Bezug auf HA habe ich bereits extra erwähnt, dass sich dies auf die VMs und die LXCs bezieht, dass kein HA wie in einem RZ oder beim Kunden vorliegt. Ich sprach davon, dass der Cluster HA fähig ist. Er ist in der Lage im Fehlerfall eines Nodes die Virtualisierung aufrecht zu erhalten, daher auch extra die Bemerkung "Solange mein Switch nicht die Beine lang macht".
Alleine diese Möglichkeit zu haben und diese alleine aus eigener Kraft aufgebaut zu haben finde ich bemerkenswert. Ohne nun überheblich klingen zu wollen.

Danke für die Verlinkung der Threads zum Thema Draytek. Ich werde mir bei Gelegenheit diese durchlesen. Leider schaffe ich aktuell es nicht das Schema meines Netzwerkes bzw. meiner Umgebung in eine Zeichnung zu bringen, da ich ab morgen für mehrere Tage auf Weiterbildung bin. Passend zur aktuellen Situatio im Bereich Netzwerk. Sobald ich dazu komme werde ich es aber hier zur Verfügung stellen.

Danke schön für eure Hilfe, die Tipps, sowie die Verlinkungen!

EDIT:
@commodity Du warst wohl schneller mit deinem Post

Du warst wohl schneller mit deinem Post

Was extrem selten der Fall ist!

Mach weiter so! Und schmeiß dann im dritten Lehrjahr den Proxmox raus und mach das auf Vanilla Linux - also um des Lernerfolges Willen.

Viele Grüße, commodity

Die beiden Ports im Draytek funktionieren als L2 Bridge. Wenn du diese also in ein gemeinsames L2 Netz steckst erzeugst du einen Loop weil der Vigor keinerlei Loop Protection hat wie Spanning Tree usw. Deshalb ist es laut Draytek auch offiziell nicht supportet.
Wenn du aber darauf achtest das beide Ports in 2 völlig getrennten Layer 2 Broadcast Domains also z.B. VLANs oder physisch getrennte Netze liegt, dann klappt es natürlich. Deinen o.a. Beschreibung verifiziert das ja auch.
Dein Netgear hat mich Sicherheit ein Spanning Tree am laufen der es zusätzlich auch verhindert.
Der Mikrotik VLAN Switch ist völlig identisch in der VLAN Funktion und mit RSTP rennt da auch ein Spanning Tree.
Man kann nur mutmaßen das du den VLAN Switch im MT falsch oder fehlerhaft konfiguriert hast. Ohne deine Konfig zu kennen ist das aber reine Kristallkugelei.

Wie man das richtig macht erklärt dir, wie immer, das hiesige Mikrotik VLAN Tutorial:
Mikrotik VLAN Konfiguration ab RouterOS Version 6.41

@commodity Ich spiele mit dem Gedanken mal ESXi zu testen, weil es einem im Alltag häufiger vor die Füße fällt. VMWare möchte aber keine Lizenz kostenfrei oder reduziert an Azubis aushändigen. Ich bin schon froh das ich die Möglichkeit habe durch meinen Ausbildungsbetrieb eine CheckMK Enterprise Lizenz zu bekommen. Aber VMWare ist selber bei uns rar gesät.

@aqui Danke für die ausführliche Erklährung. Ich habe mir als ich den Switch eingerichtet habe schon deine Anleitungen zu gemühte geführt. Scheinbar habe ich noch etwas falsch konfiguriert. Ich werde mich nach meiner Netzwerkschulung damit erneut auseinander setzen. Vielleicht fällt es mir dann wie Schuppen aus den Haare. Dann kommt auch mal der Plan zu Übersicht

Danke für eure Unterstützung!

Ich spiele mit dem Gedanken mal ESXi zu testen

solltest Du wahrscheinlich auch machen, aber wenn Du schon den Linux-Weg begonnen hast, würde ich das eher vertiefen. Mit Proxmox kratzt man ja nur an der Oberfläche.

Viele Grüße, commodity