mossox
Goto Top

Reduzierung CPU-Load im L3 Switch

Guten Abend,

ich habe seit ca. einem Jahr ein L3-Konzept nach Vorlage von acqui zu Hause realisiert.

Eine pfSense routet ins Internet.

Nun geht es darum, die CPU-Load auf dem L3-Switch zu reduzieren:

Der hier zum Einsatz kommende Mikrotik CRS328 routet die VLAN intern und kommt aufgrund der schwachen CPU an seine Grenzen.
Bei hoher Datennutzung erreicht die CPU nicht selten mal 60-70% Load.
Das führt wiederum zu Wärmeproblemen im Rack, die ich mit Kühlung nicht lösen kann.

Meine Frage:

Lässt sich das bestehende Design ändern, so dass sich die Load auf dem L3-Switch verringern lässt?
Oder braucht es schlicht stärkere Hardware?

Ich bin angetan von den IPU-Board von NRG Systems.
Am liebsten würde ich eine zweite pfSense fürs Inter-VLAN-Routing einsetzen.
Allerdings gibts die IPU-Boards als 19er Rack nur mit maximal 6 Ports.
Könnte man ja auf die Idee kommen, davon 3x im Stack zu verwenden.
Aber soll das wirklich die Lösung sein?

Anders gefragt:

Welchen L3-Switch könntet Ihr empfehlen, der im L3-Routing guten Durchsatz und selbst bei hoher Nutzung niedrige CPU-Load bietet?

Ich freue mich auf Meinungen und Empfehlungen.

Viele Grüße
l3konzept

Content-Key: 2862277727

Url: https://administrator.de/contentid/2862277727

Ausgedruckt am: 19.03.2024 um 09:03 Uhr

Mitglied: 108012
108012 22.05.2022 um 00:00:15 Uhr
Goto Top
Nun geht es darum, die CPU-Load auf dem L3-Switch zu reduzieren:
Weniger Daten "durchschieben" oder stärkeren Layer3 Switch mit stärkerer CPU.
Wird aber auch meistens lauter und setzt mehr Wärme ab.

Lässt sich das bestehende Design ändern, so dass sich die Load auf dem L3-Switch verringern lässt?
EInen zweiten Switch eventuell?

Oder braucht es schlicht stärkere Hardware?
Wäre dann aber eine Tausch 1:1 und ein stärkerer Switch das auch meist lauter und/oder wärmer ist/word.


D-Link DGS-1250-28XMP, 28-Port Layer 2/3 Smart Managed PoE Gigabit Switch (24 x 10/100/1000 Mbit/s BaseT PoE+ Port, 4 x 10G SFP+ Slot, 370W PoE-Kapazität, 19" Metallgehäuse) ~750 €

Wäre jetzt eine Möglichkeit die mir ein fällt.

Dobby
Mitglied: aqui
aqui 22.05.2022 aktualisiert um 00:09:00 Uhr
Goto Top
Aber soll das wirklich die Lösung sein?
Nein! Wenn, dann machst du das immer mit einem LACP LAG. Siehe HIER.
Oder... du nutzt Hardware Offloading auf deinem L3 Switch.
Mitglied: Visucius
Visucius 22.05.2022 aktualisiert um 10:06:28 Uhr
Goto Top
Welche RouterOS-Version ist denn im Einsatz?
L3 hw-offliad aktiv? Nocht (nur) auf den Ports, sondern im Switch-Menue:

Mikrotik CRS NAT-Performance

Wie viele Clients sind denn üblicher Weise in Deinem Netzwerk gleichzeitig aktiv?
Mitglied: mossox
mossox 22.05.2022 um 11:44:32 Uhr
Goto Top
Guten Morgen,

es ist die Version 7.2.3 drauf.

Ja, der HW-Offload ist gesetzt.
Auf allen Ports in auf der Bridge und auch im Switch-Menu.

Es sind durchschnittlich 10-12 Clients gleichzeitig aktiv.
Die verursachen natürlich nicht alle im selben Maß Traffic.
Aber gerade wenn einzelne Clients hohe Datenmengen durchschieben, grassiert die CPU auf 60-70% Load.
Jetzt könnte man natürlich sagen, das kommt nur situationsweise ein paar Male pro Tag vor.
Aber zufrieden bin ich damit trotzdem nicht.

Zum LACP/LAG: Zwischen L3-Switch und Router für das Transfernetz bereits vorhanden und als 802.3ad als layer 3 und 4 konfiguert.
Mitglied: Visucius
Visucius 22.05.2022 aktualisiert um 12:38:34 Uhr
Goto Top
Aber zufrieden bin ich damit trotzdem nicht.
Ein Kunde, der "fühlt", ist natürlich König ABER selbst unter "Last" sind 30-40% Prozessorleistung dauerhaft(!) nicht genutzt. Man könnte auch sagen, der Prozessor ist NIE ausgelastet und damit überdimensioniert face-wink

Am Ende wirste feststellen, dass auch bei anderen Herstellern die Leistung nicth vom Himmel fällt. Mehr Leistung, mehr Strom, mehr Hitze, ... PUNKT!

Ich hatte ne SW-Version, die hat in den letzten Wochen schon im Leerlauf über 50% Last produziert. War ein CRS326 mit dem selben Prozessor-Setup. Mach evtl. mal nen Backup der Einstellungen und teste eine "Testing-Version" von RouterOS. Gerade an der Verteilung der Arbeitslast auf die verschiedenen internen Prozessoren wird immer mal wieder rumgespielt (siehe https://mikrotik.com/download/changelogs/testing-release-tree )
Mitglied: aqui
aqui 22.05.2022 aktualisiert um 13:22:18 Uhr
Goto Top
Zum LACP/LAG: Zwischen L3-Switch und Router
Das war dafür gemeint wenn du den MT Switch NUR im Layer 2 Mode betreibst und das Routing komplett mit der vorhandenen Firewall machst.
Dient in einem angedachten L2 Konzept dazu den lokalen VLAN Routing Traffic der dann zw. den VLANs und ins Internet geht über die Firewall aufzuteilen. Es war nicht auf das jetzige L3 Desing bezogen.
Du kannst die Performance Unterschiede ja selber auch einmal simulieren indem du innerhalb eines VLANs einmal eine iPerf3 Messung zw. 2 Client vornimmst und einmal via L3. Das kannst du dann testweise einmal über einen VLAN und L3 gesetzten Switch machen und einmal über ein reines L2 Switch Setup und VLAN Routing über die vorhandene FW via Trunk.
Interessant wäre dann auch einmal eine Messung im reinen Routing Mode des Switches. Also ganz ohne VLANs und wo du die die Netz IP Adressen direkt auf die physischen Interfaces legst.
Damit hast du dann einmal 3 verlässliche und wirklich wasserdichte Durchsatz Messwerte was dein Switch so in den 3 unterschiedlich möglichen Modi überhaupt in der Lage ist durchzuschieben.
Ist eine deutlich sinnvollere Basis für eine Designplanung als im freien Fall zu raten. face-wink
Mitglied: 2423392070
2423392070 22.05.2022 um 16:44:55 Uhr
Goto Top
Ohne Poe ist die maximale Leistungsaufnahme ca 40 Watt. Im Idle ca 25 Watt.

Gucke dir Mal das Block Diagramm des Gerätes an, vielleicht hast du nicht ganz optimal gepachted. Das Gerät ist intern eher ungünstig organisiert.

Bei welcher Situation kommst du auf 50%+ CPU?
Und warum soll die CPU nicht tendenziell unter Last sein, wenn es was zu tun gibt?
Mitglied: commodity
commodity 22.05.2022 aktualisiert um 22:56:33 Uhr
Goto Top
Hi,
vielleicht konkretisieren wir das noch mal:
ich habe seit ca. einem Jahr ein L3-Konzept nach Vorlage von acqui zu Hause realisiert.
Das war seinerzeit mit einem 328 kaum eine gute Idee. Bis zu RouterOS 7.x waren die CRS keine richtigen Layer3-Switche und auch heute ist das fraglich. Ergebnis:
Der hier zum Einsatz kommende Mikrotik CRS328 routet die VLAN intern und kommt aufgrund der schwachen CPU an seine Grenzen.
So weit also: Falsches Konzept. Hier wäre das von Dir aktuell angedachte Layer2-Konzept die richtige Wahl gewesen.

Seit RouterOS 7 ist aber, wie die Kollegen @aqui und @Visucius schon korrekt hervorheben, L3HW-Offloading möglich. Allerdings nicht für jedes Setup.
Bei hoher Datennutzung erreicht die CPU nicht selten mal 60-70% Load.
Was klar bedeutet, dass Du L3HW-Offloading nicht nutzt bzw. das für Deine Konfig nicht funktioniert.
Lässt sich das bestehende Design ändern, so dass sich die Load auf dem L3-Switch verringern lässt?
Natürlich lässt es das: L3HW-Offloading korrekt einrichten. Oder, Du hast es selbst schon angesprochen: Auch ein Layer2-Konzept mit vernünftigem Router löst das sofort.
Ich bin angetan von den IPU-Board von NRG Systems.
Nette Geräte, aber hier m.E. verfehlt. Du hast am 328 SFP+. Das genutzt um einen kleinen Mikrotik-Router über SFP+ mit 10Gbit/s anzubinden (4011, 5009) und das Routing flutscht mit Gbit-Speed und mehr für ein Bruchteil des Aufwandes für eine IPU (die aber noch andere Sachen könnte). Ich habe mit dem Setup nur bis 2Gbit/s getestet, 7 oder 8 sollten aber drin sein. Auch die PfSense als Router auf dem APU (?) würde den Switch entlasten. Wie schnell, weiß ich nicht.
Wenn es nicht um geile neue HW geht, sondern um Administration, solltest Du vielleicht schauen, ob Du das mit L3HW-Offloading nicht hinbekommst. Ein Admin, der eine neue HW kauft, nur weil er ein genügendes Feature der bestehenden HW nicht konfiguriert bekommt? Muss ich nichts zu sagen. Außer: Das führt oft dann zum nächsten Konfig-Problem.
Diese Aussage
Ja, der HW-Offload ist gesetzt.
Auf allen Ports in auf der Bridge und auch im Switch-Menu.
ist noch etwas dünn. Unterscheide: Bridge-HW-Offloading <-> L3HW-Offloading
Selbst wenn Du das korrekt nach Manual gemacht hast
/interface/ethernet/switch set 0 l3-hw-offloading=yes
/interface/ethernet/switch/port set [find] l3-hw-offloading=yes
scheint es ja nicht zu funktionieren, was evtl. an nicht unterstützen Konfig-Parametern liegen könnte (Firewall? NAT?), so dass der Traffic eben doch bei der CPU landet.
Vielleicht postest Du mal einen Export, vielleicht klärt das was auf.

Viele Grüße, commodity

Edit: Hier ist noch ein Beitrag aus dem MT-Forum, der sich mit der Materie und einigen (noch-)Unverträglichkeiten beschäftigt. Der 328 wird da mehrfach erwähnt: https://forum.mikrotik.com/viewtopic.php?t=183823
Mitglied: mossox
mossox 22.05.2022 um 19:49:36 Uhr
Goto Top
Es sieht danach aus, als dass der in meinem 328 verbaute Switch-Chip zwar L3H Offloading kann, jedoch nicht das weitergehende Offloading über Fasttrack Verbindungen.

Sehr interessant!

Ich werde noch weiter recherchieren.
Sieht aber danach aus, als dass ich das L3 Design aufgebe und ein L2 Konzept daraus macht.
Die pfSense hat einen i5 verbaut und jede Menge Power.
Da sollte das VLAN Routing die CPU nicht in die Knie zwingen.
Mitglied: 108012
108012 22.05.2022 um 20:02:05 Uhr
Goto Top
Die pfSense hat einen i5 verbaut und jede Menge Power.
Das hätte man mal zuerst wissen sollen! Das würde dann auch noch Sinn machen!

Dobby
Mitglied: commodity
commodity 22.05.2022 aktualisiert um 23:02:15 Uhr
Goto Top
Die pfSense hat einen i5 verbaut und jede Menge Power.
Dann brauchst Du ja definitiv nichts neues. Bist bei allen Lösungen dann aber natürlich auf den Leitungsdurchsatz zum Router beschränkt. Deshalb mache ich das vorzugsweise über SFP+. Kannst aber auch mit mehreren Ports und/oder Bonding arbeiten.
Und wahrscheinlich verrätst Du uns später noch, dass Deine I5-Sense eine SFP+ -Karte eingebaut hat face-big-smile

Offloading über Fasttrack Verbindungen
Mir ist allerdings auch nicht klar, warum man am Switch Fasttrack macht. Ein Switch ist ja nun definitiv keine Firewall. Kann es sein, dass Du Deinen Switch überforderst und Dich dann über CPU-Last wunderst? RouterOS ist nicht dafür da, auf jedem Gerät alles zu machen, nur weil es das vom Konzept her könnte.

Viele Grüße, commodity
Mitglied: mossox
mossox 22.05.2022 um 23:22:23 Uhr
Goto Top
Haha, nein die Sense hat leider kein SFP.
Ich habe den CRS aber über ein Bonding (2 Port) über LACP verbunden.
Hmm, 2 GBit/s reichen und sollte kein Flaschenhals darstellen. Oder?
Mitglied: aqui
aqui 23.05.2022 um 10:22:41 Uhr
Goto Top
die Sense hat leider kein SFP.
Mit dem neuen APU6 Board schon!! face-wink
Mitglied: mossox
mossox 24.05.2022 um 09:13:45 Uhr
Goto Top
Ich habe nun gestern alles nochmal neu eingerichtet... sämtliche VLAN-Konfiguration beseitigt und wieder aufgesetzt.

Ergebnis:

Selbst bei Heavy-Load liegt die CPU des 328 nun nur noch bei entspannten 25%.
Ich kann eine Fehlkonfiguration damals also nicht ausschließen.
Von daher: Danke ! Es hat mich dazu gebracht wieder etwas zu lernen.

Ich habe noch eine (ganz) andere Frage, die hier zwar nicht hingehört, aber vllt. lässt sich dadurch ein neuer Thread vermeiden:

In meinem L3 Konzept (s.o.) ist der Mikrotik unter anderem auch für das IPv4 DHCP zuständig.
Nun habe ich mich mit IPv6 beschäftigt und frage mich, wie ich in diesem Design das globale Prefix Delegation realisieren kann.

Leider kommt hier ein Consumer Glasfaseranschluss zum Einsatz. Das routbare /56er Netz ist nicht statisch.

Da die pfSense die PPPoE-Einwahl über den WAN-Port mit dem Glasfasermodem realisiert, kann man die Prefixe wunderbar tracken und dann auf die LAN-Schnittstelle weitergeben und dann Router Advertisements erteilen.

Aber wie könnte man die RA/PD auf den Mikrotik transportieren, der dann per-VLAN entsprechende Subnetze mit globalen Prefixen versorgt? Das ganz läuft inzwischen in einigen Diskussionen in mehreren Foren. Aber eine zuverlässige Lösung hat wohl noch niemand gefunden. Wäre doch mal eine wunderbare Idee für einen Wissensbeitrag @aqui?? face-smile
Mitglied: aqui
aqui 24.05.2022 aktualisiert um 09:26:13 Uhr
Goto Top
Letztlich hast du ja eine simple Router Kaskade. Was du machen kannst sind die /56er Prefixe als z.B. 58er an den Mikrotik weiterzugeben und der ordnet sie dann wieder als /64er seinen Netzen zu.
Die Kardinalsfrage ist ob der DHCPv6 Server der Firewall dynamisch gelernte Prefixe selber wieder als kleinere Prefixes weitergeben kann. Das müsste man mal probieren ob das klappt.
Mitglied: mossox
mossox 24.05.2022 um 09:23:08 Uhr
Goto Top
Autsch sorry... Wurstfinger-Mode war "on".

Es sollte DHCP heißen...
Mitglied: mossox
mossox 24.05.2022 um 11:11:41 Uhr
Goto Top
Verstehe ich es richtig, dass

1.
der nachgeschaltete Mikrotik Router seinerseits als DHCPv6-Client der pfSense konfiguriert werden müsste?

2.
der nachgeschaltete Mikrotik Router dann wiederum als DHCPv6-Server konfiguriert werden müsste, um dann auf die einzelnen VLANs wiederum routebare Prefixe vergeben kann?

Es ist mir nicht klar, was seitens des Mikrotik konfiguriert werden muss.
Mitglied: aqui
aqui 24.05.2022 um 13:28:39 Uhr
Goto Top
Das hast du richtig verstanden! face-wink
Es ist quasi genau wie hier beim DHCPv6 Client beschrieben nur das du dir das PPP wegdenken kannst.
Entscheident ist aber das der DHCPv6 Server der davor liegenden Firewall den gelernten Provider Prefix selber vergrößert wiederum per PD an den MT weiterleitet.
Die Herausforderung liegt also keineswegs auf dem MT sondern eher auf der Firewall. face-wink
Mitglied: mossox
mossox 24.05.2022 um 20:24:42 Uhr
Goto Top
Mir fehlt der Durchblick bei den Einstellungen auf der pfSense.

snipaste_2022-05-24_20-20-15

Der Mikrotik bekommt kein Prefix. "-> ia_pd:" bleibt leer.

mikrotik

Entsprechendes zeigt auch das Debug-Log in der Sense.

sense_log


Es finden sich aber auch keinerlei brauchbare Anleitungen im Internet.
Interessieren sich wirklich so wenige Admins für IPv6 in L3-Konzepten??

Ich bin am Verzweifeln!!
Mitglied: aqui
aqui 25.05.2022 aktualisiert um 09:24:34 Uhr
Goto Top
Die pfSense selber kann Prefix Delegation:
https://docs.netgate.com/pfsense/en/latest/services/dhcp/ipv6.html
Die zentrale Frage ist aber ob sie selber einen dynamisch per PD gelernten Prefix mit einer größeren Maske wiederum von sich aus als PD im DHCPv6 Server weitergeben kann. Die meisten Router können das nicht.
Allerdings gibt es ein Setup in Kombination mit der FritzBox wo das zumindestens auf der FritzBox geht:
https://www.altmetaller.de/ipv6-pfsense-hinter-fritzbox-6360-kabel-deuts ...
https://blog.veloc1ty.de/2019/05/26/pfsense-opnsense-ipv6-delegation-fri ...
Die Frage ist also generell ob die pfSense den dynamisch gelernten Prefix selber per PD weitergeben kann. Das wurde auch oben schon mehrfach gesagt.
Supportet sie das, wie viele andere v6 Router nicht, scheitert das Vorhaben. Ggf. ist das auch der Grund warum es dafür keinerlei Anleitungen gibt.
Wenn das der Fall sein sollte hast du nur die Option das du das in der pfSense statisch machst und dann bei jedem IP Wechsel diese v6 Range manuell anpassen musst.
Mitglied: Visucius
Visucius 25.05.2022 um 09:41:55 Uhr
Goto Top
Ist vielleicht ne doofe Frage:

Ist es Heute nicht mehr üblich, sowas direkt beim Hersteller-Support rückzufragen?! Der muss doch (hoffentlich) wissen ob das möglich ist?! Und wenn hinreichend Fragen dahingehend eintrudeln auch entsprechend Einfluss auf die Entwicklungsabteilung nehmen?!
Mitglied: aqui
aqui 25.05.2022 aktualisiert um 09:50:37 Uhr
Goto Top
Doofe Fragen gibts doch nicht! face-wink
Das ist bei einer Community Firewall wie pfSense oder OPNsense nur über deren Community Foren möglich, es sei denn der TO hat eine offizielle Version auf NetGate Hardware. face-wink
Wäre aber in der Tat wirklich der zielführendere Weg.
Mitglied: colinardo
colinardo 25.05.2022 aktualisiert um 10:27:23 Uhr
Goto Top
Zitat von @aqui:

Die pfSense selber kann Prefix Delegation:
https://docs.netgate.com/pfsense/en/latest/services/dhcp/ipv6.html
Die zentrale Frage ist aber ob sie selber einen dynamisch per PD gelernten Prefix mit einer größeren Maske wiederum von sich aus als PD im DHCPv6 Server weitergeben kann. Die meisten Router können das nicht.
Allerdings gibt es ein Setup in Kombination mit der FritzBox wo das zumindestens auf der FritzBox geht:
https://www.altmetaller.de/ipv6-pfsense-hinter-fritzbox-6360-kabel-deuts ...
https://blog.veloc1ty.de/2019/05/26/pfsense-opnsense-ipv6-delegation-fri ...
Die Frage ist also generell ob die pfSense den dynamisch gelernten Prefix selber per PD weitergeben kann. Das wurde auch oben schon mehrfach gesagt.
Supportet sie das, wie viele andere v6 Router nicht, scheitert das Vorhaben. Ggf. ist das auch der Grund warum es dafür keinerlei Anleitungen gibt.
Wenn das der Fall sein sollte hast du nur die Option das du das in der pfSense statisch machst und dann bei jedem IP Wechsel diese v6 Range manuell anpassen musst.

Die pfSense kann das mit "dynamischen Prefixen" (noch) nicht:

Feature #9536 Support dynamic prefix in DHCPv6 Server

Wundert mich eigentlich auch etwas, selbst ein Mikrotik erledigt das Weitergeben des dynamischen Prefixes an hintergelagerte Router mit größerem Prefix schon ewig.

Bleibt also bei der pfSense momentan nur das statische hinterlegen des aktuellen Prefixes, oder man bemüht ein Cron-Skript das den Range bei Änderung am WAN aktualisiert.

Grüße Uwe
Mitglied: aqui
aqui 25.05.2022 aktualisiert um 10:35:46 Uhr
Goto Top
Wenn man den folgenden Thread
https://forum.opnsense.org/index.php?topic=9438.0
richtig versteht dann kann zumindestens die OPNsense damit wohl umgehen.
Ein Cisco Router kann übrigens einen dynamisch gelernten Prefix auch nicht selber wieder per PD weitergeben. Nur statisch. Wäre da sicher auch mal einen Feature Request wert. 😉
Mitglied: mossox
mossox 25.05.2022 um 10:56:54 Uhr
Goto Top
Ich bin für jeden Ratschlag dankbar.
Im Netgate Forum lese ich parallel mit.
Das Problem scheinen viele User zu haben.

Es ist m.E. nicht ausgeschlossen, dass dieser Teil der pfSense-Software (noch) nicht ausgereift ist.

Und wie du schreibst, aqui, viele andere Hersteller bieten ein solcher Feature gar nicht an.

Fraglich ist also, wie ich an dieser Stelle weiter mache.

Da es funktionieren soll, will ich nicht ewig weiter basteln und hoffen, dass der Hersteller irgendwann eine Lösung out of the box hat. Das kann bei OpenSource sehr lange dauern. Ich denke auch, dass der Fokus in der (Weiter-) Entwicklung nicht unbedingt auf dem doch sehr speziellen Thema der dynamischen ipV6 pd liegt. Kann mich täuschen...

Faktisch habe ich nun diese Möglichkeiten:

a)
Ich könnte natürlich das L3-Setup aufgeben und den Mikrotik künftig nur noch als L2 Switch einsetzen.
Dann soll die Sense das Inter-Vlan-Routing machen.
Hier stehen die Chancen m.E. höher, dass die dynamische prefix Delegierung auf den Interfaces funktioniert und die Weiterreichung auf die VLANs funktioniert.

b)
Ich könnte mir das ganze VLAN-Thema schenken.
Es handelt sich um ein Home-Lab und naja der Nutzen von VLANs im Heimnetzwerk sei mal in Frage gestellt.
Mitglied: mossox
mossox 25.05.2022 um 11:15:34 Uhr
Goto Top
Das Ticket an die PfSense-Entwickler ist seit dem 18.05.2019 offen :D.
Scheinbar hat keiner große Motivation, das zu lösen...
Mitglied: colinardo
colinardo 25.05.2022 aktualisiert um 11:22:07 Uhr
Goto Top
Setz da einen potenten Mikrotik (RB4011/RB5009) an die Stelle der pfSense, problem solved.
Ich könnte dir das Prefix Update auch für die pfSense scripten wenn ich mal Zeit finde, update der prefixes in radvd.conf und dhcpdv6.conf, feddisch, sollte kein großer Aufwand sein.
Mitglied: mossox
mossox 25.05.2022 um 11:33:24 Uhr
Goto Top
Nun ja.
Aber es war eben die Gesamtlösung pfSense, die ich wollte.

Vorhanden auch noch ein RB3011 und auch ein CSR326 liegt hier noch rum.
Eines der Geräte dann vor die pfSense gesetzt und die Einwahl über PPPoE das machen lassen...

Internet <-- Glasfasermodem --> RB3011/CSR326 --> pfSense --> CSR328

Aber ist das dann "der Stein der Weisen" ?
Mitglied: colinardo
colinardo 25.05.2022 aktualisiert um 11:40:49 Uhr
Goto Top
Zitat von @mossox:
Aber ist das dann "der Stein der Weisen" ?
Wenn es deine Anforderungen die du hast erfüllt, warum nicht?
Vorhanden auch noch ein RB3011 und auch ein CSR326 liegt hier noch rum.
Wenn dann nur der RB3011 der hat mehr Power fürs Routing/Firewall und NAT, den CSR326 kannst du mit seiner schwachbrüstigen CPU dafür vollkommen vergessen.
Mitglied: mossox
mossox 25.05.2022 um 11:40:53 Uhr
Goto Top
Naja, also die Komplexität steigt dadurch ja noch weiter.
Und das alles nur für eine Home Lab, weil ich native ipV6 Konnektivität haben will :D.

Dann wäre die Frage ja schon, wie die dynamischen Prefixe durch die pfSense geschleust werden können.
Die Sense müsste die prefixe nach diesem Gedankengang ja auch weitergeben, wo wir ggf. wieder beim Ausgangsproblem wären, oder?!
Mitglied: colinardo
colinardo 25.05.2022 aktualisiert um 11:52:51 Uhr
Goto Top
Zitat von @mossox:
Dann wäre die Frage ja schon, wie die dynamischen Prefixe durch die pfSense geschleust werden können.
Die Sense müsste die prefixe nach diesem Gedankengang ja auch weitergeben, wo wir ggf. wieder beim Ausgangsproblem wären, oder?!
Nein. Wenn du nur reine IPv6 Konnektivität haben willst brauchst du keine PD Weitergabe an hintergelagerte Router die Ihrerseits ein Prefix weitergeben. Hier reicht das "Tracking" an den LAN/VLAN Interfaces der pfSense. So bekommt jedes Interface/vlan sein IPv6 Subnet aus dem dynamisch zugeordneten Prefix zugewiesen. Ich glaube du verwechselst hier was grundlegend.
Mitglied: Visucius
Visucius 25.05.2022 aktualisiert um 11:57:38 Uhr
Goto Top
Willst Du einfach, nimm ne Fritze! face-wink

Wenn Du entscheidest, dass Du ipv6 und vLAN im HomeLAB "benötigst" – und das musst Du ja für Dich alleine entscheiden – dann heißt das halt "leiden" in irgendeiner Form: Geld oder Zeit/Hirnschmalz/Frust face-wink

(no free lunch today)
Mitglied: mossox
mossox 25.05.2022 um 12:01:54 Uhr
Goto Top
Da hast du vollem Recht, @Visucius.

Aber für den current track der pfSense steht jedenfalls mal fest, dass es per Stand heute nicht funktioniert.

Bleiben ja noch andere Alternativen.
Sogar ein openSense-Image könnte man ja probeweise aufspielen und testen.
Mitglied: mossox
mossox 25.05.2022 um 12:23:35 Uhr
Goto Top
Zitat von @colinardo:

Zitat von @mossox:
Dann wäre die Frage ja schon, wie die dynamischen Prefixe durch die pfSense geschleust werden können.
Die Sense müsste die prefixe nach diesem Gedankengang ja auch weitergeben, wo wir ggf. wieder beim Ausgangsproblem wären, oder?!
Nein. Wenn du nur reine IPv6 Konnektivität haben willst brauchst du keine PD Weitergabe an hintergelagerte Router die Ihrerseits ein Prefix weitergeben. Hier reicht das "Tracking" an den LAN/VLAN Interfaces der pfSense. So bekommt jedes Interface/vlan sein IPv6 Subnet aus dem dynamisch zugeordneten Prefix zugewiesen. Ich glaube du verwechselst hier was grundlegend.

die Clients in den Subnetzen sollen über ipV6 ins Internet kommen.
Sorry wenn das falsch ausgedrückt war.
Mitglied: colinardo
colinardo 25.05.2022 aktualisiert um 12:53:20 Uhr
Goto Top
Zitat von @mossox:
die Clients in den Subnetzen sollen über ipV6 ins Internet kommen.
Und, wo ist jetzt das Problem? Dafür brauchst du kein nachgelagertes Prefix Delegation denn die pfSense macht ja schon aus dem globalen dynamischen Prefix 64er Subnetze die es an den LANs/vLans zur Verfügung stellt.
pfSense WAN Port auf DHCPv6 stellen, LAN/vlan Port auf "Tracking" und Interface auf WAN stellen. Intern dann per SLAAC unmananged oder DHCPv6 managed verteilen, fertig ist die IPv6 Soße.
Mitglied: aqui
aqui 25.05.2022 um 13:15:47 Uhr
Goto Top
Da sind wir dann wieder bei der Empfehlung angekommen das gesamte Routing über die Firewall laufen zu lassen und den MT Switch rein nur im L2 Mode zu betreiben... 😉
Oder flash deine pfSense um in eine OPNsense. Laut dem Thread oben soll die ja damit umgehen können.
Mitglied: mossox
mossox 25.05.2022 um 15:38:05 Uhr
Goto Top
Zitat von @colinardo:

Zitat von @mossox:
die Clients in den Subnetzen sollen über ipV6 ins Internet kommen.
Und, wo ist jetzt das Problem? Dafür brauchst du kein nachgelagertes Prefix Delegation denn die pfSense macht ja schon aus dem globalen dynamischen Prefix 64er Subnetze die es an den LANs/vLans zur Verfügung stellt.
pfSense WAN Port auf DHCPv6 stellen, LAN/vlan Port auf "Tracking" und Interface auf WAN stellen. Intern dann per SLAAC unmananged oder DHCPv6 managed verteilen, fertig ist die IPv6 Soße.

Nein! Eben genau das funktioniert ja nicht.
Bei dieser Vorgehensweise werden auf den Clients (Win 10/11) nur verbindungslokale ipv6 Adressen gebildet.

Und im Moment würde die Sense dem "LAN" das ganze ja auch höchstens über das Transfernetz zur Verfügung stellen (s.o.). Die Sense macht VLAN-mäßig rein gar nix. Es besteht lediglich zwischen dem WAN-Port und dem Modem das obligatorische VLAN7, weil die Delegömm das so will.
Mitglied: colinardo
colinardo 25.05.2022 aktualisiert um 15:41:34 Uhr
Goto Top
Zitat von @mossox:
Nein! Eben genau das funktioniert ja nicht.
Bei dieser Vorgehensweise werden auf den Clients (Win 10/11) nur verbindungslokale ipv6 Adressen gebildet.
Sicher funktioniert das, wenn nein dann konfigurierst du es falsch. Kann ich dir gerne zeigen.
Und im Moment würde die Sense dem "LAN" das ganze ja auch höchstens über das Transfernetz zur Verfügung stellen (s.o.). Die Sense macht VLAN-mäßig rein gar nix.
VLANs haben damit ja auch erst mal nichts mit meiner oben beschriebenen Funktionsweise zu tun. Das ist absoluter Standard in einer pfSense.
Mitglied: mossox
mossox 25.05.2022 um 15:40:36 Uhr
Goto Top
Zitat von @aqui:

Da sind wir dann wieder bei der Empfehlung angekommen das gesamte Routing über die Firewall laufen zu lassen und den MT Switch rein nur im L2 Mode zu betreiben... 😉
Oder flash deine pfSense um in eine OPNsense. Laut dem Thread oben soll die ja damit umgehen können.

Einen Versuch wäre es wert, ja.
Das würde ich dann aber mit der Backup-IPU machen.
Auch davon liegt hier noch eine rum...
Mitglied: mossox
mossox 25.05.2022 um 16:45:04 Uhr
Goto Top
Zitat von @colinardo:

Zitat von @mossox:
Nein! Eben genau das funktioniert ja nicht.
Bei dieser Vorgehensweise werden auf den Clients (Win 10/11) nur verbindungslokale ipv6 Adressen gebildet.
Sicher funktioniert das, wenn nein dann konfigurierst du es falsch. Kann ich dir gerne zeigen.
Und im Moment würde die Sense dem "LAN" das ganze ja auch höchstens über das Transfernetz zur Verfügung stellen (s.o.). Die Sense macht VLAN-mäßig rein gar nix.
VLANs haben damit ja auch erst mal nichts mit meiner oben beschriebenen Funktionsweise zu tun. Das ist absoluter Standard in einer pfSense.

Ja genau das ist doch der Punkt.
Ich habe wahrscheinlich irgendwo einen Fehler bei der Konfiguration gemacht.
Mitglied: colinardo
colinardo 25.05.2022 aktualisiert um 17:27:50 Uhr
Goto Top
Hier ist es eigentlich schön zusammengefasst: PFsense IPv6 - Was mache ich falsch ?
Mitglied: mossox
mossox 30.05.2022 um 14:14:09 Uhr
Goto Top
Ich bin am Wochenende dann auf das Layer-2 Konzept umgestiegen.
Die Sense routet nun fröhlich und IPv6 habe ich auch gleich inplementiert.

Jetzt sorgt es mich nur noch um das Sicherheitskonzept, da ja alle IPv6-fähigen Geräte direkt angreifbar von Außen sind.
Für die Win-Rechner wurde die bordeigene Firewall endlich mal eingerichtet. Das sollte einen gewissen Grundschutz bieten.

Ander sieht es bei dem ganz Wust von IoT-Geräte aus.
Bin heilfroh, dass die allermeisten noch kein v6 inplementiert haben.
Da bin ich gespannt, was die Hersteller hoffentlich irgendwann mal i.S. Sicherheit in die Geräte inplementieren.
Aber wie? Ich gehe nicht davon aus, dass die dann alle Paketfilter bekommen. Oder doch??
Mitglied: colinardo
Lösung colinardo 30.05.2022 aktualisiert um 14:48:31 Uhr
Goto Top
Zitat von @mossox:
Jetzt sorgt es mich nur noch um das Sicherheitskonzept, da ja alle IPv6-fähigen Geräte direkt angreifbar von Außen sind.
Nein das ist ein Trugschluss den viele IPv6 Anfänger missverstehen! Die haben zwar
nun eine global routbare Adresse und das NAT entfällt, sie werden aber weiterhin durch die Firewall der pFSense geschützt. Das was du dort in der Forward-Chain nicht eingehend durchlässt erreicht die Clients auch nicht! Genau wie bei IPv4 auch.
Mitglied: aqui
Lösung aqui 30.05.2022 um 16:36:39 Uhr
Goto Top
v6 ist da nicht anders als v4. 😉
Ein wenig kostenlose v6 Literatur hilft da sicher zum besseren Verständnis:
https://danrl.com/ipv6/
Mitglied: mossox
mossox 30.05.2022 um 17:33:00 Uhr
Goto Top
Danke. Da bin ich einem grundlegenden Missverständnis aufgesessen.

Bin immer wieder froh, dass Ihr mir helft!!

Danke
Mitglied: Visucius
Visucius 30.05.2022 um 19:40:50 Uhr
Goto Top
Naja, NAT fällt doch schon weg. Nur war/ist NAT halt vorwiegend eine "gefühlte" Sicherheit.
Mitglied: mossox
mossox 30.05.2022 um 23:36:25 Uhr
Goto Top
Zitat von @colinardo:

Zitat von @mossox:
Jetzt sorgt es mich nur noch um das Sicherheitskonzept, da ja alle IPv6-fähigen Geräte direkt angreifbar von Außen sind.
Nein das ist ein Trugschluss den viele IPv6 Anfänger missverstehen! Die haben zwar
nun eine global routbare Adresse und das NAT entfällt, sie werden aber weiterhin durch die Firewall der pFSense geschützt. Das was du dort in der Forward-Chain nicht eingehend durchlässt erreicht die Clients auch nicht! Genau wie bei IPv4 auch.

Hierzu nochmal eine Frage:

Ich habe den VLAN-Interfaces ja statische private IPv4 Adressen zugeteilt.
IPv6-Adressen erhalten die Interfaces über "track interface" von der Delegömm.

In meinem Leichtsinn und um Inter-VLAN-Routing zu zu lassen, habe ich auf den VLAN-Interfaces allow any-to-any für IPv4 und IPv6 Regeln erstellt.
Keine gute Idee, oder?

Der physische WAN-Port erlaubt nur ICMP für IPv4 und IPv6.
rules
Mitglied: colinardo
colinardo 30.05.2022 aktualisiert um 23:52:51 Uhr
Goto Top
Zitat von @mossox:
In meinem Leichtsinn und um Inter-VLAN-Routing zu zu lassen, habe ich auf den VLAN-Interfaces allow any-to-any für IPv4 und IPv6 Regeln erstellt.
Keine gute Idee, oder?
Kommt drauf an was du willst, wenn ich alles erlaube brauche ich ja eigentlich keine Firewall.
Du solltest dir erst mal klar machen wie eine Firewall und das Regelwerk überhaupt arbeitet. Schnapp dir mal eine iptables oder nftables Firewall auf einem plain vanilla Linux und lerne von Grund auf die CHAINs und deren Arbeitsweise kennen, kann ich bei solchem Fragen wirklich nur jedem empfehlen. Vor allem auch was ICMPv6 für eine wichtige Rolle bei der Kommunikation im IPv6 Netz spielt.
Mitglied: aqui
aqui 31.05.2022 um 10:48:33 Uhr
Goto Top
allow any-to-any für IPv4 und IPv6 Regeln erstellt.
Die Regel ist generell etwas fahrlässig.
Wenn du schon Scheunentore bei einer FW aufmachst solltest du sie wenigstens nur für die Source Netze öffnen von denen auch Traffic kommen kann.
Also IP Source: Interface_net Any Destination: Any
Du willst ja nicht das auch von deinen lokalen Netzen jemand mit völlig anderen IPs die FW nutzt
Bei dynamisch wechselnden v6 PDs geht das für v6 natürlich nicht, denn wechselt der Prefix hast du auch andere lokale v6 Netzadressen. Folglich solltest du die Regelwerke dann für v4 und v6 trennen. Bei v6 könnte man dann zumindestens den globalen v6 Block der Delegömm als Source einstellen.

Generell solltest du einmal ernsthaft über deine Firewall "Philosophie" nachdenken. Es ist ja ziemlich sinnfrei eine Firewall mit allem völlig offen zu betreiben und damit sich selber konterkarierend.
Die ist ja dann per se keine Firewall mehr sondern ein Router. Dann macht es doch mehr Sinn dort einen simplen Router zu plazieren als eine von dir vergewaltigte Firewall die keine mehr ist.
Mitglied: 108012
108012 04.06.2022 um 21:36:52 Uhr
Goto Top
Keine gute Idee, oder?
Also man sollte irgend wo zwischen voll Paranoia und "alles auf" liegen oder sich einpendeln.

Wenn Du eine pfSense vor Ort hast kann die sicherlich auch IPv6 am WAN und in der DMZ und
Dein MikroTik macht dahinter SPI (netfilter) und NAT auf IPv4 Basis. Ist hart, aber passt. Zwischen
den beiden Geräten hast Du dann eben eine DMZ! Da kann der IPTV oder die Magenta Box rein
und alles andere ist im LAN hinter dem MikroTik Router.

Dobby