ak-47.2
Goto Top

PFsense Cluster MultiWAN PPPoE

Liebes Forum,

ich betreue eine kleinere Firma (< 20 Mann, jedoch mit Wachstum), der ich jetzt, durch ein paar Investitionen, so gut wie es geht Redundanzen im Netzwerk einbinden möchte, da ich dort in der Woche nur 1x vor Ort bin.

Dazu habe ich jetzt 2x die Cisco C9200 im Stack, die das Routing der internen Netzwerke machen(Trennung auf Basis von VLAN's für VoIP, Drucker, WLAN, CLients, Server usw.), sowie 2 Appliances, auf der PFSense laufen, eingerichtet. Die beiden PFSensen sind per LAG LACP auf dem Stack terminiert.
Zusätzlich haben wir 2x ein VDSL von der Telekom sowie von Vodafone, das VDSL der Telekom wird jedoch Anfang nächsten Jahres durch Glasfaser ersetzt.

Das alte Netz wurde vor 2 Wochen offline(kompletter Reset aller Systeme, Datensicherung natürlich vorhanden) genommen und so baue ich nach und nach das Netzwerk aus und suche nach Verbesserungspotential.


Um ein Multi-WAN auf den PFSensen mittels CLuster zu realisieren würde sich CARP anbieten. Die von mir gefundenen Designs basieren auf einer Router-Kaskade, d.h. es gibt doppeltes NAT, da die Einwahl nicht durch die PFsense erfolgt, sondern WAN-Router eingesetzt werden, die dann auf (mindestens) einem Switch terminiert sind und dann zum PFSense-Netzwerk übergehen.

Meine Frage ist jetzt:

Hat jemand von euch ein CARP-Design am laufen, beim dem das doppelte NAT überflüssig ist und kann mir dazu eine Anleitung schicken oder welchen Tipp hättet ihr für ein Failover auf Basis von 2x WAN, wo die Einwahl per PPPoE erfolgt, sowie 2x PFSensen.

Im Idealfall stelle ich es mir so vor, dass beide WAN-Anschlüsse auf beiden PFSensen gepatched sind und im Falle eines Ausfalls einer WAN-Verbindung/Appliance nach kurzer Zeit ein Failover auffängt. Mir ist bekannt, dass dazu Multiple PPPoE Sessions vom Provider unterstützt werden müssen, tun sie in meinem Fall nicht, weswegen dies schon in der Form nicht klappen kann.

Ich danke euch im Voraus für Tipps und Hinweise.

LG
AK

Content-Key: 3847677415

Url: https://administrator.de/contentid/3847677415

Printed on: April 24, 2024 at 09:04 o'clock

Member: ChriBo
ChriBo Sep 05, 2022 at 15:07:30 (UTC)
Goto Top
Hi,
du brauchst pro VDSL Zugang ein Modem.
wg. CARP mit PPPoE: schau mal hier: https://forum.netgate.com/topic/135904/configure-an-pppoe-on-an-carp-if/ ...
hatte sich so vor längerer Zeit mal erfolgreich implementiert

CH
Member: aqui
aqui Sep 05, 2022 at 15:31:23 (UTC)
Goto Top
Klassische nur Modems dafür sind die üblichen Verdächtigen Vigor 165 oder 167 oder Zyxel VMG 3006. Der Firewall WAN Port Mode ist dann PPPoE damit landet dann das Internet direkt auf der Firewall ohne "Durchlauferhitzer" davor. Multi WAN Konfig Beispiele z.B.: hier.
Mitglied: 108012
108012 Sep 05, 2022 at 16:39:31 (UTC)
Goto Top
Hallo zusammen,

sowie 2 Appliances, auf der PFSense laufen, eingerichtet.
Können wir dazu auch etwas mehr Info bekommen? Xeon E3, Intel Atom C3000, RAM, Ports und wie schnell
die Ports sind?

Die beiden PFSensen sind per LAG LACP auf dem Stack terminiert.
Mit zwei mal 1 GBit/s oder 2,5 GBit/s oder 5 GBit/s oder 10 GBit/s?

Zusätzlich haben wir 2x ein VDSL von der Telekom sowie von Vodafone, das VDSL der Telekom wird
jedoch Anfang nächsten Jahres durch Glasfaser ersetzt.
Also 4 WAN Anschlüsse und demnächst zwei mal mit 1 GBit/s am WAN oder zwei mal mit 500 MBit/s?

pfSense schreibt selber das man für 500 MBit/s Routing-Durchsatz mindestens eine 2,0Ghz CPU braucht
und Du hast dann wieviel? 2x unbekannt von Telekom plus zwei mal unbekannt von Vodafone. Oder etwas
anders formoliert, schafft Deine Hardware das dann auch noch?

Das alte Netz wurde vor 2 Wochen offline (kompletter Reset aller Systeme, Datensicherung natürlich
vorhanden) genommen und so baue ich nach und nach das Netzwerk aus und suche nach
Verbesserungspotential.
Die Modems (ONTs) von der Telekom für FTTH/FTTC sind in der Regel mit einem 2,5 GBit/s Port ausgestattet und
der sollte dann natürlich auch sinnvollerweise auf der Seite der pfSense vorhanden sein. Und das gleiche
gilt für einen Switch davor.

Um ein Multi-WAN auf den PFSensen mittels CLuster zu realisieren würde sich CARP anbieten.
Man kann auch VRRP nehmen und dann ein Loadbalancing machen was einem ein Failover gleich mit
dazu anbietet und wenn die pfsense1 ausfällt, dann übernimmt die zweite das alles.

Die von mir gefundenen Designs basieren auf einer Router-Kaskade, d.h. es gibt doppeltes NAT, da
die Einwahl nicht durch die PFsense erfolgt, sondern WAN-Router eingesetzt werden, die dann auf
Wenn dem so ist bzw. sein sollte, dann macht die pfSense kein PPPoE und man kann den WAN Verkehr
auf Queues aufteilen die dann von der Anzahl der CPU Kerne profitieren. Ansonsten wenn die pfSense
PPPoE macht wird der Verkehr (Single threated) immer nur auf einem CPU Kern laufen und dann eben
auch nur mit bzw. über eine Queue! Denke daran das viele Router von AVM zum Beispiel nur bis 300
MBit/s an WAN Durchsatz schaffen bzw. in der Lage sind umzusetzen! Erst die AVM FB 5530 und 5590
sind in der Lage bis zu 1 Gbit/s zu routen.

(mindestens) einem Switch terminiert sind und dann zum PFSense-Netzwerk übergehen.
Der sollte auch 2,5 GBit/s Ports haben und VLANs unterstützen. Und wenn da nicht schon der
Flaschenhals entstehen soll, dann wären 2,5 GBit/s Ports am Switch und an der pfSense nicht schlecht?

Dobby

Meine Frage ist jetzt:

Hat jemand von euch ein CARP-Design am laufen, beim dem das doppelte NAT überflüssig ist und kann mir dazu eine Anleitung schicken oder welchen Tipp hättet ihr für ein Failover auf Basis von 2x WAN, wo die Einwahl per PPPoE erfolgt, sowie 2x PFSensen.
Member: AK-47.2
AK-47.2 Sep 06, 2022 updated at 08:12:22 (UTC)
Goto Top
Zitat von @108012:

Hallo zusammen,

sowie 2 Appliances, auf der PFSense laufen, eingerichtet.
Können wir dazu auch etwas mehr Info bekommen? Xeon E3, Intel Atom C3000, RAM, Ports und wie schnell
die Ports sind?
Klar, es ist folgendes Produkt: https://www.landitec.com/products/open-source-appliance-solutions/scope7 ... -> Verbaut ist ein Xeon E3-1275V6, die aktuelle Konfiguration der Ports im Netzwerk ist rein Gigabit, also ausschließlich, hier ist aber demnächst an eine Erweiterung gedacht worden.
Die beiden PFSensen sind per LAG LACP auf dem Stack terminiert.
Mit zwei mal 1 GBit/s oder 2,5 GBit/s oder 5 GBit/s oder 10 GBit/s?
zwei Mal 1GBit
Zusätzlich haben wir 2x ein VDSL von der Telekom sowie von Vodafone, das VDSL der Telekom wird
jedoch Anfang nächsten Jahres durch Glasfaser ersetzt.
Also 4 WAN Anschlüsse und demnächst zwei mal mit 1 GBit/s am WAN oder zwei mal mit 500 MBit/s?
Nein, 2x VDSL, mit 175 Down und 40 Up bei Vodafpne, sowie 100 Down und 40 Rauf bei Telekom, es bleiben 2 WAN Anschlüsse, der von der Telekom wird aber durch Glas ersetzt.
pfSense schreibt selber das man für 500 MBit/s Routing-Durchsatz mindestens eine 2,0Ghz CPU braucht
und Du hast dann wieviel? 2x unbekannt von Telekom plus zwei mal unbekannt von Vodafone. Oder etwas
anders formoliert, schafft Deine Hardware das dann auch noch?
ich denke, dass das mit der Konfiguration drin sein muss.
Das alte Netz wurde vor 2 Wochen offline (kompletter Reset aller Systeme, Datensicherung natürlich
vorhanden) genommen und so baue ich nach und nach das Netzwerk aus und suche nach
Verbesserungspotential.
Die Modems (ONTs) von der Telekom für FTTH/FTTC sind in der Regel mit einem 2,5 GBit/s Port ausgestattet und
der sollte dann natürlich auch sinnvollerweise auf der Seite der pfSense vorhanden sein. Und das gleiche
gilt für einen Switch davor.

Um ein Multi-WAN auf den PFSensen mittels CLuster zu realisieren würde sich CARP anbieten.
Man kann auch VRRP nehmen und dann ein Loadbalancing machen was einem ein Failover gleich mit
dazu anbietet und wenn die pfsense1 ausfällt, dann übernimmt die zweite das alles.

Die von mir gefundenen Designs basieren auf einer Router-Kaskade, d.h. es gibt doppeltes NAT, da
die Einwahl nicht durch die PFsense erfolgt, sondern WAN-Router eingesetzt werden, die dann auf
Wenn dem so ist bzw. sein sollte, dann macht die pfSense kein PPPoE und man kann den WAN Verkehr
auf Queues aufteilen die dann von der Anzahl der CPU Kerne profitieren. Ansonsten wenn die pfSense
PPPoE macht wird der Verkehr (Single threated) immer nur auf einem CPU Kern laufen und dann eben
auch nur mit bzw. über eine Queue! Denke daran das viele Router von AVM zum Beispiel nur bis 300
MBit/s an WAN Durchsatz schaffen bzw. in der Lage sind umzusetzen! Erst die AVM FB 5530 und 5590
sind in der Lage bis zu 1 Gbit/s zu routen.

(mindestens) einem Switch terminiert sind und dann zum PFSense-Netzwerk übergehen.
Der sollte auch 2,5 GBit/s Ports haben und VLANs unterstützen. Und wenn da nicht schon der
Flaschenhals entstehen soll, dann wären 2,5 GBit/s Ports am Switch und an der pfSense nicht schlecht?
Die Geräte ließen sich mit Karten auf 10GBit erweitern.
Dobby

Meine Frage ist jetzt:

Hat jemand von euch ein CARP-Design am laufen, beim dem das doppelte NAT überflüssig ist und kann mir dazu eine Anleitung schicken oder welchen Tipp hättet ihr für ein Failover auf Basis von 2x WAN, wo die Einwahl per PPPoE erfolgt, sowie 2x PFSensen.

Hier habe ich nach Durchlesen meines Beitrages gesehen, dass der Punkt, der mir wichtig ist, gar nicht beschrieben wurde:

Ich würde die ganze Geschichte gerne ohne doppeltes NAT machen, also im Idealfall die WAN Verbindungen direkt auf den PFSensen binden. Ich habe bereits 2x Draytek Vigor 165 sowie 170, die im Bridge Mode werkeln.

Also vielleicht nochmal vernünftig formuliert:

Was wäre das beste Design, wenn ich auf doppeltes NAT verzichten möchte, die PFSensen im Cluster laufen haben will und die PFSensen die Einwahl per PPPoE machen für die WAN Verbindungen, wenn ich davor beide Modems im Bridge Mode belassen möchte und die WAN-Verbindungen im Failover konfigurieren möchte?


Zitat von @ChriBo:

Hi,
du brauchst pro VDSL Zugang ein Modem.
wg. CARP mit PPPoE: schau mal hier: https://forum.netgate.com/topic/135904/configure-an-pppoe-on-an-carp-if/ ...
hatte sich so vor längerer Zeit mal erfolgreich implementiert

CH

Danke für deinen Kommentar, die Lösung hatte ich ebenfalls gesehen, hier schien mir jedoch die Ausgereiftheit der Lösung etwas zweifelhaft.
Wenn du jedoch sagst, dass du es exakt so betreibst und es keine Probleme gibt, wäre das schon mal sehr aufmunternd es doch zu probieren.
Member: AK-47.2
AK-47.2 Sep 06, 2022 at 08:09:36 (UTC)
Goto Top
Zitat von @aqui:

Klassische nur Modems dafür sind die üblichen Verdächtigen Vigor 165 oder 167 oder Zyxel VMG 3006. Der Firewall WAN Port Mode ist dann PPPoE damit landet dann das Internet direkt auf der Firewall ohne "Durchlauferhitzer" davor. Multi WAN Konfig Beispiele z.B.: hier.

Könntest du mir sagen, wie du das genau machen würdest?

Also stand sind:

2x WAN wie beschrieben, Einwahl per PPPoE auf der PFSense, 2x Vigor 165/167, 2 Mal Pfsense-Appliance mit 8 Netzwerkports pro Appliance.

Ich würde gerne die PFSensen im CLuster betreiben und ein WAN-Failover konfigurieren, jedoch ohne doppeltes NAT.
Deine ANleitung habe ich mir angeschaut, konnte jedoch nur den Anfang sehen, da kein Abo vorhanden ist. Sollte diese Anleitung meinem Ziel entsprechen, würde ich das ABo natürlich abschließen.

Wichtig ist jedoch, dass ich doppeltes NAT unbedingt vermeiden möchte.
Mitglied: 108012
108012 Sep 06, 2022 at 09:27:56 (UTC)
Goto Top
Hallo,

ich schreibe Dir das jetzt nicht um Dich zu ärgern, aber da sind manchmal eben echt mehr Punkte mit im Spiel
und daran würde ich dann abmachen wollen was ich denn im Endeffekt nutze, VRRP oder mit etwas mit CARP.

Provider:
Anrufen bei der Telekom und nachfragen ob die FTTH Lösung mit PPPoE ist. Dann fragen ob man einen kleinen
Small-Business Zugang ohne PPPoE bekommen kann und was das mehr kostet abklären.

Hardware:
4 Modems an einen Switch vor den 2 pfSense und hinter den beiden pfSense dann zwei LAN Switche als Core.
Oder wenn nicht anders vorhanden dann gleich an die beiden Access Switche (Cisco). Also ein extra Switch kaufen
der vor die beiden pfSense kommt.
1. - NETGEAR Smart Switch (MS510TXM) 10 Port 10G Multi-Gigabit Ethernet – verwaltet, 8 x Multi-Gig-Ports, 2 SFP+
Für ca. ~750 € und mit 1/2,5/5,0 und 10 Gbit/s Ports
2. - Netgear MS510TXM 10 Port Multi-Gigabit/10GbE LAN Switch Smart (8x Multi-Gig-Ports, 2x 10G-SFP+
Für ca. ~470 € auch mit 1/2,5/5,0 und 10 GBit/s Ports

Jetzt ist, bzw. wäre die 2,5 GBit/s Karte von der weiter unten geredet wird unnötig. Aber es wäre schon schön
wenn man die 2 pfSense mit einer 10 GBit/s Karte an diesen Switch anbinden würde.

Zwei der Modems werden demnächst dann wohl erneuert und wohl von der Telekom kommen. Und zwar für die
2 x 1GBit/s Glasfaseranbindung (FTTH/FTTB/FTTC) und die nennt man ONT! Und die haben in der Regel immer
einen 2,5 GBit/s Port!!!!! Und wenn das passen soll mit der Geschwindigkeit, dann solltest Du Dich jetzt erkundigen
ob man für Deine /Eure Appliances' jeweils eine Karte mit einem 2,5 GBit/s Port käuflich erstehen kann und diese
einbauen kann! Wenn dem nicht so sein sollte, dann würde ich mal nachsehen wollen ob diese Karte hier in Eure
beiden Appliances' rein passen! Bitte vermeide Karten mit folgenden Chipsätzen (Intel i225-V v1/2) und Intel
i226-xxx denn pfSense unterstützt nur fehlerfrei die Intel i225-IT Intel i225-I und i226-AT und Intel i226-V v3!!!!

Intel 2,5 GBit/s Karte die gut unterstützt wird.

Software:
PPPoE bedeutet für pfSense, dass jeder WAN Port "nur" über einen Prozessorkern (CPU Core) geleitet wird und nicht
über mehrere Prozessorkerne (CPU Cores). Das Deine CPU 4 Stück davon hat und deutlich über 3,0GHz schnell ist sollte das mit den vollen 2 x 1 GBit/s von der Telekom locker laufen! Die werden voll geroutet ohne Verlust!
Mindestens auf pfSense 2.6 upgraden.

Konfiguration:
  • 1 WAN Gateway erstellen, Ratio einstellen, und dann überlegen ob man Session based, Policy based oder gar
Service based Load Balancing macht, um den Internetverkehr über die 4 WANs zu routen.
  • Und jetzt würde ich erst an die Überlegung mit VRRP oder via CARP rangehen wollen.

Dobby
Member: ChriBo
ChriBo Sep 06, 2022 at 12:56:22 (UTC)
Goto Top
Hi,
Danke für deinen Kommentar, die Lösung hatte ich ebenfalls gesehen, hier schien mir jedoch die Ausgereiftheit der Lösung etwas zweifelhaft.Wenn du jedoch sagst, dass du es exakt so betreibst und es keine Probleme gibt, wäre das schon mal sehr aufmunternd es doch zu probieren.

Sorry, ich hatte mich etwas mißverständlich ausgedrückt: Wegen Wegfall des Anschlusses habe es nicht mehr live.
Es hat aber funktioniert. Probier es doch einfach mit einem Anschluß (Vodafone oder Telekom aus).
Wenn es funktioniert mache das gleiche mit dem anderen Anschluß, du brauchst halt insgesamt 4 Modems.

Wenn dies funktioniert, mach zwischen den beiden (virtuellen) WAN Anschlüssen dein WAN Failover.

Gruß
CH
Member: aqui
aqui Sep 06, 2022 at 15:58:46 (UTC)
Goto Top
Könntest du mir sagen, wie du das genau machen würdest?
Was oder wie ist das genau gemeint? Das Adaptieren der Modems und der PPPoE Betrieb oder das Aufsetzen des Clusters selbst?
Für letzteres gibt es eine entsprechende Doku bei Netgate:
https://docs.netgate.com/pfsense/en/latest/recipes/high-availability-mul ...
https://subscription.packtpub.com/book/cloud-and-networking/978178899317 ...