PFsense Cluster MultiWAN PPPoE
Liebes Forum,
ich betreue eine kleinere Firma (< 20 Mann, jedoch mit Wachstum), der ich jetzt, durch ein paar Investitionen, so gut wie es geht Redundanzen im Netzwerk einbinden möchte, da ich dort in der Woche nur 1x vor Ort bin.
Dazu habe ich jetzt 2x die Cisco C9200 im Stack, die das Routing der internen Netzwerke machen(Trennung auf Basis von VLAN's für VoIP, Drucker, WLAN, CLients, Server usw.), sowie 2 Appliances, auf der PFSense laufen, eingerichtet. Die beiden PFSensen sind per LAG LACP auf dem Stack terminiert.
Zusätzlich haben wir 2x ein VDSL von der Telekom sowie von Vodafone, das VDSL der Telekom wird jedoch Anfang nächsten Jahres durch Glasfaser ersetzt.
Das alte Netz wurde vor 2 Wochen offline(kompletter Reset aller Systeme, Datensicherung natürlich vorhanden) genommen und so baue ich nach und nach das Netzwerk aus und suche nach Verbesserungspotential.
Um ein Multi-WAN auf den PFSensen mittels CLuster zu realisieren würde sich CARP anbieten. Die von mir gefundenen Designs basieren auf einer Router-Kaskade, d.h. es gibt doppeltes NAT, da die Einwahl nicht durch die PFsense erfolgt, sondern WAN-Router eingesetzt werden, die dann auf (mindestens) einem Switch terminiert sind und dann zum PFSense-Netzwerk übergehen.
Meine Frage ist jetzt:
Hat jemand von euch ein CARP-Design am laufen, beim dem das doppelte NAT überflüssig ist und kann mir dazu eine Anleitung schicken oder welchen Tipp hättet ihr für ein Failover auf Basis von 2x WAN, wo die Einwahl per PPPoE erfolgt, sowie 2x PFSensen.
Im Idealfall stelle ich es mir so vor, dass beide WAN-Anschlüsse auf beiden PFSensen gepatched sind und im Falle eines Ausfalls einer WAN-Verbindung/Appliance nach kurzer Zeit ein Failover auffängt. Mir ist bekannt, dass dazu Multiple PPPoE Sessions vom Provider unterstützt werden müssen, tun sie in meinem Fall nicht, weswegen dies schon in der Form nicht klappen kann.
Ich danke euch im Voraus für Tipps und Hinweise.
LG
AK
ich betreue eine kleinere Firma (< 20 Mann, jedoch mit Wachstum), der ich jetzt, durch ein paar Investitionen, so gut wie es geht Redundanzen im Netzwerk einbinden möchte, da ich dort in der Woche nur 1x vor Ort bin.
Dazu habe ich jetzt 2x die Cisco C9200 im Stack, die das Routing der internen Netzwerke machen(Trennung auf Basis von VLAN's für VoIP, Drucker, WLAN, CLients, Server usw.), sowie 2 Appliances, auf der PFSense laufen, eingerichtet. Die beiden PFSensen sind per LAG LACP auf dem Stack terminiert.
Zusätzlich haben wir 2x ein VDSL von der Telekom sowie von Vodafone, das VDSL der Telekom wird jedoch Anfang nächsten Jahres durch Glasfaser ersetzt.
Das alte Netz wurde vor 2 Wochen offline(kompletter Reset aller Systeme, Datensicherung natürlich vorhanden) genommen und so baue ich nach und nach das Netzwerk aus und suche nach Verbesserungspotential.
Um ein Multi-WAN auf den PFSensen mittels CLuster zu realisieren würde sich CARP anbieten. Die von mir gefundenen Designs basieren auf einer Router-Kaskade, d.h. es gibt doppeltes NAT, da die Einwahl nicht durch die PFsense erfolgt, sondern WAN-Router eingesetzt werden, die dann auf (mindestens) einem Switch terminiert sind und dann zum PFSense-Netzwerk übergehen.
Meine Frage ist jetzt:
Hat jemand von euch ein CARP-Design am laufen, beim dem das doppelte NAT überflüssig ist und kann mir dazu eine Anleitung schicken oder welchen Tipp hättet ihr für ein Failover auf Basis von 2x WAN, wo die Einwahl per PPPoE erfolgt, sowie 2x PFSensen.
Im Idealfall stelle ich es mir so vor, dass beide WAN-Anschlüsse auf beiden PFSensen gepatched sind und im Falle eines Ausfalls einer WAN-Verbindung/Appliance nach kurzer Zeit ein Failover auffängt. Mir ist bekannt, dass dazu Multiple PPPoE Sessions vom Provider unterstützt werden müssen, tun sie in meinem Fall nicht, weswegen dies schon in der Form nicht klappen kann.
Ich danke euch im Voraus für Tipps und Hinweise.
LG
AK
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 3847677415
Url: https://administrator.de/contentid/3847677415
Ausgedruckt am: 21.11.2024 um 22:11 Uhr
8 Kommentare
Neuester Kommentar
Hi,
du brauchst pro VDSL Zugang ein Modem.
wg. CARP mit PPPoE: schau mal hier: https://forum.netgate.com/topic/135904/configure-an-pppoe-on-an-carp-if/ ...
hatte sich so vor längerer Zeit mal erfolgreich implementiert
CH
du brauchst pro VDSL Zugang ein Modem.
wg. CARP mit PPPoE: schau mal hier: https://forum.netgate.com/topic/135904/configure-an-pppoe-on-an-carp-if/ ...
hatte sich so vor längerer Zeit mal erfolgreich implementiert
CH
Klassische nur Modems dafür sind die üblichen Verdächtigen Vigor 165 oder 167 oder Zyxel VMG 3006. Der Firewall WAN Port Mode ist dann PPPoE damit landet dann das Internet direkt auf der Firewall ohne "Durchlauferhitzer" davor. Multi WAN Konfig Beispiele z.B.: hier.
Hallo zusammen,
die Ports sind?
pfSense schreibt selber das man für 500 MBit/s Routing-Durchsatz mindestens eine 2,0Ghz CPU braucht
und Du hast dann wieviel? 2x unbekannt von Telekom plus zwei mal unbekannt von Vodafone. Oder etwas
anders formoliert, schafft Deine Hardware das dann auch noch?
der sollte dann natürlich auch sinnvollerweise auf der Seite der pfSense vorhanden sein. Und das gleiche
gilt für einen Switch davor.
dazu anbietet und wenn die pfsense1 ausfällt, dann übernimmt die zweite das alles.
auf Queues aufteilen die dann von der Anzahl der CPU Kerne profitieren. Ansonsten wenn die pfSense
PPPoE macht wird der Verkehr (Single threated) immer nur auf einem CPU Kern laufen und dann eben
auch nur mit bzw. über eine Queue! Denke daran das viele Router von AVM zum Beispiel nur bis 300
MBit/s an WAN Durchsatz schaffen bzw. in der Lage sind umzusetzen! Erst die AVM FB 5530 und 5590
sind in der Lage bis zu 1 Gbit/s zu routen.
Flaschenhals entstehen soll, dann wären 2,5 GBit/s Ports am Switch und an der pfSense nicht schlecht?
Dobby
Meine Frage ist jetzt:
Hat jemand von euch ein CARP-Design am laufen, beim dem das doppelte NAT überflüssig ist und kann mir dazu eine Anleitung schicken oder welchen Tipp hättet ihr für ein Failover auf Basis von 2x WAN, wo die Einwahl per PPPoE erfolgt, sowie 2x PFSensen.
sowie 2 Appliances, auf der PFSense laufen, eingerichtet.
Können wir dazu auch etwas mehr Info bekommen? Xeon E3, Intel Atom C3000, RAM, Ports und wie schnelldie Ports sind?
Die beiden PFSensen sind per LAG LACP auf dem Stack terminiert.
Mit zwei mal 1 GBit/s oder 2,5 GBit/s oder 5 GBit/s oder 10 GBit/s?Zusätzlich haben wir 2x ein VDSL von der Telekom sowie von Vodafone, das VDSL der Telekom wird
jedoch Anfang nächsten Jahres durch Glasfaser ersetzt.
Also 4 WAN Anschlüsse und demnächst zwei mal mit 1 GBit/s am WAN oder zwei mal mit 500 MBit/s?jedoch Anfang nächsten Jahres durch Glasfaser ersetzt.
pfSense schreibt selber das man für 500 MBit/s Routing-Durchsatz mindestens eine 2,0Ghz CPU braucht
und Du hast dann wieviel? 2x unbekannt von Telekom plus zwei mal unbekannt von Vodafone. Oder etwas
anders formoliert, schafft Deine Hardware das dann auch noch?
Das alte Netz wurde vor 2 Wochen offline (kompletter Reset aller Systeme, Datensicherung natürlich
vorhanden) genommen und so baue ich nach und nach das Netzwerk aus und suche nach
Verbesserungspotential.
Die Modems (ONTs) von der Telekom für FTTH/FTTC sind in der Regel mit einem 2,5 GBit/s Port ausgestattet undvorhanden) genommen und so baue ich nach und nach das Netzwerk aus und suche nach
Verbesserungspotential.
der sollte dann natürlich auch sinnvollerweise auf der Seite der pfSense vorhanden sein. Und das gleiche
gilt für einen Switch davor.
Um ein Multi-WAN auf den PFSensen mittels CLuster zu realisieren würde sich CARP anbieten.
Man kann auch VRRP nehmen und dann ein Loadbalancing machen was einem ein Failover gleich mitdazu anbietet und wenn die pfsense1 ausfällt, dann übernimmt die zweite das alles.
Die von mir gefundenen Designs basieren auf einer Router-Kaskade, d.h. es gibt doppeltes NAT, da
die Einwahl nicht durch die PFsense erfolgt, sondern WAN-Router eingesetzt werden, die dann auf
Wenn dem so ist bzw. sein sollte, dann macht die pfSense kein PPPoE und man kann den WAN Verkehrdie Einwahl nicht durch die PFsense erfolgt, sondern WAN-Router eingesetzt werden, die dann auf
auf Queues aufteilen die dann von der Anzahl der CPU Kerne profitieren. Ansonsten wenn die pfSense
PPPoE macht wird der Verkehr (Single threated) immer nur auf einem CPU Kern laufen und dann eben
auch nur mit bzw. über eine Queue! Denke daran das viele Router von AVM zum Beispiel nur bis 300
MBit/s an WAN Durchsatz schaffen bzw. in der Lage sind umzusetzen! Erst die AVM FB 5530 und 5590
sind in der Lage bis zu 1 Gbit/s zu routen.
(mindestens) einem Switch terminiert sind und dann zum PFSense-Netzwerk übergehen.
Der sollte auch 2,5 GBit/s Ports haben und VLANs unterstützen. Und wenn da nicht schon derFlaschenhals entstehen soll, dann wären 2,5 GBit/s Ports am Switch und an der pfSense nicht schlecht?
Dobby
Meine Frage ist jetzt:
Hat jemand von euch ein CARP-Design am laufen, beim dem das doppelte NAT überflüssig ist und kann mir dazu eine Anleitung schicken oder welchen Tipp hättet ihr für ein Failover auf Basis von 2x WAN, wo die Einwahl per PPPoE erfolgt, sowie 2x PFSensen.
Hallo,
ich schreibe Dir das jetzt nicht um Dich zu ärgern, aber da sind manchmal eben echt mehr Punkte mit im Spiel
und daran würde ich dann abmachen wollen was ich denn im Endeffekt nutze, VRRP oder mit etwas mit CARP.
Provider:
Anrufen bei der Telekom und nachfragen ob die FTTH Lösung mit PPPoE ist. Dann fragen ob man einen kleinen
Small-Business Zugang ohne PPPoE bekommen kann und was das mehr kostet abklären.
Hardware:
4 Modems an einen Switch vor den 2 pfSense und hinter den beiden pfSense dann zwei LAN Switche als Core.
Oder wenn nicht anders vorhanden dann gleich an die beiden Access Switche (Cisco). Also ein extra Switch kaufen
der vor die beiden pfSense kommt.
1. - NETGEAR Smart Switch (MS510TXM) 10 Port 10G Multi-Gigabit Ethernet – verwaltet, 8 x Multi-Gig-Ports, 2 SFP+
Für ca. ~750 € und mit 1/2,5/5,0 und 10 Gbit/s Ports
2. - Netgear MS510TXM 10 Port Multi-Gigabit/10GbE LAN Switch Smart (8x Multi-Gig-Ports, 2x 10G-SFP+
Für ca. ~470 € auch mit 1/2,5/5,0 und 10 GBit/s Ports
Jetzt ist, bzw. wäre die 2,5 GBit/s Karte von der weiter unten geredet wird unnötig. Aber es wäre schon schön
wenn man die 2 pfSense mit einer 10 GBit/s Karte an diesen Switch anbinden würde.
Zwei der Modems werden demnächst dann wohl erneuert und wohl von der Telekom kommen. Und zwar für die
2 x 1GBit/s Glasfaseranbindung (FTTH/FTTB/FTTC) und die nennt man ONT! Und die haben in der Regel immer
einen 2,5 GBit/s Port!!!!! Und wenn das passen soll mit der Geschwindigkeit, dann solltest Du Dich jetzt erkundigen
ob man für Deine /Eure Appliances' jeweils eine Karte mit einem 2,5 GBit/s Port käuflich erstehen kann und diese
einbauen kann! Wenn dem nicht so sein sollte, dann würde ich mal nachsehen wollen ob diese Karte hier in Eure
beiden Appliances' rein passen! Bitte vermeide Karten mit folgenden Chipsätzen (Intel i225-V v1/2) und Intel
i226-xxx denn pfSense unterstützt nur fehlerfrei die Intel i225-IT Intel i225-I und i226-AT und Intel i226-V v3!!!!
Intel 2,5 GBit/s Karte die gut unterstützt wird.
Software:
PPPoE bedeutet für pfSense, dass jeder WAN Port "nur" über einen Prozessorkern (CPU Core) geleitet wird und nicht
über mehrere Prozessorkerne (CPU Cores). Das Deine CPU 4 Stück davon hat und deutlich über 3,0GHz schnell ist sollte das mit den vollen 2 x 1 GBit/s von der Telekom locker laufen! Die werden voll geroutet ohne Verlust!
Mindestens auf pfSense 2.6 upgraden.
Konfiguration:
Dobby
ich schreibe Dir das jetzt nicht um Dich zu ärgern, aber da sind manchmal eben echt mehr Punkte mit im Spiel
und daran würde ich dann abmachen wollen was ich denn im Endeffekt nutze, VRRP oder mit etwas mit CARP.
Provider:
Anrufen bei der Telekom und nachfragen ob die FTTH Lösung mit PPPoE ist. Dann fragen ob man einen kleinen
Small-Business Zugang ohne PPPoE bekommen kann und was das mehr kostet abklären.
Hardware:
4 Modems an einen Switch vor den 2 pfSense und hinter den beiden pfSense dann zwei LAN Switche als Core.
Oder wenn nicht anders vorhanden dann gleich an die beiden Access Switche (Cisco). Also ein extra Switch kaufen
der vor die beiden pfSense kommt.
1. - NETGEAR Smart Switch (MS510TXM) 10 Port 10G Multi-Gigabit Ethernet – verwaltet, 8 x Multi-Gig-Ports, 2 SFP+
Für ca. ~750 € und mit 1/2,5/5,0 und 10 Gbit/s Ports
2. - Netgear MS510TXM 10 Port Multi-Gigabit/10GbE LAN Switch Smart (8x Multi-Gig-Ports, 2x 10G-SFP+
Für ca. ~470 € auch mit 1/2,5/5,0 und 10 GBit/s Ports
Jetzt ist, bzw. wäre die 2,5 GBit/s Karte von der weiter unten geredet wird unnötig. Aber es wäre schon schön
wenn man die 2 pfSense mit einer 10 GBit/s Karte an diesen Switch anbinden würde.
Zwei der Modems werden demnächst dann wohl erneuert und wohl von der Telekom kommen. Und zwar für die
2 x 1GBit/s Glasfaseranbindung (FTTH/FTTB/FTTC) und die nennt man ONT! Und die haben in der Regel immer
einen 2,5 GBit/s Port!!!!! Und wenn das passen soll mit der Geschwindigkeit, dann solltest Du Dich jetzt erkundigen
ob man für Deine /Eure Appliances' jeweils eine Karte mit einem 2,5 GBit/s Port käuflich erstehen kann und diese
einbauen kann! Wenn dem nicht so sein sollte, dann würde ich mal nachsehen wollen ob diese Karte hier in Eure
beiden Appliances' rein passen! Bitte vermeide Karten mit folgenden Chipsätzen (Intel i225-V v1/2) und Intel
i226-xxx denn pfSense unterstützt nur fehlerfrei die Intel i225-IT Intel i225-I und i226-AT und Intel i226-V v3!!!!
Intel 2,5 GBit/s Karte die gut unterstützt wird.
Software:
PPPoE bedeutet für pfSense, dass jeder WAN Port "nur" über einen Prozessorkern (CPU Core) geleitet wird und nicht
über mehrere Prozessorkerne (CPU Cores). Das Deine CPU 4 Stück davon hat und deutlich über 3,0GHz schnell ist sollte das mit den vollen 2 x 1 GBit/s von der Telekom locker laufen! Die werden voll geroutet ohne Verlust!
Mindestens auf pfSense 2.6 upgraden.
Konfiguration:
- 1 WAN Gateway erstellen, Ratio einstellen, und dann überlegen ob man Session based, Policy based oder gar
- Und jetzt würde ich erst an die Überlegung mit VRRP oder via CARP rangehen wollen.
Dobby
Hi,
Sorry, ich hatte mich etwas mißverständlich ausgedrückt: Wegen Wegfall des Anschlusses habe es nicht mehr live.
Es hat aber funktioniert. Probier es doch einfach mit einem Anschluß (Vodafone oder Telekom aus).
Wenn es funktioniert mache das gleiche mit dem anderen Anschluß, du brauchst halt insgesamt 4 Modems.
Wenn dies funktioniert, mach zwischen den beiden (virtuellen) WAN Anschlüssen dein WAN Failover.
Gruß
CH
Danke für deinen Kommentar, die Lösung hatte ich ebenfalls gesehen, hier schien mir jedoch die Ausgereiftheit der Lösung etwas zweifelhaft.Wenn du jedoch sagst, dass du es exakt so betreibst und es keine Probleme gibt, wäre das schon mal sehr aufmunternd es doch zu probieren.
Sorry, ich hatte mich etwas mißverständlich ausgedrückt: Wegen Wegfall des Anschlusses habe es nicht mehr live.
Es hat aber funktioniert. Probier es doch einfach mit einem Anschluß (Vodafone oder Telekom aus).
Wenn es funktioniert mache das gleiche mit dem anderen Anschluß, du brauchst halt insgesamt 4 Modems.
Wenn dies funktioniert, mach zwischen den beiden (virtuellen) WAN Anschlüssen dein WAN Failover.
Gruß
CH
Könntest du mir sagen, wie du das genau machen würdest?
Was oder wie ist das genau gemeint? Das Adaptieren der Modems und der PPPoE Betrieb oder das Aufsetzen des Clusters selbst?Für letzteres gibt es eine entsprechende Doku bei Netgate:
https://docs.netgate.com/pfsense/en/latest/recipes/high-availability-mul ...
https://subscription.packtpub.com/book/cloud-and-networking/978178899317 ...