oldplain
Goto Top

FW HA + Multi WAN Konfiguration

Moin,

ich wollte mich schon mal für die großartigen Tutorials hier im Forum bedanken.
Viele Sachen haben mir geholfen, alleine um eine OPNsense aufzusetzen und einen VPN Tunnel zu erstellen.

Jetzt wollte ich im Netzwerk ein wenig was verbessern und habe etwas investiert.
Da zwei WAN Anschlüsse vorhanden sind Kabel+VDSL evtl. bald Kabel+Glasfaser wollte ich diese gerne kombinieren.
Bislang erfolgte die Einwahl in der OPNsense über PPPoE in Kombination mit einem Vigor Modem.
Dies ist aber wohl bei Multi WAN + HA nicht möglich. Deswegen müsste ich die FB7590 VDSL ja als exposed Host nutzen.

Falls etwas nicht mit OPNsense gehen sollte würde ich auch die pfSense nutzen.

Es stehen 3x Proxmox Server zur Verfügung welche einen HA Cluster bilden.
Auf zwei von denen soll eine OPNsense/pfSense laufen, Node1 im Master und Node2 im Backup Betrieb.
Das automatische Starten über Proxmox selbst lief bei der FW bei mir nicht korrekt, da alles darüber lief.

Wenn ich alles zum laufen bekommen habe, würde ich gerne auch Bilder für ein Tutorial hier im Forum veröffentlichen.

netzwerkplan


Nun habe ich aber ein paar Fragen.

Erstelle ich für die beiden WAN Interfaces jeweils beim Master Skew 0 + vhdi 2 und auf der Backup Skew 100 + vhdi 2 ?
Zusätzlich dann je die beiden Virtual IP - WAN und dann füge ich beide für Load Balancing + Failover in eine Gruppe, korrekt?


Das Netzwerk würde in etwa so aussehen.
VLAN 1 MGMT
192.168.0.1 proxmox-hm90
192.168.0.2 proxmox-hm80
192.168.0.3 proxmox-topton
192.168.0.11 pbs-hm90
192.168.0.100 Omada Controller
192.168.0.101 Switch1 TL-SG2008P
192.168.0.102 Switch2 TL-SG2008P
192.168.0.111 WLAN-AP EPA660HD
192.168.0.251 OPNsense Master
192.168.0.252 OPNsense Backup
192.168.0.254 VIP-Gateway

VLAN 10 Server
192.168.10.1 NAS
192.168.10.251 OPNsense Master
192.168.10.252 OPNsense Backup
192.168.10.254 VIP-Gateway

VLAN 20 Familie
192.168.20.1 Handy 
192.168.20.2 Laptop
192.168.20.251 OPNsense Master
192.168.20.252 OPNsense Backup
192.168.20.254 VIP-Gateway

VLAN 30 Stream
192.168.20.1 AVR
192.168.30.251 OPNsense Master
192.168.30.252 OPNsense Backup
192.168.30.254 VIP-Gateway

VLAN 40 IoT
192.168.40.1 docker
192.168.40.2 Kamera
192.168.40.251 OPNsense Master
192.168.40.252 OPNsense Backup
192.168.40.254 VIP-Gateway

VLAN 50 Gast
192.168.50.1 - 192.168.50.20 DHCP
192.168.50.251 OPNsense Master
192.168.50.252 OPNsense Backup
192.168.50.254 VIP-Gateway

VLAN 101 WAN 
192.168.101.1 FB7590 VDSL
192.168.101.254 VIP-WAN

Content-Key: 43177328015

Url: https://administrator.de/contentid/43177328015

Printed on: June 21, 2024 at 20:06 o'clock

Member: Spirit-of-Eli
Spirit-of-Eli Nov 10, 2023 updated at 22:47:45 (UTC)
Goto Top
Moin,

ich gehe gerade nur auf den HA + PPPoE Punkt ein. Habe gerade nicht so viel Zeit.
Das ist durch aus möglich. Zumindest bei der PfSense:
https://forum.netgate.com/topic/135904/configure-an-pppoe-on-an-carp-if

Gruß
Spirit
Member: aqui
aqui Nov 11, 2023 at 13:10:25 (UTC)
Goto Top
Member: oldPlain
oldPlain Nov 11, 2023 at 13:22:48 (UTC)
Goto Top
Moin,

schon mal Danke für eure schnellen Antworten.

Theoretisch sollte es aber alles so wie auf den Plan ist klappen oder?

Beim Kabelanschluss konnte ich durch die Hotline ja den Bridge Modus freischalten lassen.
Habe es nun endlich hinbekommen, dass ich auch direkt in der OPNsense eine IP bekommen, man war das ein gefrickel.

Nun teste ich einmal kurz was in einer pfsense und entscheide dann welche ich nehme.

Es werden dann mal alle 3 Proxmox Systeme neu aufgesetzt. Einiges zutun.
Member: aqui
aqui Nov 11, 2023 at 15:09:53 (UTC)
Goto Top
Nicht nur theoretisch sondern auch praktisch! 😉
Einiges zutun.
Dann viel Erfolg!
Member: oldPlain
oldPlain Nov 14, 2023 at 23:35:42 (UTC)
Goto Top
Spät ist es geworden.
So langsam komme ich aber nicht mehr weiter.
Habe etliche Male neu angefangen.

Einmal hat eine Platte ne Macke und chaos verursacht, nachdem die Backup OPNsense installiert war und landete i im bootloop, weil eine Datei fehlte. Neustarts haben nichts gebracht. Auch Neuinstallationen nicht, da Proxmox betroffen war. Das hat ewig gedauert den Fehler zu finden.

Dann gab es Probleme mit der FB6660 und den Bridge Modus, dass er die MAC Adresse für das WAN Interface nicht angenommen hat. Man muss die Bridge aktivieren, dann die FB neustarten, dann das Interface aktivieren und die MAC wird in die FB eingetragen. Dann lief es. Habe auf CARP umgestellt und es ging nichts mehr, da neue MAC.
Bis ich das rausgefunden habe puh.

Jetzt habe ich die OPNsense nochmal neuinstalliert ohne CARP aber trotzdem ein großes Problem.

2 WAN Schnittstellen aktiv und laufen auch.
Egal ob Failover, Loadbalancing oder beides es funktioniert.

opn1
opn2

Wenn ich aber die untere Regel beim Gateway auf die WAN_Fail - Load Gruppe setze werde ich ausgesperrt.
Es geht nicht mal mehr ein Ping.
Lass ich das Gateway auf default. Funktioniert es.

opn3

Es ist egal ob ich die reply-to Einstellung aktiviert oder deaktiviert lasse.
opn4
Member: oldPlain
oldPlain Nov 15, 2023 at 19:24:36 (UTC)
Goto Top
Moin,

wenn ich in den erweiterten Funktionen einer Regel reply-to deaktiviere funktioniert es.

Lasse ich es aber auf default stehen und setzes es wie im Screenshot global auf disable, funktioniert es nicht.
Müsste doch aber eigentlich ein Bug sein, denn theoretisch heißt es ja:

Determines how packets route back in the opposite direction (replies), when set to default, packets on WAN type interfaces reply to their connected gateway on the interface (unless globally disabled). A specific gateway may be chosen as well here. This setting is only relevant in the context of a state, for stateless rules there is no defined opposite direction.

Was für eine tolle Funktion. Hat mich echt Stunden gekostet und viele Nerven.
Member: aqui
aqui Nov 26, 2023 at 14:03:24 (UTC)
Goto Top
Wenn es das denn nun war:
How can I mark a post as solved?
nicht vergessen!