aguila
Goto Top

Fehlende Redundanz

Hallo zusammen,

Ich habe ein Standort, der über eine VPN Verbindung an die Zentrale angebunden ist.
Das VPN zwischen dem Standort und der Zentrale wird durch Checkpoints realisiert.
Dh. am Standort verwenden wir zwei Checkpoint Firewall Applikationen, die zusammen als ein Cluster fungieren

Desweiteren haben wir 2 Zentralle L3 Switche, die VRRP fahren und als Default Gateway die virtuelle Adresse vom Firewall Cluster haben. Auf der Switche sind 3 VLAN konfiguriert und 2 VRRP Instanzen für die Internal Interfaces des FWs.

Das Problem: Wenn die Leitung ausfällt, wäre der komplette Standort offline. Deswegen muss ich mir ein Redundanzkonzept überlegen. (wir haben ein zweiter Serverraum zur Verfügung)

1 Frage: Wie kann ich das fehlende HA lösen?
Bild 1: Aktuelle implementierung

c40e633d36855f8fb2e333c2dc7ac856

2 Frage: Wäre sowas möglich?
Bild 2: Mögliche Redundanz mit 2 getrennten Serverräume.

2435f2e84719c4170e6eb789c6b034ac

Ich hoffe, ich hab das verständlich erklärt bzw. gezeichnet!

Danke im Vorau

Content-ID: 230124

Url: https://administrator.de/contentid/230124

Ausgedruckt am: 26.11.2024 um 00:11 Uhr

SlainteMhath
Lösung SlainteMhath 17.02.2014, aktualisiert am 19.02.2014 um 19:05:54 Uhr
Goto Top
Moin,

2 Frage: Wäre sowas möglich (2tes Bild)
Ja das geht. Ggfs muss die Verkabelung zwischen den Standorten als Fibre ausgelegt sein, kommt auf die Entfernung an.
Die beiden Provider sollten nach Möglichkeit nicht das gleiche Cabinet am Straßenrand verwenden ;)

Ich hoffe, ich hab das verständlich erklärt bzw. gezeichnet!
Die Illustration deiner Frage ist Vorbildlich face-smile

lg,
Slainte
Dani
Dani 17.02.2014 um 12:55:25 Uhr
Goto Top
Moin,
ja... möglich, aber mit Aufwand verbunden.
Die meisten Firewall-Hersteller schreiben zum Crosslink klar rein: Dass dazwischen keine aktive Komponenten liegen dürfen. Also kein Switch, etc...
Des Weiteren würde ich behaupten, du hast sicher nicht im beiden Brandabschnitten die selben IP-Adressbereiche zur Verfügung. Falls doch, ist technisch nicht ganz korrekt. Was passiert, wenn der Crosslink zwischen den FWs unterbrochen wird? Richtig, beide Systeme werden aktiv werden. Woher weiß nun der Rest vom Netz, wo es ins Internet geht.

Ich kenne solche Aufbauten mit Routingprotokolle wie OSPF/BGP.


Grüße,
Dani
SlainteMhath
SlainteMhath 17.02.2014 um 13:05:14 Uhr
Goto Top
Da muss ich @Dani mal widersprechen.

Die meisten Firewall-Hersteller schreiben zum Crosslink klar rein: Dass dazwischen keine aktive Komponenten liegen dürfen.
Bei anderen wiederum ist das kein Problem - die XTMs von Watchguard können das - Cisco kann das auch.

Des Weiteren würde ich behaupten, du hast sicher nicht im beiden Brandabschnitten die selben IP-Adressbereiche zur Verfügung
Warum nicht?

Falls doch, ist technisch nicht ganz korrekt.
Nochmal: Warum nicht? Wenn die beiden Switches in unterschiedlichen Segmenten stehen macht das VRRP fast keinen Sinn mehr.

Was passiert, wenn der Crosslink zwischen den FWs unterbrochen wird?
Dann sollten sie sich immer noch über den LAN Link kommunizierne können und aushandeln welcher jetzt auf passive geht.

Ich kenne solche Aufbauten mit Routingprotokolle wie OSPF/BGP.
Geht auch, erfordert aber uU einiges an Umbau in der internen Netzstruktur.
aqui
Lösung aqui 17.02.2014, aktualisiert am 19.02.2014 um 19:06:56 Uhr
Goto Top
Nein eigentlich erfordert die Verwendung von OSPF keinerlei Umbau, du musst es lediglich aktivieren und die statischen default Routen entfernen.
Eigentlich ist das ein kinderleichter Klassiker und millionenfach so im Einsatz.
Normalerweise hast du deine 3 VLANs auf den L3 Switches mit VRRP am laufen um ein virtuelles Gateway für die Endgeräte zur Verfügung zu haben.
Die WAN / Internet Verbindungen lässt man immer in einem separaten VLAN laufen um diese NICHT mit Produktivtraffic zusammen zu haben.
Dann zeigt die Default Route der beiden L3 Core Switches auf die virtuelle IP des Firewall Clusters und umgekehrt die statischen Routen auf der Firewall zu den VLAN IP Netzen auf die virtuelle VRRP Gateway IP des WAN / Internet VLANs.
Soweit so gut ist das simpler Standard wie es ja auch schon so bei dir am laufen ist.

Was du jetzt ganz einfach machst ist OSPF in den L3 Switches und an den Firewalls zu aktivieren und auch an den Firewalls / Routern der Niederlassungen.
Dann musst du ALLE statischen Routen entfernen, denn die haben eine bessere Metrik und würden so die OSPF Routen "überrennen".
Die Firewalls müsstest du nicht unbedingt Clustern, sie könnten auch als 2 Einzelknoten damit laufen, das OSPF Routing Updates immer nur von den physischen IP Adressen kommen.

Der große Vorteil einer OSPF Lösung oder allgemein der Lösung mit einem dynamischen Routing Protokoll ist die Tatsache das du damit alles an möglichen Fehlern abfängst von Fehlern in der Provider Anbindung im Provider Netz selber und in allen deinen lokalen Verbindungen. Ist dort irgendwo auch nur ein Link Ausfall schaltet OSPF innerhalb von 3 Sekunden auf den redundanten Link.
Endgeräte merken das oft nicht einmal.
Linkfailover Lösung haben den gravierenden Nachteil das sie immer nur für einen bestimmten Link gehen aber niemals das gesamte Netzwerk "sehen". Mit OSPF passiert das nicht !
aguila
aguila 17.02.2014 aktualisiert um 14:17:02 Uhr
Goto Top
Hi,

danke für die schnellen Antworten.

Die Entfernung zw. den Räumen beträgt ca. 800m. und Provider sollten in diesem Fall eigene Zuleitung benutzen.
Die Switche sind im gleichen Segment und auf dem FW sind folgende Int. konfiguriert:
0 : DMZ
1 : Internal
2 : External
3 : Lan1


Mir gehts um die Implementierung. Wie kriege ich das hin, ohne das Clustering von den Fws aufzulösen? Deswegen meine erste Idee (wie im Bild 2):
Carrier 1 Leitung -> Router -> FW -> Switch | Carrier 2 Leitung -> Router -> FW -> Switch
Meine Frage wäre: Wie sollen Sie sich beide Router unterhalten?
Oder
Der Carrier 1 mit einer 2 Leitung+Router als Backup, HRSP auf beiden Router implementieren und fertig.

Kennt ihr solche Implementierungen? Oder sind meine Überlegungen komplett falch?

Danke!
SlainteMhath
SlainteMhath 17.02.2014 um 14:25:43 Uhr
Goto Top
@aqui
Natürlich geht das auch per OSPF, das Problem sehe ich allerdings darin, das im Szenario vom TE die Firewall- und VPN Configs der beiden FWs "per Hand" snychron gehalten werden müssten - und das klappt meist nur selten.
Deepsys
Deepsys 17.02.2014 um 14:38:29 Uhr
Goto Top
Zitat von @aguila:
Mir gehts um die Implementierung. Wie kriege ich das hin, ohne das Clustering von den Fws aufzulösen?
Kannst du die Checkpoint nicht einfach per LAN-Kabel Clustern?`
Ich kenne das bei Checkpoint nicht, bei Watchguard ist das nur ein LAN-Kabel mit einer IP, das müsste auch per LWL Medienkonverter gehen.

Mit dem Cluster sollte auch ein VPN-Failover beim Ausfall einer Firewall sauber laufen.

VG
Deepsys
Dani
Dani 17.02.2014 um 14:44:19 Uhr
Goto Top
@SlainteMhath
Bei anderen wiederum ist das kein Problem - die XTMs von Watchguard können das - Cisco kann das auch.
Seine Anfrage bezieht sich auf Checkpoint und da weiß ich es leider nicht. Es gibt genug Beispiele wo dies nicht supportet wird.

Nochmal: Warum nicht? Wenn die beiden Switches in unterschiedlichen Segmenten stehen macht das VRRP fast keinen Sinn mehr.
Naja, die Broadcasts werden an beide Datacenter gesendet und somit über den Crosslink mit dem die beiden SR verbunden sind. Wenn natürlich die Brandbreite groß genug ist, kann man's nachlässigen.
Ich bin davon ausgegangen, dass der Raum 2 eine Redudanz an Services zu Raum 1 darstellt und durch solch einen Aufbau gibt es normalerweise größere Anzahl von Clients im Hintergrund. Aber in diesem Fall geht es um reine Internetredudanz.

Dann sollten sie sich immer noch über den LAN Link kommunizierne können und aushandeln welcher jetzt auf passive geht.
Halte ich auch nicht für sicher. Lass Paketloss oder -queue an einem Uplinkport auftauchen und es wird Ausfall wird simuliert. Wenn dadurch die ganze Zeit die Firewallstatus geschwenkt wird, ist ein Arbeiten kaum noch möglich. Bei Cisco könnte man z.B. einen Delay für ein Rückfall angeben. Geht aber auch nicht bei jeder Firewall so einfach.


Grüße,
Dani
SlainteMhath
SlainteMhath 17.02.2014 um 15:02:55 Uhr
Goto Top
Zitat von @Dani:
Seine Anfrage bezieht sich auf Checkpoint und da weiß ich es leider nicht. Es gibt genug Beispiele wo dies nicht supportet
wird.
Ähja, Checkpoint da stand oben was, stimmt face-smile da muss ich leider auch passen.

Naja, die Broadcasts werden an beide Datacenter gesendet ... größere Anzahl von Clients im Hintergrund.
Schon richtig, aber die Clients gehören eigentl. auch nicht in die Broadcast-Domäne der Server, sondern in ein separates VLAN face-smile

> Dann sollten sie sich immer noch über den LAN Link kommunizierne können und aushandeln welcher jetzt auf passive
geht.
Halte ich auch nicht für sicher. Lass Paketloss oder -queue an einem Uplinkport auftauchen und es wird Ausfall wird
simuliert. Wenn dadurch die ganze Zeit die Firewallstatus geschwenkt wird, ist ein Arbeiten kaum noch möglich. Bei Cisco
könnte man z.B. einen Delay für ein Rückfall angeben. Geht aber auch nicht bei jeder Firewall so einfach.
Ja da gebe ich dir Recht. Allerdings kann dir da gleiche auch bei OSPF passieren face-smile
aguila
aguila 17.02.2014 aktualisiert um 20:33:53 Uhr
Goto Top
Kennt ihr solche Implementierungen? Oder sind meine Überlegungen komplett falch?

So etwa habe ich es mir vorgestellt:
Bild 3: Getrennte Serverräume mit 2 Cisco Router von Provider 1 und Provider 2.

6ebad7a1c44fe03609ec27d65c0770af
aqui
Lösung aqui 17.02.2014, aktualisiert am 19.02.2014 um 19:07:59 Uhr
Goto Top
.@SlainteMath
Man kann die Firewalls ja auch clustern, das vereinfacht die Sache natürlich wegen der Konfig, da hast du recht. Es ist ja mehr oder weniger kosmetisch und die Erwähnung des Einzelbetiebs war auch eher hypothetisch.
Die OSPF Routing Updates kommen ja nicht von der virtuellen Adresse. Ein FW Cluster ist also nicht das Problem.
Redundanztechnisch gesheen ist dynamisches Routen am sichersten da es alle Eventualitäten abfängt.

Mit der o.a. Zeichnung ist das schon richtig. Wo "HSRP" steht sind das Router ?? Vermutlich wohl ja, denn HSRP ist ein Cisco proprietäres Protokoll. Eine Gateway Redundanz ist hier sinnvoll. Ob es HSRP oder der Standard VRRP ist spielt dabei keinerlei Rolle.
Die FWs haben dann eine statische Default Route auf diese virtuelle Router VIP und redistribuieren diese Default Route ins OSPF.
Eigentlich ein simpler Klassiker....
aguila
aguila 17.02.2014 aktualisiert um 21:56:08 Uhr
Goto Top
Normalerweise hast du deine 3 VLANs auf den L3 Switches mit VRRP am laufen um ein virtuelles Gateway für die Endgeräte
zur Verfügung zu haben.
Die WAN / Internet Verbindungen lässt man immer in einem separaten VLAN laufen um diese NICHT mit Produktivtraffic zusammen
zu haben.
Dann zeigt die Default Route der beiden L3 Core Switches auf die virtuelle IP des Firewall Clusters und umgekehrt die statischen
Routen auf der Firewall zu den VLAN IP Netzen auf die virtuelle VRRP Gateway IP des WAN / Internet VLANs.
Soweit so gut ist das simpler Standard wie es ja auch schon so bei dir am laufen ist.

@aqui,
genau wie du es oben beschrieben hast, so ist der Standort konfiguriert.
aguila
aguila 17.02.2014 aktualisiert um 21:56:47 Uhr
Goto Top
Mit der o.a. Zeichnung ist das schon richtig. Wo "HSRP" steht sind das Router ?? Vermutlich wohl ja, denn HSRP ist ein
Cisco proprietäres Protokoll. Eine Gateway Redundanz ist hier sinnvoll. Ob es HSRP oder der Standard VRRP ist spielt dabei
keinerlei Rolle.
Die FWs haben dann eine statische Default Route auf diese virtuelle Router VIP und redistribuieren diese Default Route ins OSPF.

@aqui,
Ja genau! Aber Zurzeit habe ich im Serverraum01 nur ein Cisco ASR 1001 von der Telekom.
Der Plan wäre dann in der erste Phase eine Gateway Redundanz im Serverraum02 zu bekommen. (Bild 3: Getrennte Serverräume mit 2 Cisco Router)
Dh. die Telekom sollte in diesem Fall im Serverraum02 ein zweiter Cisco Router liefern und HSRP implementieren.
So hätte ich eine VIP, wie du auch oben geschrieben hast + eine Redundante Anbindung: RICTIG???

Mach die Telekom solche Implementierungen?

Danke euch @SlainteMhath, @Dani und @aqui
SlainteMhath
Lösung SlainteMhath 18.02.2014, aktualisiert am 19.02.2014 um 19:08:06 Uhr
Goto Top
Mach die Telekom solche Implementierungen?
Definitiv, ja face-smile
aguila
aguila 18.02.2014 aktualisiert um 08:47:08 Uhr
Goto Top
Guten Morgen zusammen,

ich glaube, dass meine Frage nicht klar formuliert habe.

Ich habe noch ein letztes Bild vorbereiten mit der Hoffnung, besser zu vermitteln, was ich plane. (Bilb 4: Soll- Zustand der Netzwerkinfrastruktur)

2fb7032b77c8912a91dc0e437f0f1958

Hier im Bild dargestellt sind 3 Redundanz Stufen gekennzeichnet.
Zurzeit: Stufe III VRRP und Stufe II Geclustert FWs sind am Laufen.

Mir geht’s um die physikalische Trennung der Komponenten in den Serverraum 02 ohne eine Konfigänderung und ACHTUNG! die Redundante WAN Anbindung Stufe I, die aktuell nicht existiert.

Frage: Wäre diese Soll- Zustand der Netzwerkinfrastruktur machbar? Muss ich noch was beachten? Is das sinnvoll ohne OSPF?
Was könnt ihr mir empfehlen? Außer „finger weg vom Design“!

Danke....
SlainteMhath
Lösung SlainteMhath 18.02.2014, aktualisiert am 19.02.2014 um 19:08:17 Uhr
Goto Top
tl;dr: ja das geht definitiv!

Langversion:
Ich hab genau so eine Konfig am laufen.
1 Standort mit RZ und Clients
1 Standort mit nur mit RZ
2 Switches im LAN mit VRRP
2 Firewalls als Cluster
2 CISCOs (von der Telekom) mit HSRP fürs Internet
2 CISCOs mit HSRP füs MPLS

Die Standorte sind dabei mehrere Kilometer von einander entfernt und per LWL verbunden.
aguila
aguila 18.02.2014 um 15:40:16 Uhr
Goto Top
Hallo zusammen,

wollte mich noch ein Mal bedanken!

Ich werde unser Provider anfragen.


Vielen Dank!
aqui
Lösung aqui 18.02.2014, aktualisiert am 19.02.2014 um 19:08:23 Uhr
Goto Top
Dein Design oben ist ein Allerwelts Klassiker ! Natürlich wird das so funktionieren, denn das ist genau das Szenario wie man sowas löst !
Keine Frage also dazu....
Du hast allerdings in der obigen Zeichnung einen Kardinalsfehler !
Die Verbindung von FW02 auf den Provider Router 02 fehlt !! (Zuleitung II)
Damit ist die Verbindung von FW01 auf Provider Router 01 ein single Point of Failure und würde so das gesamte Konzept ad absurdum führen.
Du hast da sicher nur vergessen den Link einzuzeichnen, oder ?
Idelaerweise hast du einen Kreuzverbindung der beiden Provider Router an FW01 und FW02, also das FW01 und FW02 je einmal mit dem Provider Router 1 und 2 verbunden ist. Oder eben das Router 1 und 2 und Firewall 1 und 2 in einem VLAN sind.
Das wäre dann die klassische Redundanz das dann einen Routerausfall UND einen Providerausfall und einen internen Linkausfall beim Provider abfängt wenn du natürlich dynamisches Routing nimmst was automatisch die Gateways im Ausfall umschaltet.
Den Provider musst du dafür nicht fragen ? Die einzige Frage die du den providern stellen musst oder dich ist WIE du die Default Gateway Verteilung machst auf die unterschiedlichen Provider Verbindungen ?? In der Regel machst du das mit einem Load Balancing Router. Das geht aber nicht wenn die Provider Mitbewerber sind und du keinerlei Zugriff auf die Internet Router Konfig hast. Dann musst DU den Load Balancing Router betreiben oder mit Link Load Balancern dafür sorgen das die Internet Verbindung als solches redundant ist.
aguila
aguila 19.02.2014 aktualisiert um 18:50:31 Uhr
Goto Top
Du hast allerdings in der obigen Zeichnung einen Kardinalsfehler !
Die Verbindung von FW02 auf den Provider Router 02 fehlt !! (Zuleitung II)
Du hast da sicher nur vergessen den Link einzuzeichnen, oder ?
Guten Morgen,
ich habe bewusst die Verbindung zw. FW01 und Provider02 nicht abgebildet, weil unsere FWs leider keine weiteren freien Interfaces haben.
Idelaerweise hast du einen Kreuzverbindung der beiden Provider Router an FW01 und FW02, also das FW01 und FW02 je einmal mit dem
Provider Router 1 und 2 verbunden ist. Oder eben das Router 1 und 2 und Firewall 1 und 2 in einem VLAN sind.
Neue FWs sind gedacht und würden wir dann die Kreuzverbindung realisieren. Das extra VLAN für die WAN- Verbindung bleibt.
Das wäre dann die klassische Redundanz das dann einen Routerausfall UND einen Providerausfall und einen internen Linkausfall
beim Provider abfängt wenn du natürlich dynamisches Routing nimmst was automatisch die Gateways im Ausfall umschaltet.
Dynamisches Routing werde ich nach deiner Empfehlung für die Planung auch erwähnen. Für mich wäre die OSPF Implementierung bestimmt „schwierig“ aber irgendwann muss ich mich mit dem Thema auseinandersetzen.
Den Provider musst du dafür nicht fragen ? Die einzige Frage die du den providern stellen musst oder dich ist WIE du die
Default Gateway Verteilung machst auf die unterschiedlichen Provider Verbindungen ??
Wenn die Default Gateway Verteilung mit unterschiedlichen Providern nicht funktioniert, dann muss ich mir was anders überlegen.
Versatel bietet zum Bespiel an: Die Primär Anbindung über das Versatel Backbone und die Backup Anbindung über „Multi Carrier“.
In der Regel machst du das mit einem Load Balancing Router. Das geht aber nicht wenn die Provider Mitbewerber sind und du keinerlei Zugriff auf die Internet Router Konfig
hast. Dann musst DU den Load Balancing Router betreiben oder mit Link Load Balancern dafür sorgen das die Internet Verbindung
als solches redundant ist.

Ehrlich gesagt, ich wusste, dass so ein Konzept zu bearbeiten nicht einfach ist, aber eine Lösung für die fehlende Redundanz muss ich finden.

Vielen Dank!!!