RB4011, CRS112, CRS326 - Wie miteinander verbinden

Hallo zusammen.

Ich möchte zwei Switche mit einem Router verbinden, bin mir aber nicht sicher, welche der drei möglichen Optionen aus performance-technischer Sicht die empfehlenswerte ist. Könnt ihr mich bitte beraten? Vielen Dank.

option1
option2
option3

Content-Key: 1542314333

Url: https://administrator.de/contentid/1542314333

Ausgedruckt am: 26.11.2021 um 17:11 Uhr

Mitglied: Visucius
Visucius 23.11.2021 aktualisiert um 10:40:40 Uhr
Goto Top
Warten auf Godot ähh @aqui

Ich würde ja vermuten, dass Du auf unterschiedlichen Switch-Chips die Ausfallwahrscheinlichkeit optimierst und gleichzeitig die "Last" besser verteilst und mit dem RB4011 die allgemein leistungsfähigste Kiste ins Zentrum stellst (Option 1)

Hüstl, hüstl ;-) face-wink
Mitglied: hacktor
hacktor 23.11.2021 aktualisiert um 10:54:27 Uhr
Goto Top
Von Variante 1 und 2 fällt die erste schon mal als erstes weg. Der Grund: Die Daten gehen bei in diesem Fall von einem Switch-Chip zum anderen immer zwangsweise durch die CPU und dieser Interconnect ist ebenfalls auf 2,5GBits begrenzt. Bei Variante 2 liegen beide CRS Switches in einer VLAN-Bridge des Mikrotik, da der RB4011 aber kein Hardware-Offload bei aktiviertem VLAN-Filtering supported geht hierbei der Traffic zwischen den VLANs ebenfalls zwingend durch die CPU ist also ebenfalls nicht die schnellste Lösung.
Hardware Offload bei aktiviertem VLAN-Filtering supported aber der CRS326, der würde sich also als Routing-Device anbieten, ja wenn da nicht seine begrenzte CPU-Leistung für sonstige Aufgaben Firewalling etc. wären.
Ist also alles nicht Fisch noch Fleisch wenn egal welche Variante du wählst Routen würde immer der RB4011 und da begrenzt eben das non supported Hardware-Offload mit VLANs. Am ehesten Variante 2 wenn ich wählen müsste und kein andere Hardware kaufen dürfte.
Ebenfalls sollte man vielleicht auch noch erwähnen das der RB4011 insgesamt nicht mehr wie 7GBit's mit seiner Quad 1,4GHZ CPU wuppen kann, der 10GBit's Port lässt sich also alleine ebenfalls nicht im vollen ausreizen.

https://wiki.mikrotik.com/wiki/Manual:Switch_Chip_Features

rb4011igsplusrm_180903
Bildquelle: Mikrotik
Mitglied: commodity
Lösung commodity 23.11.2021 aktualisiert um 17:24:56 Uhr
Goto Top
Hallo,

steht bei mir fast genau so zur Umsetzung an, nur mit einem 5009er. Hatte aber noch keine Zeit. Zu den Facts:

Kollege @hacktor hat schon die wesentlichen Tretminen beschrieben. Zutreffend wird (willst Du ja auch) über den 4011 geroutet. HW-Offload ist für den Usecase im Router an dieser Stelle irrelevant, der soll ja routen und das macht MT eben durch die CPU. Gehst Du also mit je einem Trunk aus den Switchen auf einen gemeinsamen Switch-Chip in den Router, gehen immerhin 1 Gbit/s über die Leitung. Das schafft die CPU locker, vermutlich kann sie auch alle Ports eines Switch-Chips in Wirespeed bedienen, wenn die von Kollege @hacktor genannte Zahl von 7 Gbit/s zutrifft.

In Deinem Szenario hieße das aber, wenn Du mit je einer Trunk-Leitung von den Switchen in den 4011 gehst (Variante 2), begrenzt die Leitung die Performance auf 1 Gbit/s je Switch. Wenn Dir das reicht, ist das der Weg. Reicht es nicht, hilft Bonding (alle auf den einen Switch-Chip im 4011, dann immerhin 2x2 Gbit/s, bei max 2,5 Gbit/s.) oder (wenn baulich umsetzbar) der Königsweg (Variante 3 mit) SFP+:

Sowohl der 4011 als auch der 326 können 10 Gbit/s über FC. Hänge also den Trunk aus dem 326 per FC an den 4011 und Du hast richtig Feuer auf der Leitung. Da der 326 dann artig offloaded, verteilt er das auch ohne seine CPU-Bremse auf die Ports. Nur der 112 hängt dann mit einem Trunk hinten am 326 etwas lahmer, kannst Du aber wahrscheinlich auch bonden.

Alternativ kannst Du wahrscheinlich neuerdings auch den 326 im L3 HW Offload die VLANs routen lassen, aber Deine Frage zielte ja auf die Anbindung der Switche an den 4011 und ein bisschen Firewalling zwischen den Netzen ist ja vielleicht auch ganz schön. Der 4011 hat also durchaus seine Berechtigung.

Viele Grüße, commodity
Mitglied: thetraceroute
thetraceroute 23.11.2021 um 18:13:59 Uhr
Goto Top
Hallo zusammen.

Erstmal vielen Dank für die schnellen Antworten. Ehrlicherweise muss ich zu meiner Schande gestehen, dass ich die Möglichkeit der Fiber-Connectivity zwischen allen Geräten gar nicht auf der Uhr hatte. Asche auf's Haupt... :-| face-plain

Mindestens zwei Kollegen im englisch-sprachigen Forum präferieren - ebenso wie @commodity - Option 3 mit SFP+.

Laut MikroTik Wired Interface Compatibility List sollten ja alle drei Geräte den XS+DA0001 unterstützen. Und da alle drei Geräte untereinander im Rack hängen, gibt es auch keine Distanz-Probleme.

Es wird also auf die Option 3 mit XS+DA0001 anstatt der Bondings hinauslaufen. :-) face-smile

Gut, dass es das Forum gibt. ;-) face-wink Schönen Abend euch allen!
Mitglied: commodity
commodity 23.11.2021 aktualisiert um 18:18:40 Uhr
Goto Top
Jupp, der DAC läuft bei mir schon zwischen 326 und 5009 ;-) face-wink
Hab noch zum Vergleich nen günstigen bei Amazon geordert.

Ob das mit dem 112er gebondet und HW-Offload auf dem 326 klappt, kannst Du ja vielleicht mal berichten.

Viele Grüße, commodity
Mitglied: aqui
aqui 23.11.2021 aktualisiert um 18:25:30 Uhr
Goto Top
Routen würde immer der RB4011 und da begrenzt eben das non supported Hardware-Offload mit VLANs.
Na ja, "Option 4" wäre dann da die Alternative:
  • Die beiden CRSe direkt verbinden mit dem SFP+ und DAC/Twinax oder bei Längen größer 10m mit vorkonfektionierten_10G_LWL_Kabeln oder SFP+ LAG und die VLANs auf beiden CRS mit VRRP_Failover routen.
  • 4011er mit je einem Bein auf je einen der CRSe legen und mit einem Transfer VLAN und ECMP Routing ankoppeln.
Das wäre das ideale Setup wenn man auf Performance aus ist.
Mitglied: commodity
commodity 23.11.2021 um 22:24:18 Uhr
Goto Top
Hier gibt's immer was zu lernen :-) face-smile
Verstehe erstmal nur Bahnhof.
Setup war

Internet Router > 4011 > Switch 1 (326) > Endgeräte a,b,c
_________________________> Switch 2 (112) > Endgeräte d, e

Der 4011 soll die VLANs routen. Ich nehme mal an, an den Switchen hängen diverse Endgeräte (a-c und d,e).

Was bewirkt dann ein VRRP Failover? Fällt einer der Switche aus, gibt es doch für die daran hängenden Endgeräte keine Rettung. Da bringt dann der SFP+ zwischen den Switchen auch nichts.
Und wie sich das Routing mit den Transfernetzen abspielt, ist mir auch nicht klar. ECMP macht doch nur Sinn, wenn Endgeräte mehrere Wege zur Verfügung haben, zB über Access- und Core-Switche. Auch wäre der 4011 dann ja mit jeweils nur 1 Gbit/s angebunden. Wie kann das dann performanter sein von a nach b zu routen als über FC? Oder auch von a nach e, wenn a gebondet mit z.B. 4 Gbit/s über den 326 und dann per FC zum 4011 läuft?
Please Help! Was habe ich nicht verstanden?

Viele Grüße, commodity
Mitglied: aqui
aqui 24.11.2021 aktualisiert um 11:19:50 Uhr
Goto Top
So war das gemeint:
vlan-allgemein
Beide CRS arbeiten im L3 Mode, routen also lokal die VLANs in Hardware.
Wenn nur einer routen würde hättest du einen Single Point of Failure und das Netz steht sollte der einmal ausfallen oder seine L3 Funktion z.B. beim Firmware Update usw.
Damit das nicht passiert koppelt man sie per VRRP und einer virtuellen Gateway IP, die dann die Gateway IP alle Endgeräte ist und zwischen beiden Systemen geshared wird.
So erreicht man eine vollständige Gateway Redundanz im Netzwerk. VRRP ist ein reines Protokoll zur Gateway Redundanz für Endgeräte in einem L3 Netzwerk.

Dann nimmt man je CRS ein Transfer Netz auf den RB4011 und nutzt ein ECMP (Equal Cost MultiPathing) fähiges Routing was dann den gesamten Internet Traffic routingtechnisch homogen auf beide RB4011er Links verteilt.

Leider supportet MT ja (noch) kein Stacking bzw. Full Stack. Dann würde natürlich ein VRRP und das ECMP entfallen und man könnte mit einfachen LACP LAGs arbeiten.
Hoffe das macht das Setup für dich etwas klarer... ?! ;-) face-wink
Mitglied: commodity
commodity 24.11.2021 um 13:38:43 Uhr
Goto Top
Danke :-) face-smile

Ja, ich (denke, ich) verstehe den Aufbau, aber nicht den Sinn der Lösung.
Wenn ich es richtig verstehe, sollen die Switche routen und der RB4011 macht den Uplink ins Internet.
Nur,

1) was soll das bringen? In dem Szenario ist der SPoF der 4011er. In dem anderen Szenario wäre es dazu noch der zwischen geschaltete 326er. Das könnte man aber vermeiden, wenn man den 112er parallel zum per FC angebundenen 326er direkt an den 4011er dockt. Außerdem ist das in dem Mini-Setup wahrscheinlich nicht relevant. Fällt der 326er aus, ist das Netz wahrscheinlich ohnehin unbrauchbar.

2) geht das m.E. technisch nicht so.
a) Routen die CRS total langsam, jedenfalls der 112er (und der L3 HW-Offload beim 326er ist auch noch ganz frisch).
b) wäre der Link zwichen den Switchen SFP (der 112er kann kein SFP+)
c) würde Firewalling zwischen den Vlans nicht performant laufen, weil die Switch-CPUs viel zu lahm sind.

Viele Grüße, commodity
Mitglied: Visucius
Visucius 24.11.2021 um 13:43:52 Uhr
Goto Top
a) Routen die CRS total langsam, jedenfalls der 112er (und der L3 HW-Offload beim 326er ist auch noch ganz frisch).

(und wenn das nicht klappt, wie bei mir, schafft er gerade mal 165 Mbit/s iperf ;-) face-wink )
Mitglied: commodity
commodity 24.11.2021 um 14:37:21 Uhr
Goto Top
ich habe es befürchtet. Ich komme gerade leider nicht dazu, das zu testen, bleibe aber dran.

Viele Grüße, commodity
Mitglied: aqui
aqui 24.11.2021 aktualisiert um 15:42:44 Uhr
Goto Top
Wenn ich es richtig verstehe, sollen die Switche routen und der RB4011 macht den Uplink ins Internet.
Richtig. Es ist nur eine Variante wenn man zentral auf den Switches routen will mit Redundnaz.
Die Problematik die auch der Kollege @hacktor oben schon angesprochen hat sind die 2 Switchchips im RB zwischen den man Performance bedingt nicht switchen sollte. Option 2 hier also bevorzugt.
Gravierender Nachteil ist das mit einem VLAN Setup der RB nur einen Bruchteil der Performance hat die er als Router hat. Routing ist dann nicht in HW möglich. Sprich lokales VLAN Routing auf dem RB scheidet aus und der sollte immer als dedizierter Router ohne VLAN laufen wenn es um Performance geht.

Bringt dann das VLAN Routing wieder zurück auf die CRS....
Um dort Redundanz im lokalen VLAN Routing zu haben ist VRRP eigentlich ein Muss. Auch wenn der RB natürlich ebenso ein SPoF ist betrifft das dann aber nur das Internet und NICHT das lokale Routing im Netz zw. den VLANs was ja erheblich wichtiger ist aufrecht zu erhalten. Folglich sollte man, wenn auf den LAN Switches geroutet wird (und nur dann) VRRP machen sofern die Verfügbarkeit des lokalen Netze hier eine Rolle spielt.
Fazit:
Vermutlich sind die CRS im VLAN L3 Durchsatz etwas besser als der RB, das ist aber erstmal auch nur geraten weil da konkrete Daten fehlen.
Ich komme gerade leider nicht dazu, das zu testen, bleibe aber dran.
Das wäre dann der sicherste Weg das optimale Setup zu finden indem man einmal iPerf3 auf so ein Design loslässt. ;-) face-wink
Heiß diskutierte Beiträge
question
Installationsproblem Office 2021 - alle Links öffnen Edge! gelöst SarekHLVor 1 TagFrageMicrosoft Office14 Kommentare

Hallo zusammen, ich habe gerade Office 2021 auf einem Notebook installiert und habe ein seltsames Phänomen! Die Verknüpfungen zu den Office-Programmen führen allesamt zu Edge! ...

question
VPN Tunnel inkonsistent? gelöst NespressoVor 1 TagFrageNetzwerkprotokolle4 Kommentare

Hallo zusammen, das Thema VPN ist bei mir recht neu, doch habe ich es hinbekommen den Windows Server 2016 eigenen VPN dienst zu konfigurieren und ...

question
WSUS Problem mit Office + ExplorerfrenchfriesguyVor 1 TagFrageWindows Update7 Kommentare

Hallo zusammen ich/wir haben folgendes Problem mit einem Teil unseres Windows-Clients (W10E, 20H2) in Verbindung mit den Windows Updates. Die Updates werden über einen WSUS-Server ...

question
Eigener Server für Groupware und Nextcloudjonny-flashVor 1 TagFrageE-Mail5 Kommentare

Hallo zusammen, ich darf für ein kleines Startup temporär die Administration übernehmen, und habe bevor es los geht ein paar Fragen, die ich hier gern ...

question
VPN- 2 Sicherheitsfunktionen gelöst TekamolosVor 1 TagFrageVerschlüsselung & Zertifikate3 Kommentare

Hallo Jungs, beim Lernen habe ich diese Frage bekommen, da es im Internet sehr viel über VPN und viel Text und Protokolle gibt, war ich ...

question
Über das Notebook per Simkarte von unterwegs aus ins Internet?isarc01Vor 23 StundenFrage5G, 4G, LTE, UMTS, EDGE & GPRS8 Kommentare

Hallo, folgende Frage: Wenn ich über mein Notebook über eine angemeldete SIM Karte mit einer Datenflatrate ins Internet gehen möchte, benötige ich hier einen bestimmten ...

question
Mobilfunk-Internet ins Heimnetzwerk integrieren? gelöst AvarianVor 16 StundenFrageNetzwerkmanagement6 Kommentare

Hallo, Ich bin neu hier. Wir sind vorletztes Jahr umgezogen. Die Gelegenheit habe ich damals direkt genutzt, um künftig auf wackelige WLAN-Lösungen (Repeater, Mesh-Repeater, Powerlines ...

question
Maximale Empfänger bei Office365 gelöst mmpmmpVor 1 TagFrageMicrosoft Office11 Kommentare

Hallo, ich verwende nun Office365 (Exchange Online) für Emails und würde gerne die Weihnachtsgrüße per Mail versenden. Wo liegen die Beschränkungen der maximalen Empfänger? ...