RB4011, CRS112, CRS326 - Wie miteinander verbinden

Von Variante 1 und 2 fällt die erste schon mal als erstes weg. Der Grund: Die Daten gehen bei in diesem Fall von einem Switch-Chip zum anderen immer zwangsweise durch die CPU und dieser Interconnect ist ebenfalls auf 2,5GBits begrenzt. Bei Variante 2 liegen beide CRS Switches in einer VLAN-Bridge des Mikrotik, da der RB4011 aber kein Hardware-Offload bei aktiviertem VLAN-Filtering supported geht hierbei der Traffic zwischen den VLANs ebenfalls zwingend durch die CPU ist also ebenfalls nicht die schnellste Lösung.
Hardware Offload bei aktiviertem VLAN-Filtering supported aber der CRS326, der würde sich also als Routing-Device anbieten, ja wenn da nicht seine begrenzte CPU-Leistung für sonstige Aufgaben Firewalling etc. wären.
Ist also alles nicht Fisch noch Fleisch wenn egal welche Variante du wählst Routen würde immer der RB4011 und da begrenzt eben das non supported Hardware-Offload mit VLANs. Am ehesten Variante 2 wenn ich wählen müsste und kein andere Hardware kaufen dürfte.
Ebenfalls sollte man vielleicht auch noch erwähnen das der RB4011 insgesamt nicht mehr wie 7GBit's mit seiner Quad 1,4GHZ CPU wuppen kann, der 10GBit's Port lässt sich also alleine ebenfalls nicht im vollen ausreizen.

https://wiki.mikrotik.com/wiki/Manual:Switch_Chip_Features

Bildquelle: Mikrotik

Hallo,

steht bei mir fast genau so zur Umsetzung an, nur mit einem 5009er. Hatte aber noch keine Zeit. Zu den Facts:

Kollege @149569 hat schon die wesentlichen Tretminen beschrieben. Zutreffend wird (willst Du ja auch) über den 4011 geroutet. HW-Offload ist für den Usecase im Router an dieser Stelle irrelevant, der soll ja routen und das macht MT eben durch die CPU. Gehst Du also mit je einem Trunk aus den Switchen auf einen gemeinsamen Switch-Chip in den Router, gehen immerhin 1 Gbit/s über die Leitung. Das schafft die CPU locker, vermutlich kann sie auch alle Ports eines Switch-Chips in Wirespeed bedienen, wenn die von Kollege @149569 genannte Zahl von 7 Gbit/s zutrifft.

In Deinem Szenario hieße das aber, wenn Du mit je einer Trunk-Leitung von den Switchen in den 4011 gehst (Variante 2), begrenzt die Leitung die Performance auf 1 Gbit/s je Switch. Wenn Dir das reicht, ist das der Weg. Reicht es nicht, hilft Bonding (alle auf den einen Switch-Chip im 4011, dann immerhin 2x2 Gbit/s, bei max 2,5 Gbit/s.) oder (wenn baulich umsetzbar) der Königsweg (Variante 3 mit) SFP+:

Sowohl der 4011 als auch der 326 können 10 Gbit/s über FC. Hänge also den Trunk aus dem 326 per FC an den 4011 und Du hast richtig Feuer auf der Leitung. Da der 326 dann artig offloaded, verteilt er das auch ohne seine CPU-Bremse auf die Ports. Nur der 112 hängt dann mit einem Trunk hinten am 326 etwas lahmer, kannst Du aber wahrscheinlich auch bonden.

Alternativ kannst Du wahrscheinlich neuerdings auch den 326 im L3 HW Offload die VLANs routen lassen, aber Deine Frage zielte ja auf die Anbindung der Switche an den 4011 und ein bisschen Firewalling zwischen den Netzen ist ja vielleicht auch ganz schön. Der 4011 hat also durchaus seine Berechtigung.

Viele Grüße, commodity

Jupp, der DAC läuft bei mir schon zwischen 326 und 5009
Hab noch zum Vergleich nen günstigen bei Amazon geordert.

Ob das mit dem 112er gebondet und HW-Offload auf dem 326 klappt, kannst Du ja vielleicht mal berichten.

Viele Grüße, commodity

Na ja, "Option 4" wäre dann da die Alternative:

• Die beiden CRSe direkt verbinden mit dem SFP+ und DAC/Twinax oder bei Längen größer 10m mit VRRP_Failover routen.
• 4011er mit je einem Bein auf je einen der CRSe legen und mit einem Transfer VLAN und ECMP Routing ankoppeln.

Das wäre das ideale Setup wenn man auf Performance aus ist.

Hier gibt's immer was zu lernen
Verstehe erstmal nur Bahnhof.
Setup war

Internet Router > 4011 > Switch 1 (326) > Endgeräte a,b,c
_________________________> Switch 2 (112) > Endgeräte d, e

Der 4011 soll die VLANs routen. Ich nehme mal an, an den Switchen hängen diverse Endgeräte (a-c und d,e).

Was bewirkt dann ein VRRP Failover? Fällt einer der Switche aus, gibt es doch für die daran hängenden Endgeräte keine Rettung. Da bringt dann der SFP+ zwischen den Switchen auch nichts.
Und wie sich das Routing mit den Transfernetzen abspielt, ist mir auch nicht klar. ECMP macht doch nur Sinn, wenn Endgeräte mehrere Wege zur Verfügung haben, zB über Access- und Core-Switche. Auch wäre der 4011 dann ja mit jeweils nur 1 Gbit/s angebunden. Wie kann das dann performanter sein von a nach b zu routen als über FC? Oder auch von a nach e, wenn a gebondet mit z.B. 4 Gbit/s über den 326 und dann per FC zum 4011 läuft?
Please Help! Was habe ich nicht verstanden?

Viele Grüße, commodity

So war das gemeint:
Beide CRS arbeiten im L3 Mode, routen also lokal die VLANs in Hardware.
Wenn nur einer routen würde hättest du einen Single Point of Failure und das Netz steht sollte der einmal ausfallen oder seine L3 Funktion z.B. beim Firmware Update usw.
Damit das nicht passiert koppelt man sie per VRRP und einer virtuellen Gateway IP, die dann die Gateway IP alle Endgeräte ist und zwischen beiden Systemen geshared wird.
So erreicht man eine vollständige Gateway Redundanz im Netzwerk. VRRP ist ein reines Protokoll zur Gateway Redundanz für Endgeräte in einem L3 Netzwerk.

Dann nimmt man je CRS ein Transfer Netz auf den RB4011 und nutzt ein ECMP (Equal Cost MultiPathing) fähiges Routing was dann den gesamten Internet Traffic routingtechnisch homogen auf beide RB4011er Links verteilt.

Leider supportet MT ja (noch) kein Stacking bzw. Full Stack. Dann würde natürlich ein VRRP und das ECMP entfallen und man könnte mit einfachen LACP LAGs arbeiten.
Hoffe das macht das Setup für dich etwas klarer... ?!

Danke

Ja, ich (denke, ich) verstehe den Aufbau, aber nicht den Sinn der Lösung.
Wenn ich es richtig verstehe, sollen die Switche routen und der RB4011 macht den Uplink ins Internet.
Nur,

1) was soll das bringen? In dem Szenario ist der SPoF der 4011er. In dem anderen Szenario wäre es dazu noch der zwischen geschaltete 326er. Das könnte man aber vermeiden, wenn man den 112er parallel zum per FC angebundenen 326er direkt an den 4011er dockt. Außerdem ist das in dem Mini-Setup wahrscheinlich nicht relevant. Fällt der 326er aus, ist das Netz wahrscheinlich ohnehin unbrauchbar.

2) geht das m.E. technisch nicht so.
a) Routen die CRS total langsam, jedenfalls der 112er (und der L3 HW-Offload beim 326er ist auch noch ganz frisch).
b) wäre der Link zwichen den Switchen SFP (der 112er kann kein SFP+)
c) würde Firewalling zwischen den Vlans nicht performant laufen, weil die Switch-CPUs viel zu lahm sind.

Viele Grüße, commodity

(und wenn das nicht klappt, wie bei mir, schafft er gerade mal 165 Mbit/s iperf )

ich habe es befürchtet. Ich komme gerade leider nicht dazu, das zu testen, bleibe aber dran.

Viele Grüße, commodity