Cisco SG500 Layer 3 Switch - LACP Flapping
Guten Tag,
wir haben folgende Netzwerkumgebung: 2x Mikrotik Router mit VRRP dienen als Firewall/Router um ins Internet zu kommen. Dahinter sind zwei Cisco SG500-28 als Stack und daran hängen dann einige Layer 3 Switches. Die Verbindung zu den Mikrotik Routern erfolgt über LACP (d.h. jeder Stack Teilnehmer der beiden Switches ist mit jedem Router verbunden). Außerdem verwenden wir LACP zwischen den Layer 3 Switch und den Layer 2 Switches. Die Layer 2 Switches sind teilweise auch noch untereinander verbunden (Redundanz). RTSP ist überall aktiviert.
Im Moment habe ich LACP bei den LAGs 1-5 deaktivert.
LAG6 ist eine Verbindung mit einem HP 1920-28P Switch.
LAG7 ist die Verbindung zum ersten Mikrotik Router.
LAG8 ist die Verbindung zum zweiten Mikrotik Router.
Auf den Mikrotik Routern ist jeweils ein Bonding mit Mode "802.3ad" aktiviert.
Nun zum Problem:
Lt. Log vom Layer 3 Switch werden laufend die Ports dem LACP-LAG entfernt und wieder hinzugefügt. Damit kommt es teilweise lt. Check_Mk zu Paketverlusten und zu teilweise langen Reaktionszeiten (>200ms). Ich vermute, dass es daran liegt, dass RTSP durch das Aktivieren und Deaktivieren der LAG Ports arbeitet.
Hat von euch jemand eine Idee, woran dieses Verhalten liegen kann?
Hier mal ein Auszug des Logs vom SG500:
Edit: Aja, Firmware auf den Mikrotiks (stable) und auf allen Switches ist aktuell.
Vielen Dank!
wir haben folgende Netzwerkumgebung: 2x Mikrotik Router mit VRRP dienen als Firewall/Router um ins Internet zu kommen. Dahinter sind zwei Cisco SG500-28 als Stack und daran hängen dann einige Layer 3 Switches. Die Verbindung zu den Mikrotik Routern erfolgt über LACP (d.h. jeder Stack Teilnehmer der beiden Switches ist mit jedem Router verbunden). Außerdem verwenden wir LACP zwischen den Layer 3 Switch und den Layer 2 Switches. Die Layer 2 Switches sind teilweise auch noch untereinander verbunden (Redundanz). RTSP ist überall aktiviert.
Im Moment habe ich LACP bei den LAGs 1-5 deaktivert.
LAG6 ist eine Verbindung mit einem HP 1920-28P Switch.
LAG7 ist die Verbindung zum ersten Mikrotik Router.
LAG8 ist die Verbindung zum zweiten Mikrotik Router.
Auf den Mikrotik Routern ist jeweils ein Bonding mit Mode "802.3ad" aktiviert.
Nun zum Problem:
Lt. Log vom Layer 3 Switch werden laufend die Ports dem LACP-LAG entfernt und wieder hinzugefügt. Damit kommt es teilweise lt. Check_Mk zu Paketverlusten und zu teilweise langen Reaktionszeiten (>200ms). Ich vermute, dass es daran liegt, dass RTSP durch das Aktivieren und Deaktivieren der LAG Ports arbeitet.
Hat von euch jemand eine Idee, woran dieses Verhalten liegen kann?
Hier mal ein Auszug des Logs vom SG500:
2018-Mar-01 16:03:24 Warning %NT_GREEN-W-EeeLldpMultiNeighbours: Multiple LLDP neighbours on port gi2/1/3 - EEE operational state is FALSE
2018-Mar-01 16:03:24 Warning %NT_GREEN-W-EeeLldpSingleNeighbour: Single LLDP neighbour on port gi2/1/3 - EEE operational state can be TRUE
2018-Mar-01 16:03:08 Warning %NT_GREEN-W-EeeLldpMultiNeighbours: Multiple LLDP neighbours on port gi1/1/22 - EEE operational state is FALSE
2018-Mar-01 15:56:24 Warning %NT_GREEN-W-EeeLldpMultiNeighbours: Multiple LLDP neighbours on port gi2/1/3 - EEE operational state is FALSE
2018-Mar-01 15:56:08 Warning %NT_GREEN-W-EeeLldpSingleNeighbour: Single LLDP neighbour on port gi1/1/22 - EEE operational state can be TRUE
2018-Mar-01 15:55:24 Warning %NT_GREEN-W-EeeLldpSingleNeighbour: Single LLDP neighbour on port gi2/1/3 - EEE operational state can be TRUE
2018-Mar-01 15:55:15 Informational %TRUNK-I-PORTADDED: Port gi1/1/2 added to Po8
2018-Mar-01 15:55:15 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/2 removed from Po8
2018-Mar-01 15:53:15 Informational %AAA-I-DISCONNECT: http connection for user cisco, source 10.150.50.100 destination 10.150.162.254 TERMINATED
2018-Mar-01 15:51:08 Warning %NT_GREEN-W-EeeLldpMultiNeighbours: Multiple LLDP neighbours on port gi1/1/22 - EEE operational state is FALSE
2018-Mar-01 15:50:07 Informational %TRUNK-I-PORTADDED: Port gi1/1/3 added to Po7
2018-Mar-01 15:50:07 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/3 removed from Po7
2018-Mar-01 15:49:40 Informational %AAA-I-CONNECT: New http connection for user cisco, source 10.150.50.100 destination 10.150.162.254 ACCEPTED
2018-Mar-01 15:49:08 Warning %NT_GREEN-W-EeeLldpSingleNeighbour: Single LLDP neighbour on port gi1/1/22 - EEE operational state can be TRUE
2018-Mar-01 15:48:08 Informational %TRUNK-I-PORTADDED: Port gi1/1/3 added to Po7, aggregated (3)
2018-Mar-01 15:48:07 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/3 removed from Po7, aggregated (3)
2018-Mar-01 15:45:36 Informational %TRUNK-I-PORTADDED: Port gi1/1/7 added to Po6, aggregated (1)
2018-Mar-01 15:45:36 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/7 removed from Po6, aggregated (1)
2018-Mar-01 15:45:36 Informational %TRUNK-I-PORTADDED: Port gi2/1/5 added to Po6, aggregated (1)
2018-Mar-01 15:45:35 Warning %TRUNK-W-PORTREMOVED: Port gi2/1/5 removed from Po6, aggregated (1)
2018-Mar-01 15:44:06 Warning %STP-W-PORTSTATUS: Po6: STP status Forwarding
2018-Mar-01 15:44:06 Informational %TRUNK-I-PORTADDED: Port gi2/1/5 added to Po6
2018-Mar-01 15:44:05 Informational %LINK-I-Up: Po6
2018-Mar-01 15:44:05 Informational %TRUNK-I-PORTADDED: Port gi1/1/7 added to Po6
2018-Mar-01 15:44:05 Warning %LINK-W-Down: Po6
2018-Mar-01 15:44:05 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/7 removed from Po6
2018-Mar-01 15:44:05 Warning %TRUNK-W-PORTREMOVED: Port gi2/1/5 removed from Po6
2018-Mar-01 15:43:37 Informational %TRUNK-I-PORTADDED: Port gi1/1/3 added to Po7
2018-Mar-01 15:43:37 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/3 removed from Po7
2018-Mar-01 15:38:07 Informational %TRUNK-I-PORTADDED: Port gi1/1/3 added to Po7
2018-Mar-01 15:38:07 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/3 removed from Po7
2018-Mar-01 15:31:08 Informational %TRUNK-I-PORTADDED: Port gi2/1/3 added to Po7, aggregated (1)
2018-Mar-01 15:31:08 Warning %TRUNK-W-PORTREMOVED: Port gi2/1/3 removed from Po7, aggregated (1)
2018-Mar-01 15:30:37 Informational %TRUNK-I-PORTADDED: Port gi1/1/3 added to Po7
2018-Mar-01 15:30:37 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/3 removed from Po7
2018-Mar-01 15:29:38 Informational %TRUNK-I-PORTADDED: Port gi2/1/3 added to Po7, aggregated (1)
2018-Mar-01 15:29:36 Warning %TRUNK-W-PORTREMOVED: Port gi2/1/3 removed from Po7, aggregated (1)
2018-Mar-01 15:28:45 Informational %TRUNK-I-PORTADDED: Port gi1/1/2 added to Po8
2018-Mar-01 15:28:45 Warning %TRUNK-W-PORTREMOVED: Port gi1/1/2 removed from Po8
2018-Mar-01 15:28:24 Warning %NT_GREEN-W-EeeLldpMultiNeighbours: Multiple LLDP neighbours on port gi2/1/3 - EEE operational state is FALSE
2018-Mar-01 15:28:24 Warning %NT_GREEN-W-EeeLldpSingleNeighbour: Single LLDP neighbour on port gi2/1/3 - EEE operational state can be TRUE
2018-Mar-01 15:27:37 Informational %TRUNK-I-PORTADDED: Port gi2/1/3 added to Po7, aggregated (2)
2018-Mar-01 15:27:37 Warning %TRUNK-W-PORTREMOVED: Port gi2/1/3 removed from Po7, aggregated (2)
2018-Mar-01 15:24:37 Informational %TRUNK-I-PORTADDED: Port gi2/1/3 added to Po7
2018-Mar-01 15:24:36 Warning %TRUNK-W-PORTREMOVED: Port gi2/1/3 removed from Po7
2018-Mar-01 15:21:37 Informational %TRUNK-I-PORTADDED: Port gi2/1/5 added to Po6
Edit: Aja, Firmware auf den Mikrotiks (stable) und auf allen Switches ist aktuell.
Vielen Dank!
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 366616
Url: https://administrator.de/contentid/366616
Ausgedruckt am: 22.11.2024 um 06:11 Uhr
8 Kommentare
Neuester Kommentar
jeder Stack Teilnehmer der beiden Switches ist mit jedem Router verbunden
Mmmhhh.. Das solltest du nochmal näher beschreiben und zwar derart WO deine LACP Member genau liegen.OK ein Stack verhält sich wie ein einzelner Switch, in der Beziehung kannst du dort dein LAG Member frei verteilen.
Aber auf den Mikrotiks geht das logischerweise nicht, denn die supporten keine LAG Virtualisierung wie man das von Cisco vPC oder Brocade MCT usw. kennt.
Dort MÜSSEN die LAGs zwangsweise auch einem Gerät landen ! Ein Splitting ist NICHT supportet. Logisch, denn VRRP ist eine reine Gateway Redundanz hat aber nichts mit LAG Virtualisierung zu tun !!
Hoffe du hast das im Hinterkopf.
Praktisch gesprochen kannst du z.B. auf einem SG500 2er Stack einen LAG von einem Port auf Member 1 und einem Port auf Member 2 bilden den aber NICHT mit einem Bein dann auf MT 1 und dem anderen Bein auf MT2 enden lassen. Das geht NICHT !
Der LAG muss also mit beiden Links zwingend auch MT1 oder MT2 enden.
Du bräuchtest dann also 2 LAGs wenn du mit LAGs zum Router arbeitetst. Sprich also einen LAG von einem Port auf Switch Member 1 und einem Port auf Switch Member 2 der zum MT1 geht und dann einen weiteren, separaten LAG von einem Port auf Switch Member 1 und einem Port auf Switch Member 2 der dann zum MT2 geht.
Anders geht das nicht.
Diese Beschreibung ist also etwas verwirrend oben.
Hilfreich wäre mal ein Winbox Screenshot der MT LACP Konfig und der Switches.
Hier findest du ein paar Infos dazu:
Netzwerk Management Server mit Raspberry Pi
VRRP zum MT hier:
VRRP Einrichtung
Es sollte klar sein das die Ciscos und die MT die jeweils aktuellste Firmware haben.
OK, soweit sieht das OK aus mit dem LACP.
Hast du die LACP Timer mal verglichen im Cisco und im MT ob es da Unterschiede gibt ? Wäre ggf. auch noch eine Fehlerquelle.
Nimmt der MT auch am RSTP Prozess teil bzw. ist dort auf dem LAG Interfaces zum Switch RSTP aktiviert ?
Solltest du machen !
Was noch wichtig ist, ist dem Core Switch, was ja vermutlich der Stack bei dir ist eine RSTP Priority zu verpassen die höher ist als der default. Damit erzwingt man in der Root Switch Selection das der Core Switch immer Root Switch wird.
Die Priority wird modulo 4096 vergeben. Kleinere Werte als der default = höhere Prio. Dem SG500 Stack solltest du das unbedingt so einstellen wenn der der Core Switch bei dir ist !
Hast du die LACP Timer mal verglichen im Cisco und im MT ob es da Unterschiede gibt ? Wäre ggf. auch noch eine Fehlerquelle.
Nimmt der MT auch am RSTP Prozess teil bzw. ist dort auf dem LAG Interfaces zum Switch RSTP aktiviert ?
Solltest du machen !
Was noch wichtig ist, ist dem Core Switch, was ja vermutlich der Stack bei dir ist eine RSTP Priority zu verpassen die höher ist als der default. Damit erzwingt man in der Root Switch Selection das der Core Switch immer Root Switch wird.
Die Priority wird modulo 4096 vergeben. Kleinere Werte als der default = höhere Prio. Dem SG500 Stack solltest du das unbedingt so einstellen wenn der der Core Switch bei dir ist !
Mikrotik kann ja m.E. nur auf Bridges STP.
Das stimmt, da hast du Recht. Macht ja auch nur Sinn auf Bridges Die Frage ist wie der MT mit RSTP BPDU Frames auf einem LAG umgeht. Sollte er diese forwarden zw. den LAG Member hat man natürlich ein gravierendes Problem mit flappenden Links auf dem Switch, da die dann abwechselnd dort ins Blocking gehen. Wäre ein möglicher Fehler.
Das kannst du aber ganz schnell mal querchecken indem du auf dem Switch an den jeweiligen LAG Member Ports zum MT mal das RSTP Spanning Tree abschaltest.
Dann kann der MT nicht mehr die BPDUs loopen (da ja keine mehr kommen ) und es sollte ruhig werden im Netz.
Wär mal einen Versuch wert....