jburkhart
Goto Top

Flapping between port X and Y

Liebe alle

ich hoffe, es ist in Ordnung, dass ich mit einem Thema komme, das ich in ähnlichen Beiträgen in anderen Foren gefunden habe. Aber ich habe keine Lösung gefunden, die mir helfen könnte.

Wir sind eine Non-Profit-Organisation in München (Deutschland): Das 'shaere' - www.shaere.net. Wir bauen ein Kultur- und Bildungszentrum für alle Interessierten. Ich habe die IT und den Wifi-Bereich wie folgt eingerichtet:

ISP über Service Provider 'colt' funktioniert gut.
Unifi Sicherheits-Gateway USG-Pro-4
Cisco ME-3600-24FS-M bringt Internet zu 8 verschiedenen Ubiquiti Edge Switches in den technischen Räumen (STP nur auf dem Cisco ME aktiviert - auf den 8 Switches deaktiviert)
Von den 8 Switches haben wir 17 Access Points (Ubiquiti WIFI 6 Lite & Long Range) gepatcht - alle haben die gleiche SSID

Jetzt erhalten wir diese Fehler:
Aug 16 11:58:02.781: %SW_MATM-4-MACFLAP_NOTIF: Host 1ed0.1954.1f4f in vlan 1 flattert zwischen Port Gi0/3 und Port Gi0/12
Aug 16 18:19:27.712: %SW_MATM-4-MACFLAP_NOTIF: Host 1ed0.1954.1f4f in vlan 1 ist flapping zwischen Port Gi0/12 und Port Gi0/6
Aug 16 18:23:56.744: %SW_MATM-4-MACFLAP_NOTIF: Host 1ed0.1954.1f4f in vlan 1 flattert zwischen Port Gi0/4 und Port Gi0/5
In diesem Beispiel war es dieselbe Mac-Adresse, aber jeden Tag ist es eine andere und manchmal sogar mehr als eine. Jedes flapping führt dazu, dass das Internet nicht mehr funktioniert, während das WIFI-Signal stark bleibt.

Haben Sie eine Idee, was dies verursachen könnte und wie wir damit umgehen können? Gibt es eine Einstellung, die wir entweder auf dem
Haupt-Cisco-Switch
Die 8 Switches in den technischen Räumen
Die 17 APs, die wir verwenden?

Vielen Dank im Voraus.

Vielen Dank
Jakob

Content-Key: 3672354456

Url: https://administrator.de/contentid/3672354456

Ausgedruckt am: 04.10.2022 um 01:10 Uhr

Mitglied: ChriBo
ChriBo 16.08.2022 um 20:53:30 Uhr
Goto Top
Hi,
an welchem Switch tritt das auf ?
Was ist an den flappenden Ports angeschlossen ?
Was für ein Gerät hat die MAC-Adresse 1ed0.1954.1f4f ?
Was zeigen die UniFi Logs der Access Points ?
Wo funktioniert das Internet nicht ?
An eienem oder mehreren Clienten, die per WiFi verbunden sind, oder an allem angeschlossenen Geräten ?

Habt ihr die APs als einzel APs konfiguriert oder als 1 Standort ?
Es sieht fast so aus als ob ihr die APs einzeln konfiguriert habt und dann die WiFi Clienten von einem AP zu nächsten wechseln.

Gruß
CH
Mitglied: Lochkartenstanzer
Lochkartenstanzer 16.08.2022 um 21:19:14 Uhr
Goto Top
Zitat von @ChriBo:

Habt ihr die APs als einzel APs konfiguriert oder als 1 Standort ?
Es sieht fast so aus als ob ihr die APs einzeln konfiguriert habt und dann die WiFi Clienten von einem AP zu nächsten wechseln.


Moin,

das wäre auch mein Verdacht, das jeder AP "sein Ding" macht und daher die Clients mal mit dem einen und mal mit dem anderen AP "rummachen", also kein vernünftiges Handover erfolgt, sondern nur ein "poor man's handover" das an den Überlappungen der Zellen wesentlich vom Verhalten des Clients abhängt.

Also: Habt ihr einen Controller eingerichtet, der die APs steuert oder nicht?

lks
Mitglied: Dobby
Dobby 16.08.2022 um 23:32:27 Uhr
Goto Top
Hallo,

ISP über Service Provider 'colt' funktioniert gut.
Ok, und wie kommt das Internet denn nun wirklich in Euer Netzwerk? Modem, Router, Firewall oder USG-Pro-4

Unifi Sicherheits-Gateway USG-Pro-4
Routet das auch das WLAN? Oder macht das der Cisco ME-3600-24FS-M?

Cisco ME-3600-24FS-M bringt Internet zu 8 verschiedenen Ubiquiti Edge Switches in den technischen
Räumen
Wie sind die denn alle angebunden (mittels Kabel verbunden) 1 GBit/s oder 2,5 bis 10 GBit/s oder per LAG?
Wie sind denn die WLAN APs angebunden, sind die "gebridged"? Von daher könnte das "Port flapping" auch
und das noch nicht einmal selten. Oder werden die geroutet und wenn ja von wem? (Cisco oder USG)

(STP nur auf dem Cisco ME aktiviert - auf den 8 Switches deaktiviert)
STP ist eigentlich für LAGs von Nutzen und muss bzw. sollte für eine fehlerfreien Betrieb immer auf beiden
Seiten aktiviert sein.

Von den 8 Switches haben wir 17 Access Points (Ubiquiti WIFI 6 Lite & Long Range) gepatcht -
alle haben die gleiche SSID
Wie groß sind denn die 8 Switche? 4 Port oder 8 Port oder 24 bis 48 Ports?

In der Regel sind hier mehrere Flaschenhälse plus eine Routingfrage und ein LAG Problem(?)
die APs haben 1200 und 2400 MBit/s und wie genau sind die nun angebunden, mittels nur
eines 1 GBit/s LAN Ports? Und wie sind die Switche untereinander verbunden worden? Single
1 GBit/s LAN Port oder mehreren LAN Ports via LAG? Und wer routet das ganze WLAN?

Dobby
Mitglied: unbelanglos
unbelanglos 17.08.2022 um 08:56:43 Uhr
Goto Top
Sterntopologie zwischen Cisco und Edge Switches?
Wie ist die Portkonfig der Up/Downlinks zwischen den Switches?

Wer ist die MAC-Adresse im Beispiel? Welche Geräte sind es sonst?

Portfast und BPDU schon mal gehört?
Mitglied: jburkhart
jburkhart 17.08.2022 aktualisiert um 14:55:41 Uhr
Goto Top
Wow, vielen Dank für die schnellen Rückmeldungen.

Hier mal gesammelt die Antworten in der Hoffnung es hilft euch - ich bin leider kein IT Experte.

an welchem Switch tritt das auf?
/ Am Hauptswitch (Cisco)

Was ist an den flappenden Ports angeschlossen
/ Die einzelnen (insgesamt 8) Switches, per Glasfaser

Was für ein Gerät hat die MAC-Adresse 1ed0.1954.1f4f ?
/ Ist ein Smartphone in diesem Fall

Was zeigen die UniFi Logs der Access Points?
/ Wir managen die APs ja über die USG Pro 4 / den Unifi controller - da kommt keine Notification.

Wo funktioniert das Internet nicht ?
An eienem oder mehreren Clienten, die per WiFi verbunden sind, oder an allem angeschlossenen Geräten ?
/ Das Internet funktioniert an keinem einzigen AP bzw. Client mehr.

Habt ihr die APs als einzel APs konfiguriert oder als 1 Standort ?
/ Die APs sind alle auf einer Site über den Unifi Controller angebunden.

Unifi Sicherheits-Gateway USG-Pro-4
Routet das auch das WLAN? Oder macht das der Cisco ME-3600-24FS-M?
/ Die USG Pro 4 routet.

Cisco ME-3600-24FS-M bringt Internet zu 8 verschiedenen Ubiquiti Edge Switches in den technischen
Räumen. Wie sind die denn alle angebunden (mittels Kabel verbunden) 1 GBit/s oder 2,5 bis 10 GBit/s oder per LAG?
Wie sind denn die WLAN APs angebunden, sind die "gebridged"? Von daher könnte das "Port flapping" auch
und das noch nicht einmal selten. Oder werden die geroutet und wenn ja von wem? (Cisco oder USG)
/ Die Switches sind alle per Glasfaser angebunden und gehen in den SFP Port der einzelnen (insgesamt 8) Switches. Von den Switches geht es per Ethernet gepatcht zu den APs. Alles per 1GBit/s.

(STP nur auf dem Cisco ME aktiviert - auf den 8 Switches deaktiviert)
STP ist eigentlich für LAGs von Nutzen und muss bzw. sollte für eine fehlerfreien Betrieb immer auf beiden
Seiten aktiviert sein.
/ Wir hatten damals in einem Setup mit Archer A8 Aps deutlich mehr Ausfälle. Mit den Unifi APs ist das schon deutlich besser geworden. Auch die Switches wurden neu angeschafft. Die Switches sind übrigens per UNMS auf einer Site eingerichtet. Von den 8 Switches haben wir 17 Access Points (Ubiquiti WIFI 6 Lite & Long Range) gepatcht -
alle haben die gleiche SSID

Wie groß sind denn die 8 Switche? 4 Port oder 8 Port oder 24 bis 48 Ports?
/ Ganz unterschiedlich:
3x Edge Switch 10x
1x Edge Switch 18x
1x Edge Switch 24x
2x Edgerouter 5x
1x Edgecore 24x

In der Regel sind hier mehrere Flaschenhälse plus eine Routingfrage und ein LAG Problem(?)
die APs haben 1200 und 2400 MBit/s und wie genau sind die nun angebunden, mittels nur
eines 1 GBit/s LAN Ports?
/ Ja per 1GBit/s Lan Ports gepatcht mit RJ45.

Und wie sind die Switche untereinander verbunden worden?
/ Die 8 Switche gehen alle per Glas zum Main Switch (Cisco)

Single 1 GBit/s LAN Port oder mehreren LAN Ports via LAG?
/ Alle einzeln angeschlossen per Glas auf SFP.

Und wer routet das ganze WLAN?
/ Die USG Pro 4

Ok, und wie kommt das Internet denn nun wirklich in Euer Netzwerk?
/ Vom Colt-Router direkt in die USG Pro 4

Unifi Sicherheits-Gateway USG-Pro-4
Routet das auch das WLAN? Oder macht das der Cisco ME-3600-24FS-M?
/ Das macht die USG Pro 4

(STP nur auf dem Cisco ME aktiviert - auf den 8 Switches deaktiviert)
STP ist eigentlich für LAGs von Nutzen und muss bzw. sollte für eine fehlerfreien Betrieb immer auf beiden
Seiten aktiviert sein.
/ Da haben wir definitiv andere Erfahrungen gemacht und auch unterschiedliche Meinungen gehört. Ich denke nicht, dass hier das Problem liegt.

Sterntopologie zwischen Cisco und Edge Switch
/ Exakt.

Wie ist die Portkonfig der Up/Downlinks zwischen den Switches?
/ Da gibt es nichts wirklich, was konfiguriert ist.

Wer ist die MAC-Adresse im Beispiel? Welche Geräte sind es sonst?
/ Ist in diesem Fall ein Smartphone. Ansonsten sind es auch Laptops oder PCs, die es auslösen.

Portfast und BPDU schon mal gehört?
/// Leider nein - hilft mir das?


Danke an Alle!
Mitglied: Lochkartenstanzer
Lochkartenstanzer 17.08.2022 aktualisiert um 14:27:44 Uhr
Goto Top
Moin,

Kannsr Du Mal das Zitierte und die Antworten auseinanderdröseln. So ist das sehr schwer zu lesen.

lks

PS: meine Kristallkugel sagt, Du hast loops die jede Kommunikation killen drin.
Mitglied: jburkhart
jburkhart 17.08.2022 um 14:57:27 Uhr
Goto Top
Danke @Lochkartenstanzer,

ich habe es mal versucht aufzudrösel - hilft das?

Also Kabel-Loops habe ich definitiv nicht. Es ist alles neu gepatcht und überprüft.
Mitglied: ChriBo
ChriBo 17.08.2022 um 15:27:31 Uhr
Goto Top
Hi,
das ist strange.
Vielleicht kommst du etwas weiter wenn du mal die ARP bzw. MAC-ADDRESS tables vom CORE Switch und den Edge Switchen nach der MAC Adresse (1ed0.1954.1f4f) der flappenden Ports hin durchsuchst.
-
wieviele VLANs habt ihr ?
wenn einige Ports flappen und "das Internet nicht mehr funktioniert: hast du dann noch Zugriff auf die USG Pro 4 / den Unifi controller ? Wenn ja: Mit welchem AP ist der Client mit der "flappenden"MAC Adresse verbunden ?

Gruß
CH
Mitglied: jburkhart
jburkhart 17.08.2022 aktualisiert um 22:57:58 Uhr
Goto Top
Ich werde mir die Switches mal anschauen und nach der MAC Adresse suchen. Auf was könnte ich hier stoßen?
UPDATE: Switches kontrolliert und leider taucht die MAC Adresse hier nicht auf / ich finde den Client hier nicht. Auf den Edgeroutern kann ich das meines Wissens nicht nachschauen, aber davon haben wir nur zwei und das flapping ist ja auf 5 verschiedenen ports im obigen Beispiel.

Wir haben nur das default VLAN aktiv, also VLAN 1 - mehr haben wir nicht. Das Flapping ist in jedem Fall nicht einem Switch oder AP zuzuordnen - zumindest kam es bis jetzt immer aus unterschiedlichen APs. Ich habe nach einem Netflapping gecheckt, mit welchem AP der Client verbunden ist und da war keine Stringenz zu sehen.

Auf die USG Pro 4 habe ich keinen Zugriff mehr, wenn das Internet abbricht/ das Net Flapping einsetzt.
Mitglied: ChriBo
ChriBo 18.08.2022 um 08:55:06 Uhr
Goto Top
Hi,
die Fehlermeldungen die du erhältst zeigen an, daß der Host mit der MAC Adresse 1ed0.1954.1f4f sowohl aus Gi0/3,4,5,6 und 12 vorhanden ist, bzw. zwischen diesen Ports wechselt.
Du mußt also herausbekommen auf welchem Einzelport der angeschlossenen Switchen die MAC Adresse "ankommt", dies erhält man üblicherweise über die ARP bzw. MAC-ADDRESS Table des entsprechenden Switches.
Du bist dir 100% sicher, daß die UniFi Switche nicht physikalisch untereinenander verbunden sind, sondern ausschließlich mit einer Netzwerkverbindung sternförmig zum Core Switch ?
-
ich tippe aber eher auf eine Fehlkonfiguration der APs.
hier im Forum sind einige die dir ggf. Hilfestellungen geben können wie die APs richtig eingerichtet werden.

Gruß
CH
Mitglied: aqui
aqui 18.08.2022 aktualisiert um 11:31:01 Uhr
Goto Top
Kollege @Dobby hat es oben schon erwähnt das die sehr unsaubere Spanning Tree Konfig die wahrscheinliche Ursache ist. Es ist ein unsauberes STP Setup die Access Switches das nur durchreichen zu lassen. Damit ist kein stabiler und verlässlicher STP Betrieb möglich.
Zudem ist der Cisco Core Switch ein IOS Switch der im Default PVSTP+ verwendet, also ein Cisco proprietäres per VLAN STP Protokoll was nicht Standard konforme BPDU Adressen verwendet.
Es wäre also erstmal grundsätzlich zu klären WIE die Access Switches mit diesen BPDU Paketen umgehen wenn sie nicht selbst aktiv am STP Prozess partizipieren? Blocking oder dummes Forwarding? Der Wireshark ist hier wie immer des Netzwerkers bester Freund!

Da der Cisco einen eigenen STP Prozess pro VLAN definiert, die Access Switches das aber nicht verstehen, weil sie nur banales Single Span Verfahren supporten und ggf. schlimmer noch, diese global in alle VLAN Segmente fluten/fortwarden kann es auf dem Cisco zu solchen Effekten kommen die dieses Fehlerbild verursachen.
Der Grund das die billo Access Switches das Cisco PVSTP+ Verfahren nicht supporten und damit ein homogener STP Betrieb niemals mit den Default Settings oder durch Abschaltung möglich.
Um das sicher gewährleisten zu können MUSS der Cisco im Setup global auf MSTP Spanning Tree Betrieb in seiner Konfig umgestellt werden.
Die Access Switches werden dann in den RSTP Betrieb aktiviert.

MSTP basiert auf RSTP so das damit beide STP Verfahren wieder kompatibel zueinander sind und fehlerlos ohne Probleme zusammenarbeiten.
Idealerweise definiert man den Cisco mit einer entsprechenden STP Priority modulo 4096 dann noch als Root Switch um den STP Tree damit statisch fest vorzugeben und die aktiven Uplinks zu bestimmen. So sähe dann ein sauberes STP Setup aus.

Dieser Thread beschreibt z.B. so ein korrektes und einfaches MSTP Setup im Mischbetrieb mit Cisco und Fremdherstellern:
https://administrator.de/frage/spanning-tree-modus-migration-pvst-mst-ci ...

Alternativ könnte man STP ganz deaktivieren, dann aber an ALLEN Komponenten um solche undefinierten Zustände wie oben sicher zu vermeiden.
Das ist dann aber immer russisches Roulette sofern man keine anderen Loop Prevention Protokolle aktiviert und deshalb nicht zu empfehlen.
Mitglied: jburkhart
jburkhart 20.08.2022 um 09:20:08 Uhr
Goto Top
Lieber aqui, Lieber ChriBo,

vielen Dank für euren schnellen und ausführlichen Rückmeldungen.

Ich finde das wirklich genial, was für ein Input von euch kommt. Wir werden nun Schritt für Schritt vorgehen und das Thema mit euren Punkten analysieren. Da mein IT Support Kollege jetzt erstmal im Urlaub ist, werde ich wsl. erst nach dem 10.9. eine Statusmeldung geben können - bestenfalls dann ohne Flappings. face-smile

Da ich neu in der Forenwelt bin: Kann man hier irgendetwas spenden oder beitragen?

Danke nochmal und bis bald,
Jakob
Mitglied: Lochkartenstanzer
Lochkartenstanzer 20.08.2022 um 10:17:54 Uhr
Goto Top
Zitat von @jburkhart:

Da ich neu in der Forenwelt bin: Kann man hier irgendetwas spenden oder beitragen?

Du könntest ein Forentreffen organisieren, wofür wir hier immer noch keinen freiwilligen gefunden haben . face-smile
Mitglied: jburkhart
jburkhart 22.08.2022 um 21:02:24 Uhr
Goto Top
Hi Lochkartenstanzer,

na das klingt ja nach einer interessanten Aufgabe face-smile.

Wäre soetwas denn in München denkbar? Dann würde ich in der Tat überlegen, das zu organisieren. Gibt es schon Vorstellungen dazu?

Viele Grüße,
Jakob
Mitglied: Dobby
Dobby 22.08.2022 um 21:33:01 Uhr
Goto Top
Hallo,

Du könntest ein Forentreffen organisieren, wofür wir hier immer noch keinen freiwilligen gefunden haben .
Gab es das denn schon einmal?

Dobby
Mitglied: Lochkartenstanzer
Lochkartenstanzer 22.08.2022 um 21:55:19 Uhr
Goto Top
Zitat von @Dobby:

Hallo,

Du könntest ein Forentreffen organisieren, wofür wir hier immer noch keinen freiwilligen gefunden haben .
Gab es das denn schon einmal?

Wir hatten es schon einmal hier im Forum diskutiert, aber ich finde den Thread nicht mehr. Hat dich dann irgendwie wieder zerlaufen, weil keiner die Kurve gekriegt hat.

lks
Mitglied: jburkhart
jburkhart 24.08.2022 um 08:37:03 Uhr
Goto Top
Haha, ok.

Und was habt ihr euch so vorgestellt?

LG
Jakob