Cisco SG-300 TCAM
Moin,
wir sind aktuell dabei unseren Cisco SG300-10 zu testen.
Wir haben in diesem 4 VLANs eingericht zwischen diesen der Cisco routen soll.
Dann wurde das Routing bei neuen Geräten plötzlich sehr lahm, wo wir dann gesehen haben, dass die TCAM Resources Table voll ist.
Folglich haben wir diese jetzt auf das Maximum von 462 gestellt und neugestartet, worauf wieder alles schnell lief.
Allerdings stellen sich uns folgende Fragen:
Vereinfacht gesagt speichert TCAM ja die Routing Regeln in der Hardware, sodass ein Routing mit Wirespeed möglich ist, soweit ich das verstanden habe.
1. Heißt das, dass maximal 462 Clients mit Wirespeed geroutet werden können, oder liegt die Zahl nochmal deutlich darunter?
2. Gibt es die Möglichkeit dieses TCAM Tabelle weiter zu vergrößern, indem man den Platz der IPv6 Regeln nutzt, die wir in unserem Netz nicht benötigen?
Ich habe noch ein Bild der TCAM Utilization angehängt
wir sind aktuell dabei unseren Cisco SG300-10 zu testen.
Wir haben in diesem 4 VLANs eingericht zwischen diesen der Cisco routen soll.
Dann wurde das Routing bei neuen Geräten plötzlich sehr lahm, wo wir dann gesehen haben, dass die TCAM Resources Table voll ist.
Folglich haben wir diese jetzt auf das Maximum von 462 gestellt und neugestartet, worauf wieder alles schnell lief.
Allerdings stellen sich uns folgende Fragen:
Vereinfacht gesagt speichert TCAM ja die Routing Regeln in der Hardware, sodass ein Routing mit Wirespeed möglich ist, soweit ich das verstanden habe.
1. Heißt das, dass maximal 462 Clients mit Wirespeed geroutet werden können, oder liegt die Zahl nochmal deutlich darunter?
2. Gibt es die Möglichkeit dieses TCAM Tabelle weiter zu vergrößern, indem man den Platz der IPv6 Regeln nutzt, die wir in unserem Netz nicht benötigen?
Ich habe noch ein Bild der TCAM Utilization angehängt
Please also mark the comments that contributed to the solution of the article
Content-ID: 343449
Url: https://administrator.de/contentid/343449
Printed on: December 2, 2024 at 14:12 o'clock
15 Comments
Latest comment
Wie groß ist denn deine Routing Tabelle das du da an die Limits stößt ?! Das ist recht ungewöhnlich bei simplen 4 VLANs. Nicht das der Switch da ne Macke hat ?!
Hast du die aktuellste Firmware und Bootcode auf den Switch geflasht ?? Das solltest du in jedem Falle machen.
Nur wenn man eine riesige Routing Tabelle hat muss man an den TCAM Parameter fummeln.
Und ja...wenn du den v6 Space freigibst ergibt das größere TCAM Resourcen für v4 only.
Nein, die L3 TCAM bezieht sich auf 462 IP Netze bzw. Prefix Masken nicht auf die Clients. Deshalb die Frage nach der Größe der Routing Tabelle.
Hast du die aktuellste Firmware und Bootcode auf den Switch geflasht ?? Das solltest du in jedem Falle machen.
Nur wenn man eine riesige Routing Tabelle hat muss man an den TCAM Parameter fummeln.
Und ja...wenn du den v6 Space freigibst ergibt das größere TCAM Resourcen für v4 only.
Nein, die L3 TCAM bezieht sich auf 462 IP Netze bzw. Prefix Masken nicht auf die Clients. Deshalb die Frage nach der Größe der Routing Tabelle.
Gibt es einen Grund warum du /16er Netze verwendest ?? Du wirst ja wohl kaum 65534 Endgeräte in diesen Netzen adressieren wollen. Schon gar nicht im Internet VLAN, denn da ist vermutlich nur noch der Router drin so das eine /30 (255.255.255.252) Maske da vollends reicht. Warum also keine /24 oder /23 Prefixe für die Produktivnetze ?
Richtig, in deinem TCAM wären nur 4 Einträge. Das kann unmöglich sein das du da was umstellen musst.
Da hast du ein ganz anderes Problem was nicht mit TCAMs zu tun hat.
Machst du Spanning Tree oder sowas im Netz ?
Wichtig ist erstmal die aktuellste Firmware. Macht man als verantwortungsvoller Netzwerker eigentlich immer als Erstes.
Richtig, in deinem TCAM wären nur 4 Einträge. Das kann unmöglich sein das du da was umstellen musst.
Da hast du ein ganz anderes Problem was nicht mit TCAMs zu tun hat.
Machst du Spanning Tree oder sowas im Netz ?
Wichtig ist erstmal die aktuellste Firmware. Macht man als verantwortungsvoller Netzwerker eigentlich immer als Erstes.
dann versucht das STP ja sicherzustellen, dass es immer nur eine Route zu einem Client gibt.
Nein vollkommen falsch verstanden. Spoanning Tree ist ein reines Layer 2 Protokoll und hat rein gar nix mit Routing (L3) zu tun. Es verhindert Layer 2 Loops. Mit dem TCAM hat das nix zu tun.https://de.wikipedia.org/wiki/Spanning_Tree_Protocol
Lesen und verstehen...!
Hast du eine reinrassige Umgebung oder Mischmasch an Herstellern bzw. hast du überhaupt mehr als einen Switch im Netzwerk und ggf. redundante Links wo STP ins Spiel kommt ?
Ansich scheint STP ja nichts schlechtes zu sein
Per se stimmt das. Nur man sollte, wenn dann, auch STP richtig customizen mit Root und Backup Root Switch ! Stichwort STP Priority.
Wichtig ist in so einer Konstellation das der Ciscos zwingend Rootbridge ist !
Das stellt man über die Bridge Priority ein:
Die Backup Root sollte 8192 haben. Da du keinen zweiten Core hast kann das entfallen und es reicht eine Root Bridge. STP Priorities werden modulo 4096 konfiguriert !
Das ist extrem wichtig damit nicht irgendein blöder Access Switch Root Bridge wird für den Spanning Tree.
Loopback Guard sollte man auch aktivieren. Schützt vor den DAU Dödels die auf den kleinen 5 Port Tischswitches vom Blödmarkt Loops stecken...!
Ebenso wichtig ist das durchgehend alle Switches auf RSTP (Rapid STP) gestellt sind. Das STP Protokoll muss einheitlich sein !
Wie viel Clients hast du denn insgesamt am Cisco. Wenn das 1000 sind macht es Sinn die TCAM anzupassen bei 150 Clients ganz sicher nicht.
Hast du mal die Logs im Cisco angesehen wenn das passiert ??
Vermutlich hast du irgendein STP Problem aber kein TCAM Problem. Ausnahme natürlich bei einer hohen Clientzahl.
Das stellt man über die Bridge Priority ein:
Die Backup Root sollte 8192 haben. Da du keinen zweiten Core hast kann das entfallen und es reicht eine Root Bridge. STP Priorities werden modulo 4096 konfiguriert !
Das ist extrem wichtig damit nicht irgendein blöder Access Switch Root Bridge wird für den Spanning Tree.
Loopback Guard sollte man auch aktivieren. Schützt vor den DAU Dödels die auf den kleinen 5 Port Tischswitches vom Blödmarkt Loops stecken...!
Ebenso wichtig ist das durchgehend alle Switches auf RSTP (Rapid STP) gestellt sind. Das STP Protokoll muss einheitlich sein !
Wie viel Clients hast du denn insgesamt am Cisco. Wenn das 1000 sind macht es Sinn die TCAM anzupassen bei 150 Clients ganz sicher nicht.
Hast du mal die Logs im Cisco angesehen wenn das passiert ??
Vermutlich hast du irgendein STP Problem aber kein TCAM Problem. Ausnahme natürlich bei einer hohen Clientzahl.
300-400 Geräte dann aber segmentiert hoffentlich und dann zwingend in einem private VLAN oder isolated VLAN damit man eine any zu any Kommunikation der WLAN User zwingend unterbindet und die Broadcast Last minimal hält.
Ebenso natürlich eine Client Isolation auf dem WLAN ist hier zwingend.
Normal sollten in einer Layer 2 Collision Domain nie mehr als 150-200 Clients plus minus sein. Beim WLAN hast du ja schon das Problem das du da entsprechend leistungsfähige Accesspoints brauchst die mindesten 50-60 User bedienen können.
Mit TP-Link und NetGear APs vom Blödmarkt Grabbeltisch wirst du da garantiert Schiffbruch erleiden sofern du da auch auf die Billigschiene setzt wie bei der Switch Infrastruktur.
Das du da den TCAM etwas tunen musst ist klar. Auch der ARP Timeout Timer ist richtig.
Hier muss man allerdings eine gute Balance finden, denn das kann auch erhöhten ARP Broadcast erzeugen was dann wieder negativ wäre.
Was aber komisch ist das du schreibst es wäre langsam. Das kann eigentlich kein TCAM Problem sein.
Kann der Switch kein ARP mehr cachen oder L2 Forwarding Infos dann geht es gar nicht, aber nicht langsam. Das ist was eben noch eine vage Vermutung lässt das das Problem eben ganz woanders liegt.
Ebenso natürlich eine Client Isolation auf dem WLAN ist hier zwingend.
Normal sollten in einer Layer 2 Collision Domain nie mehr als 150-200 Clients plus minus sein. Beim WLAN hast du ja schon das Problem das du da entsprechend leistungsfähige Accesspoints brauchst die mindesten 50-60 User bedienen können.
Mit TP-Link und NetGear APs vom Blödmarkt Grabbeltisch wirst du da garantiert Schiffbruch erleiden sofern du da auch auf die Billigschiene setzt wie bei der Switch Infrastruktur.
Das du da den TCAM etwas tunen musst ist klar. Auch der ARP Timeout Timer ist richtig.
Hier muss man allerdings eine gute Balance finden, denn das kann auch erhöhten ARP Broadcast erzeugen was dann wieder negativ wäre.
Was aber komisch ist das du schreibst es wäre langsam. Das kann eigentlich kein TCAM Problem sein.
Kann der Switch kein ARP mehr cachen oder L2 Forwarding Infos dann geht es gar nicht, aber nicht langsam. Das ist was eben noch eine vage Vermutung lässt das das Problem eben ganz woanders liegt.
Wir erwünschten eine Kommunikation zwischen WLAN und LAN
Bei Gästen bist das aber auch immer die Gefahr, das jeder jeden mit Hacker Tools, Trojanern usw. angreifen kann. Das sollte man dann beachten und die Gäste rechtlich entspr. darauf hinweisen um sich vor Schadensersatz Ansprüchen usw. zu schützen.auch wenn das natürlich nicht verhindert, dass sich jemand einen eigenen AP and Netz hängt
Sowas verindern verantwortungsvolle Netzwerker immer mit simpler 802.1x Port Security:Netzwerk Zugangskontrolle mit 802.1x und FreeRadius am LAN Switch
mit einer kleinen Benutzergruppe zu testen,
Der richtige Schritt ! Proof of Concept ist immer der richtige Weg Wenn ich an diesen Port jetzt allerdings einen Unamanged Switch hänge,
Ja, damit hebelst du ja logischerweise in PVLAN Konzept aus. Jedenfalls für die die an diesem kleinen Switch hängen.Sprich um es vollkommen zu "isolieren" müssten alle Switche im Netzwerk managebar sein und Private VLANs unterstützen?
Ja.sprich kann ich mehrere Server hier überhaupt anbinden, sodass alle Clients diesen erreichen können?
Ja das geht. Das ist der Sinn von PVLANs.Aber so oder so kannst du das auch über entsprechende IP Accesslisten OHNE die PVLANs erreichen. Zwar nicht so wasserdicht aber doch sicherer als ein offenes Scheunentor.
ja auf L2 mit Wirespeed erreicht werden
Auch L3 ist heutzutage immer Wirespeed. Beim Switching ist das kein Unterschied mehr da alles in ASIC Hardware.Wofür bräuchte man also einen L3 Switch?
Immer wenn man in Wirespeed zwischen VLAN Segmenten routen muss !!PVLANs bruacht man nur in öffentlichen Segmenten oder z.B. bei einem Hoster um any zu any Kommunikation und entsprechende Angriffe sicher zu verhindern.
dass man Schüler, Lehrer und Server jeweils in ein eigenes VLAN packt
Absolut ! Allein schon die Sicherheit gebietet das !wenn man z.B. die Ports am Schüler VLAN isolieren möchte, richtig?
Absolut richtig !aber deutlich sinnvoller für Interne Netzwerke sind VLANs + L3 Switch mit entsprechenden ACLs?
Jein.... Eins oder einige der VLANs können da ja durchaus PVLANs sein. Das sind die in denen man eben keine Any zu Any Kommunikation haben will. Geroutet wird ja trotzdem zwischen den IPs der VLANs.Leider kann die HP Switch Gurke kein PVLAN
Soviel zum Thema billige HP Gurken !! Die können Drucker und PCs aber kein Netzwerk. No more comment der Traffic zum Router "geleitet" und dort entsprechend zurückgeschickt, oder?
Yepp, das ist so richtig !sobald ein Router (in dem Fall Cisco ohne ACLs) angeschlossen ist. Ist das das richtige verhalten?
Ja das ist klar das das nicht geht ! Denk doch mal selber etwas nach...!!Der Cisco Router wird vom Switch ja wie ein normaler Client im PVLAN behandelt. Das das ein Router ist "sieht" der Switch ja nicht...wie auch ?
PVLAN Betrieb blockt sämtliche Broadcasts der Ports untereinander mit Ausnahme sog. "Uplink" Ports die man im PVLAN definiert. Dort wird alle so geforwardet wie an einem richtigen Port.
Ohne das am Cisco Port würde ein Endgerät jetzt einen ARP Broadcast loschicken um mit dem Cisco kommunizieren zu können. Der antwortet dann mit seiner HW Adresse und die Kommunikation findet statt.
Da aber in einem PVLAN Broadcasts geblockt werden werden natürlich auch die ARPs geblockt. Der Cisco bekommt seinen ARP also gar nicht und die Verbindung ist blockiert.
Das Blocken der ARP Broadcasts in PVLANs ist der entscheidende Faktor der so die Kommunikation der Clients unterbindet.
Erst wenn du dem Cisco Port im PVLAN dediziert in der Konfig sagst: "Hier bitte Broadcasts..." (was man mit dem Uplink oder bei dir dem "Isolation" Kommando macht) dann kann der Router in einem PVLAN auch erreicht werden.
So einfach ist das...
also dass die Isolierten Ports alle ihre Pakete an den L3 Router schicken,
Ja, siehe oben ....