fenris14
Goto Top

ICX VLAN-based Mirroring

Hallo,

gibt es bei ICX-Switches (Brocade/Ruckus/Commscope) die Möglichkeit beim VLAN-based Mirroring mehr als 8 VLANs gleichzeitig zu spiegeln?

Auf die herkömmliche Art und Weise bekomme ich bei mehr als 8 gleich die Limitierung-Meldung:

#monitor ethernet 1/1/11
Error: can't have more than 8 VLANs monitored.  

Geht um die Anbindung einer IDS, die nur aufzeichnen soll.

Gruß

Content-Key: 6898313738

Url: https://administrator.de/contentid/6898313738

Printed on: April 27, 2024 at 16:04 o'clock

Member: aqui
aqui Apr 24, 2023 at 15:30:59 (UTC)
Goto Top
Monitoring Guide Seite 67. Bzw. Gilt auch für das 9er Release, Seite 61.
Du kannst mehr konfigurieren aber aktiv sind nur die ersten 8.

Für ein IDS System solltest du immer besser die sFlow Funktion der Switches benutzen, die ist deutlich skalierbarer als physisches Mirroring was man niemals dafür nutzt.
Member: Fenris14
Fenris14 Apr 25, 2023 at 07:00:58 (UTC)
Goto Top
Problem ist das die IDS von einem externen Dienstleister stammt. Ich kann zwar nochmal explizit fragen, aber laut denen wird nur mit Port/VLAN-Mirroring gearbeitet. Es wurde auch von keiner anderen Möglichkeit gesprochen. Im Endeffekt wollen die jeglichen Verkehr im Netzwerk auswerten. Es sollte auch ein Trunk oder Anbindung zum Router reichen. Früher oder später will Schadsoftware nach hause telefonieren und dann muss ein Endpunkt durchschritten werden. Das ist zumindest der Gedanke bei dieser Lösung.
Member: aqui
aqui Apr 25, 2023 at 07:16:05 (UTC)
Goto Top
aber laut denen wird nur mit Port/VLAN-Mirroring gearbeitet
Ist ja völlig wirr. Kein Mensch macht sowas weil es nicht skaliert und bei Switches extrem kontraproduktiv ist weil diese die Frames in CPU kopieren müssen.
Genau dafür gibt es ja Flow Protokolle wie sFlow, NetFlow und IPFIX womit alle sinnvollen IDS Systeme ja auch arbeiten. Sollte dir zu denken geben wenn der "Dienstleister" sowas nicht kennt.
Member: Fenris14
Fenris14 Apr 25, 2023 at 07:35:52 (UTC)
Goto Top
Kennen wird er es... vermutlich. Zumindest reicht mein Optimismus dafür gerade noch so aus. Aber es wurde bisher mit keiner Silbe erwähnt. Kann auch sein das es ein klassisches Layer-8-Kommunikationsproblem ist.
Member: Fenris14
Fenris14 Apr 26, 2023 at 12:02:08 (UTC)
Goto Top
Die Typen meinen das generell SPAN nicht geeignet ist, weil es höhere CPU-Last auf dem Switch erzeugt. Flow-Protokoll würde nicht genügen und wird deshalb auch nicht unterstützt.

Da bleibt ja nur noch Mirror. An der Stelle frage ich mich wie Snort&co normalerweise angebunden werden. Diese werden doch meist direkt zwischen lokales Netz und Router geschalten oder wie bei pfSense/OPNsense mit direkt auf integriert.

Das Snort mit sFlow läuft, dafür habe ich kein Beispiel oder Beweis gefunden. Da wird immer nur der Einsatz als Router beschrieben.
Member: aqui
aqui Apr 26, 2023 updated at 16:53:52 (UTC)
Goto Top
Die Typen meinen das generell SPAN nicht geeignet ist, weil es höhere CPU-Last auf dem Switch erzeugt.
Ist oben ja schon gesagt worden und eine Binse für einen Netzwerker. SPAN Ports sind Mirror Ports!!
Oder haben die Typen keine Ahnung und reden von RSPAN Ports?!
Beides kostet übrigens unnötig CPU, denn auch bei einem lokalen SPAN Port muss die Switch CPU alle Frames kopieren. Wenn du 8 VLAN spiegelst dann 8mal. Bei 1 oder 10Gig Ports mit entsprechender Last kann das einen Switch je nach Ausstattung in die Knie zwingen.
Von RSPAN gar nicht mal zu reden der diesen Traffic noch in IP encapsulieren muss und durchs Netz schicken muss. Sowas können nur Premium Switches mit entsprechend potenter CPU.

Generell ist das Unsinn mit Mirroring Traffic zu analysieren. Macht man in der Praxis nie oder wenn dann lediglich temporär zum Troubleshooting aber aus guten Gründen niemals dauerhaft.
Dazu nutzt man immer Flow Protokolle wie sFlow, NetFlow bzw. IPFIX. Liegt ja auch auf der Hand, denn die skalieren eben je nach Bandbreite und Last.
Mit einem Mirror siehst du auch niemals den L2 Traffic eines Netzsegments. Höchstens Router oder Firewall Ports erfasst dann aber lediglich nur diesen Traffic. Das zeigt schon das Skalierungsdilemma was du hast wenn du z.B. noch 3 Server monitoren willst, 2 NAS und 2 Firewalls.
Wenn man es richtig macht führt kein Weg an Flow Protokollen vorbei. Professionelle Systeme nutzen diese auch.
Das Snort mit sFlow läuft, dafür habe ich kein Beispiel oder Beweis gefunden.
Oha, dann hast du nicht richtig gesucht. Gerade das ist ein Paradebeispiel für die Anwendung von Flow Protokollen.
Das hatte Foundry schon anno dunnemals 2006 in sein "Iron View" Management integriert und konnte so sFlow Daten zur Intrusion Detection nutzen indem es sie auswertete Warnings versendete und über das Management z.B. Malware Ports vom Netz kappte.
https://www.networkworld.com/article/2311943/foundry-adds-snort-to-lan-s ...
Brocade hat das weiterentwickelt, Thema "IronShield 360 Closed-Loop".
https://www.cnct.de/fileadmin/user_upload/pdf/PDF-Foundry/Foundry_Datenb ...
Die FastIron Switches waren bekanntlich die Vorgänger der ICXe!
InMon ist auch so ein Pionier die sowas gepusht haben und auch einen Menge freie Tools dafür haben. Das ist also seit 20 Jahren best Practise und machen alle anderen Hersteller ebenso die Flow Protokolle supporten. Wie sollte es auch sonst gehen..?! face-wink
Wenn du nach "Snort sFlow" bei Dr. Google suchst bekommst du Tausende von Treffern zu diesem Klassiker.
Member: Fenris14
Fenris14 Apr 26, 2023 updated at 20:29:05 (UTC)
Goto Top
Ich gebe mal ganz ehrlich zu: Ich kenne mich recht wenig aus im Bereich IDS/IDP. Sind mir schon immer etwas suspekt gewesen. Keine Frage, haben ihre Daseinsberechtigung, aber der Pflege-Aufwand ist enorm. Will man diesen nicht, dann muss man externe Diestleister beauftragen.

Habe mal eine zeitlang mit Snort auf der pfSense herumgespielt, aber man muss eine Menge Zeit investieren bis das mal ordentlich läuft ohne irgendwelchen Schwachsinn zu erkennen. Selbst mit den bezahlten Listen hat man immer noch einen immer wiederkehrenden hohen Aufwand um Falschmeldungen von wirklichen Problemen zu unterscheiden.

Das Projekt hier, ist auch eher von einem Kollegen und der Dienstleister hat eine Teststellung zur Verfügung gestellt. Über Umwege habe ich erfahren das nur drei Dinge gehen bei dieser Appliance: SPAN, TAP und Sensoren in Form von Agents die man auf Server-Systemen installieren kann.

NetFlow/IPFIX/sFlow wird komplett nicht unterstützt.

Beim Thema Mirroring/Monitoring beschränkt sich meine Erfahrung auf Debugging bei akuten Problemen. Wie du schon geschrieben hast, dann eher in kurzen Zeiträumen. Nachdem ich es jetzt so eingestellt habe wie die Firma es verlangt hat, fühlt sich auch alles sehr träge an. Es sind ICX7750 und der Monitor läuft auf dem LAG-Trunk zum Router. Ich kann mir beim besten Willen nicht vorstellen das das so sein soll. Auch löst das STP ständig aus, wenn man es wie von denen empfohlen abstellt, dann geht der Port alle paar Minuten down.

screenshot 2023-04-26 222816
screenshot 2023-04-26 222846

Also irgendwas haut da hinten und vorne nicht hin. Wenn es keine andere Möglichkeit gibt, dann werde ich das Teil zurückschicken.
Member: aqui
aqui Apr 27, 2023 updated at 07:12:27 (UTC)
Goto Top
das nur drei Dinge gehen bei dieser Appliance: SPAN, TAP und Sensoren in Form von Agents die man auf Server-Systemen installieren kann.
Da darf man dann raten von wem die TAPs und Sensoren kommen. Meist ist das ein Eingangstor um so weiter teure proprietäre HW an den Man zu bringen. Solche Konzepte sind schlecht, da wenig flexibel und skalierbar. Du musst für jedes Segment oder Port einen neuen Tap oder Probe beschaffen was immer Geld kostet unnd wieviel sollen es denn im Endgeffekt sein. Und wer will auf Dauer laufende Mirror Ports auf seiner Infrastruktur haben die rein dem Troubleshooting dienen sollten, das klingt etwas abstrus. Teure Materialachlacht mit der Gefahr eines Vendor Locks. Normal ein NoGo.
Genau dafür gibt es die Flow Protokolle. Wenn die ein IDS Hersteller nicht supportet sollte dir das zu denken geben. Sogar Allerweltsprodukte wie PRTG basieren auf sowas, denen würde nie einfallen Mirror Ports zu verwenden... Aber nundenn.
Mirroring/Monitoring beschränkt sich meine Erfahrung auf Debugging bei akuten Problemen.
Genau dafür ist es ja auch da. Es ist nicht gedacht um im Dauerbetrieb zu laufen. Die Gründe dafür wurden oben schon genannt.
fühlt sich auch alles sehr träge an.
Nicht weiter verwunderlich, weil der Switch das in CPU erledigen muss. Die Port Asics können das nicht.
Es sind ICX7750
Was per se schonmal gut ist, denn die haben eine entsprechend skalierbare CPU welche aber endlich ist.
läuft auf dem LAG-Trunk zum Router.
Das Mirroring kann laut Monitoring Guide (Seite 67) sowohl auf dem virtuellen LAG Interface definiert sein als auch einzeln auf den LAG Memberports. Ggf. solltest du den Weg mal gehen.
RSTP kann man natürlich abschalten, da LACP Lags eine eigene Loop Prevention Option haben. Das hat aber den gravierenden Nachteil das der Spanning Tree damit dann inkonsistent ist. Gut, wenn der Router auf der anderen Seite nicht aktiv am Spanning Tree teilnimmt, dann wäre das tolerabel.
Was aber nie passieren darf ist das der LAG oder einzelne Memberports down oder in den Blocking Mode gehen. Das wäre u.a. ein Indiz das da etwas mit dem Spanning Tree gründlich schiefgeht.
Arbeitest du mit dem klassischen PVRSTP auf den ICXen?
State up/down Toggeling zeigt aber eher das etwas physisch nicht stimmt, denn das ist ein physischer Linkverlust! RSTP Blocking nimmt niemals den Link physisch runter.
Link up/downs sind oft Folgen von Speed und Duplex Fehlern oder falsch erkannten SFP Optiken wenn man mal von klassischen Kabelfehlern usw. absieht.
Generell arbeitet die Mirror Funktion vom ICX mit der aktuellen 8.0.95er problemlos und unauffällig.
Member: Fenris14
Fenris14 Apr 27, 2023 updated at 09:00:38 (UTC)
Goto Top
Das Mirroring darf aber nicht auf dem virtuellen LAG Inetrface definiert sein sondern muss einzelnd für die LAB Memberports gemacht werden. Andernfalls würde das Hashing der physischen Verbindungen nicht berücksichtigt werden.

Es gibt zwei Aufrufmöglichkeiten im Kontext LAG:

int lag 1
oder
lag NAME

Unter Ersteres habe ich dann, weil es eigentlich der Aufruf für die physischen Ports ist....

monitor both

abgefeuert. Weil ich natürlich 1. beide Ports der LAG monitoren möchte und 2. auch Ingress und Egress zu gleich.

Auf dem ICx7750 habe ich kein RSTP und kein PVRSTP im Einsatz, weil ich teilweise noch alte Cisco-Bimmeln an manchen Trunks dahinter habe. Wollte da keine Inkompatibilitäten heraufbeschwören.

spanning-tree single
spanning-tree single 802-1w
spanning-tree single 802-1w priority 4096
no fast port-span

So sieht das bei mir in der Config aus.

State up/down Toggeling zeigt aber das etwas physisch nicht stimmt, denn das ist ein physischer Linkverlust! RSTP Blocking nimmt niemals den Link physisch runter.

Zum Thema State up/down: Da habe ich tatsächlich feststellen müssen, das einer der Ports an der Appliance wohl defekt ist. Ich hatte auf meiner Seite soweit alles durchgetauscht. Aber nachdem jetzt alles nichts half, habe ich dort auf einen anderen Port gewechselt. Seitdem ist Ruhe.
Member: aqui
aqui Apr 27, 2023 updated at 14:38:16 (UTC)
Goto Top
habe ich kein RSTP und kein PVRSTP im Einsatz
Gefährlich und nicht gut. So hast du einen inkonsistenten Spanning Tree. face-sad
weil ich teilweise noch alte Cisco-Bimmeln an manchen Trunks dahinter habe.
Catalysten oder die SG/CBS Billigschiene??
Bei Catalysten wäre das unsinnig, denn die ICX gehen sofort automatisch in den "pvst-mode" an den Ports wo sie Cisco PVSTP+ "sehen". Sie sind also automatisch kompatibel. Da wäre es ein großer Fehler es zu deaktivieren weil die ICXe es ja supporten und somit zu ihrem PVRSTP kompatibel ist.
Man kann es an den Ports auch mit dem Kommando "pvst-mode" erzwingen.

Bei der SG/CBS SoHo Billigschiene gibt es nur Single Span bzw. nur die CBS können PVSTP+ mit den Cisco proprietären BPDUs. Auf den Ciscos sollte man dann immer PVSTP+ aktivieren um eine Inkonsistenz zu vermeiden.
Bei den SGs die kein PVSTP+ können hat man 2 Optionen:
  • STP abschalten auf beiden Seiten! so das keine BPDU Frames gegenseitig gesendet werden. Das gilt besonderst für die VLANs. Ausnahme ist hier das Default VLAN 1. Hier könnte man RSTP passieren lassen sofern man als Native VLAN konsistent im Netz 1 nutzt. Kann aber gefährlich werden wenn das native VLAN einmal wehcselt weil dann VLAN spezifische BPDUs in das Single Span VLAN geraten können und so Chaos anrichten können. Das erfordert also eine sehr genaue Konfig.
  • Globaler Wechsel auf MSTP: In jedem Falle die sicherste Variante wenn man vermeiden möchte auf lange Sicht mit einem inkonsitenten Spanning Tree zu arbeiten.
Thema State up/down: Da habe ich tatsächlich feststellen müssen, das einer der Ports an der Appliance wohl defekt ist.
Wie vermutet... face-wink
Ganz sauber hört sich das aber alles in Bezug auf den Spanning Tree nicht an.
Member: Fenris14
Fenris14 Apr 27, 2023 at 15:36:14 (UTC)
Goto Top
Es ist ein wilder Mix aus hundealten SG200 und etwas neueren SG350X. Ein paar alte SG300er konnte ich mittlerweile rausschmeißen. Keine Catalysten. Der Rest ist alles Brocade oder Commscope mittlerweile.

Da scheint das STP noch im argen zu liegen. Gut das man mal darüber gesprochen hat.

Das bedeutet ich sollte die Spanning Tree Optionen nicht Global setzen sondern pro Port? Wie müsste es jetzt aussehen? Wie kann man den die Geschichte überhaupt überprüfen ohne sich mit Try-and-Error das ganze Netzwerk wegzuschießen?

Das scheint global gesetzt:
spanning-tree single

802.1w ist doch bereits RSTP, oder nicht?

spanning-tree single 802-1w
spanning-tree single 802-1w priority 4096

root richtig gesetzt. Das hier beschreibt nur das kein Fast Span auf den Uplinks gesetzt wird und das der Standard Delay von STP von 30 Sekunden verwendet wird:

no fast port-span

Soweit erstmal sehe ich da jetzt keine Fehlkonfiguration. Könnte besser sein, aber ich sehe in diesem Zusammenhang erstmal keine Fehler.
Member: aqui
aqui Apr 27, 2023 updated at 16:52:45 (UTC)
Goto Top
Das bedeutet ich sollte die Spanning Tree Optionen nicht Global setzen sondern pro Port?
Ja, in jedem Fall! Global killst du den STP ja dann komplett was man niemals will.
Immer nur dediziert auf den Uplink Ports mit no span deaktiveren zu Devices die nicht kompatibel sind!
Das scheint global gesetzt:
Oha, dann machst du ja gar kein Per VLAN Spanning Tree. Damit wäre dann das Ausschalten auf den alten Ciscos auch kompletter Unsinn, denn die supporten ja gerade Single Span!! Das wäre völlig widersinnig dann und du hättest völlig unnötig einen inkonsistenten Spanning Tree damit.
Extrem wichtig ist das wenn du die ICXe schon auf Single Spann umgestellt hast das auch auf allen anderen beteiligten ICXen und auch allen nicht Brocade, Ruckus Switches ein Single Spann Verfahren benutzt wird. Das MUSS netzwerkweit einheitlich sein !

Single Span hat zwar den Vorteil das es auch mit dem dümmsten Blödmarkt Dödelswitch kompatibel ist weil alle das können sofern sie denn überhaupt STP können. Man hat also quasi einen universalen Spanning Tree. Aufs moderne RSTP sollte es natürlich gesetzt sein und die Root und Backup Root Priority sollte ein Muss sein, keine Frage!
Nachteil ist aber das der Spanning Tree global für alle VLANs gilt. Wenn du als Admin also ein kleines Test VLAN irgendwo hast und da rumpelt es im Spanning Tree dann rumpelt es auch in allen beteiligten VLANs. In größeren, segmentierten netzen ist das ein gravierender Nachteil.
PVSTP überwindet das. Wenn es in deinem Test VLAN wieder rumpelt juckt das die anderen VLANs nicht da die ja ihren eigenen Prozess haben.

Single Span und PVST sind nicht kompatibel! Man darf sie also keinesfalls mischen weil so falsche BPDU Frames in falsche VLANs kommen. Das wird leider aus Unwissenheit oft nicht beachtet mit dann fatalen Folgen für die Netzwerk Stabilität. Das Forum ist voll von solchen Threads... face-wink
Die ICXe arbeiten im Default deshalb immer mit PVSTP wie es bei PVSTP fähigen Premiium Switches generell üblich ist. Da muss man dann im Mischbetrieb mit nur Single Spann fähigen Switches genau aufpassen beim Setup !
Hier findest du einen Thread der diese Thematik am Beispiel einer MSTP Migration recht anschaulich schildert:
Spanning-Tree Modus-Migration (PVST nach MST bei Cisco)

Da du deinen ICXen aber das PVSTP ja eh schon komplett abgewöhnt hast und nur noch Single Spann machst wäre es also unsinnig das auf den Ciscos weiter deaktiviert zu lassen, denn dafür gibt es dann keinerlei Grund mehr.
802.1w ist doch bereits RSTP, oder nicht?
Jepp! Das ist richtig.
Zusätzlich muss zwingend in den VLANs "spanning-tree" konfiguriert sein bei einer single Spann Konfig. Eine korrekte Single Spann Konfig sähe so aus:
spanning-tree single
!
vlan 1 name DEFAULT-VLAN by port
 no untagged ethe 1/2/1
 spanning-tree
 management-vlan
 default-gateway  192.168.1.254 1
!
vlan 10 name Gast by port
 tagged ethe 1/1/8 ethe 1/2/1 to 1/2/2
 untagged ethe 1/1/6 to 1/1/7
 spanning-tree
!
spanning-tree single 802-1w
spanning-tree single 802-1w priority 12288
! 
(Backup Root Switch der Root Switch hat eine 8192 Priority)
Eine PVSTP Konfig sieht etwas anders aus aber ähnlich.
Der Cisco SG der der dazu werkelnde Root Switch ist sieht dann so aus:
cstp
aber ich sehe in diesem Zusammenhang erstmal keine Fehler.
Richtig, das ist in der Tat dann OK..., wenn man denn mit Single Span leben will! 😉
Du musst nur drauf achten das es überall konsistent ist und solltest dann auch das RSTP auf den Ciscos im Single Span Mode dringenst wieder aktivieren.
Member: aqui
aqui May 11, 2023 at 17:36:15 (UTC)
Goto Top
Wenn's das denn nun war bitte nicht vergessen deinen Thread hier dann auch als erledigt zu markieren!
Member: Fenris14
Fenris14 May 24, 2023 at 17:03:17 (UTC)
Goto Top
Nochmal zum Thema Flow-Protokolle und IDS/IPS:

Keine Ahnung wo du die Info her hast, aber so Standard scheint das nicht zu sein. Bei Snort findet man was, aber bei Surricata (was sehr verbreitet ist) nicht. Da heißt es unter anderem...

https://forum.suricata.io/t/netflow-as-input-for-suricata/1441/2

Tenor überall... Suricata kann Flow bits setzen für erweitertes Logging, aber für das Analysieren ist es nicht geeignet und da wird ebenfalls entweder auf die Integration direkt auf der Firewall oder auf Mirror Port TAP gesetzt. Flow-Protokolle berherbergen zuwenige Informationen.

Hier wird im Zusammenhang mit Snort darüber gesprochen....

https://seclists.org/snort/2003/q4/541

Aber auch jenseits des Standards. Dazu benötigt man einen Collector, der die Daten wiederum in das Snort transferiert. Auch hier wird geschrieben... "sFlow is based on sampling technology - you will not see every packet". Ob man sich so eine Krücke basteln will, weiß ich nicht. Es mag als Statistik-Option taugen, aber nicht zum Analysieren von Traffic für Thread Intelligence.

Mit einem hast du natürlich Recht... es ist wesentlich skalierbarer als eine TAP-Interface. Es ist aber ein Kompromiss. Entweder will man breit skalieren und möglichst nur einen Sensor verwenden, oder man will wirklich alles sehen und muss dafür auf die Skalierung verzichten. Wobei fraglich ist, ob man diese Skalierbarkeit überhaupt benötigt, wenn man das TAP-Interface dort setzt wo der gesamt Traffic zentral drüber muss, dann ist es eben nur ein einziger Mirror-Port. Was will man dann noch mehr?

Sonst müsste man alle Flow-Daten, bei mehreren Standorten, über VPN zu einem Collector schicken... was einfach zusätzlichen Traffic verursacht.
Member: aqui
aqui May 25, 2023 at 11:32:33 (UTC)
Goto Top
Das ist natürlich richtig das Flow Protokolle immer Sampling Verfahren sind, aber genau DAS macht sie ja eben so skalierbar. Je nachdem wie man die Sample Rate anpasst. Wo du das einsetzt ist dann immer eine Frage was man messen will. Wenn es dir einzig nur um den Internet Traffic geht dann reicht natürlich ein einziger Port am Internet Router oder Firewall, keine Frage.
Mirroring ist aber primär eine Troubleshooting Funktion auf einem Switch das sollt eman nicht vergessen. Ansonsten wären Flow Protokolle ja generell völlig überflüssig.
bei mehreren Standorten, über VPN zu einem Collector schicken... was einfach zusätzlichen Traffic verursacht.
Die Problematik hast du beim Mirroring an unterschiedlichen Standorten ja ebenso wenn man z.B. RSPAN nutzt, allso Mirror Ports tunnelt. Nur das du dort noch deutlich höhere Performance Anforderungen hast. Verteilte Strukturen sind mit einem Flow Protokoll prinzipbedingt deutlich einfacher zentral zu überwachen. Klar hat man durch Sampling immer ein zeitliches Delta bei den Auswertungen. Hier ist es dann wichtig was man messen will und welchen Kompromiss die bestehende Infrastruktur einem auferlegt.