danielwe
Goto Top

Open-Source-Lösung zur zentralen Traffic-Überwachung ohne Firewall

Moin zusammen,

wie so oft in der IT geht es auch hier mal wieder im die Verwaltung des Mangels. Folgende Ausgangslage:

Unserer Firma hat eine extrem unterdimensionierte WAN-Leitung, was das Arbeiten im Homeoffice über das SSL-VPN zu einer echten Qual macht. Das kommt vor allem daher, weil unsere Entwickler größere Datenmengen über die Leitung ziehen und sich oft mit internen Datenbanken verbinden, um Tests zu fahren. Von dieser fragwürdigen Konstellation kommen wir leider erstmal nicht weg und nun geht es darum, eine ausreichend dimensionierte WAN-Leitung anzuschaffen. Die Berechnung dieser Dimension ist nun also das Problem:

Ich wüsste gern, welche Services und Applikationen wie viel Traffic erzeugen und was für eine Bandbreite ich pro Client durchschnittlich ansetzen muss. Jetzt könnte ich natürlich die Daten unserer aktuellen Verbindungen auslesen, das Problem ist aber, dass diese nicht aussagekräftig sind. Aufgrund der schlechten Verbindungen, arbeiten die Leute teilweise mit haarsträubenen Workarounds, verbinden sich per RDP auf irgendwelche Kisten, die hier in der Firma stehen, nutzen einen chaotischen Zoo von Terminalservern oder irgendwelche virtualisierten Clients, die irgendjemand auf Zuruf hingefummelt hat. Kurzum: Ich brauche Daten von den Rechnern, die hier in der Firma stehen und von hier die Dienste nutzen.

Das tolle an der Sache: Wir haben keine Netzwerksegmentierung und entsprechend auch keine VLANs und keine gescheite Firewall, über die der Traffic läuft und über die ich sinnvolle Auswertungen fahren könnte. Alles liegt in einem großen Netz und quasselt fleißig und unreguliert durcheinander. Ist das Mist? Na klar, das muss noch angegangen werden, muss aber noch warten. Also auch hier keine Möglichkeit, die benötigten Daten zu erheben.

Deswegen folgende Überlegung: Gibt es ein Tool oder eine Software, die mittels eines Agenten und eines Servers den Netzwerktraffic auf einigen Clients aufzeichnen und nach Quelle, Ziel und Applikation auswerten kann? Ich würde dann einfach einige Rechner mit dem Agenten ausstatten und einige Zeit laufen lassen. Der Server-Teil müsste dann die Daten der einzelnen Clients kombinieren und Auswertungen durchführen können.

Gibt es so ein Tool? Ist Euch sowas bekannt? Oder hättet Ihr sonst noch eine Idee, wie sich das ganze lösen lässt?
VG
Daniel

Content-ID: 61767896364

Url: https://administrator.de/forum/open-source-loesung-zur-zentralen-traffic-ueberwachung-ohne-firewall-61767896364.html

Ausgedruckt am: 27.12.2024 um 05:12 Uhr

ITwissen
ITwissen 30.10.2023 aktualisiert um 12:19:57 Uhr
Goto Top
Spontan würde ich mal TCPview in den Ring werfen. Vielleicht lässt sich daraus auf die Schnelle was "basteln".

Ich nehme einfach mal an, du suchst was für Windows?
DanielWe
DanielWe 30.10.2023 um 12:32:05 Uhr
Goto Top
Zitat von @ITwissen:

Spontan würde ich mal TCPview in den Ring werfen. Vielleicht lässt sich daraus auf die Schnelle was "basteln".

Ich nehme einfach mal an, du suchst was für Windows?

Für die Clients ja, die laufen unter Windows. Der Server-Part kann ruhig auf Linux laufen. Ich bin mit TCPView nicht so vertraut, dachte aber, dass es nur auf einem Rechner die aktuellen Verbindungen anzeigt so we netstat. Wie könnte man hier auf längere Sicht statistische Daten sammeln?
ipzipzap
ipzipzap 30.10.2023 aktualisiert um 12:50:43 Uhr
Goto Top
Hi,

was habt ihr denn so für Hardware als Switch, Router, etc? Oder nur ne Fritzbox?
Da es Dir ja in erster Linie um eine ausreichend dimensionierte WAN-Leitung geht, ist es am einfachsten, hier die Überwachung am Gateway/Router anzusetzen und nicht auf den Servern oder Clients.

cu,
ipzipzap
aqui
aqui 30.10.2023 aktualisiert um 16:30:25 Uhr
Goto Top
das muss noch angegangen werden, muss aber noch warten.
Ist aber einer der Hauptursachen. Du hast einen halbtoten Patienten der ungefähr so wie dein Avatar aussieht und das was du machst ist ihn schön zu kämmen damit das nicht auffällt. Du solltest besser einmal in dich gehen und dir über die Prioritäten klar werden um das oben geschilderte Chaos strategisch und sinnvoll anzugehen und zu beseitigen. Spricht nicht gerade für den Laden und schwer vorstellbar wie man in so einem Umfeld qualifiziert arbeiten will. Ist aber nicht das Thema hier, keine Frage...
Du bist damit aber dann letztlich nicht anders als die anderen die irgendwo an irgendeiner Ecke irgendwas frickeln und das halbtote Pferd weiter von hinten aufzäumen. face-sad

Natürlich gibt es solche Tools. Um deine spezifische Anforderung zu lösen brauchst du einen Flow Monitoring fähigen Switch oder Router, der dir auf Endnutzer (Mac oder IP) runtergebrochen qualitativ und quantitativ anzeigen kann was diese einzeln für Resourcen verbrauchen. Es muss also irgendetwas sein was Flow Monitoring wie sFlow, Netflow oder das standardtisierte IPFIX (Flow Ver.9) kann.
Ein paar Grundlagen dazu vermittelt dir dieses Forentutorial und in einfacheren Ansätzen per SNMP auch hier.

Man kann es auch etwas einfacher angehen und einen Monitoring/Mirror Port am Switch einrichten zum LAN Monitoring und dann mit Wireshark, nTop, das oben genannte TCPView bzw. andere solcher Tools die einzeln pro Endgerät checken was die so an Resourcen nutzen. Da das aber immer nur auf ein einzelnen Hosts bezogen ist, ist es deutlich aufwändiger und immer nur eine Einzelbetrachtung ohne das Gesamtnetz.
Ob sowas alles in einem flachen, dummen und nicht segmentierten Netz überhaupt zielführend Sinn macht muss du selber entscheiden. Es ist eben nur der Kamm...
user217
user217 30.10.2023 um 15:54:02 Uhr
Goto Top
Filter den Verkehr und lass nur noch RDP rein, gibt jedem Entwickler eine vm in der er sich austoben kann.
Denn, wenn ein Auto mit einem kleinen Anhänger rumfahren würde und mit 10 t beladen wäre, würde sich jeder aufregen und sagen das geht so nicht..aber bei sowas..
DanielWe
DanielWe 30.10.2023 um 16:21:22 Uhr
Goto Top
Zitat von @aqui:

das muss noch angegangen werden, muss aber noch warten.
Ist aber einer der Hauptursachen. Du hast einen halbtoten Patienten der ungefähr so wie dein Avatar hier aussieht und das was du machst ist ihn zu kämmen damit er gut aussieht. Du solltest besser mal in dich gehen und dir über die Prioritäten klar werden um das Chaos strategisch und sinnvoll anzugehen und zu beseitigen. Du bist ja letztlich nicht anders als die anderen die irgendwo an einer Ecke irgendwas frickeln und das tote Pferd weiter von hinten aufzäumen. face-sad

Natürlich gibt es solche Tools. Um deine spezifische Anforderung zu lösen brauchst du einen Flow Monitoring fähigen Switch oder Router, der dir auf Endnutzer (Mac oder IP) runtergebrochen qualitativ und quantitativ anzeigen kann was diese einzeln für Resourcen verbrauchen. Es muss also irgendetwas sein was Flow Monitoring wie sFlow, Netflow oder das standardtisierte IPFIX (Flow Ver.9) kann.
Ein paar Grundlagen dazu vermittelt dir dieses Forentutorial und in wenigen Ansätzen auch hier.

Man kann es auch etwas dilettantischer angehen und einen Monitoring/Mirror Port am Switch einrichten zum LAN Monitoring und dann mit Wireshark, nTop, das oben genannte TCPView bzw. andere solcher Tools die einzeln pro Endgerät checken was die so an Resourcen nutzen.
Ob sowas alles in einem flachen, dummen und nicht segmentierten Netz überhaupt Sinn macht muss du selber entscheiden. Es ist eben nur der Kamm...

Tja, ich habe die IT hier übernommen und meine Liste mit Findings beträgt etwa 40 Punkte, davon sind 20 komplexe Projekte. Die Prio lege ich auch leider nicht allein fest sondern stimme mich mit der GL ab und ansonsten sind hier 1000 Feuer zu löschen und Prozesse anzupassen, damit ich überhaupt auf ein Level komme, eine komplexe Netzwerktransformation anzugehen. Das dünne WAN erzeugt zu viele Incidents und stopft mir die Projekt-Pipeline zu mit Sonderlösungen und anderem Bullshit. Also hat das erstmal Vorrang und hat für mich Priorität. Das ist die Ecke, bei der ich ansetzen muss um dem Chaos Herr zu werden.
DanielWe
DanielWe 30.10.2023 um 16:24:32 Uhr
Goto Top
Zitat von @user217:

Filter den Verkehr und lass nur noch RDP rein, gibt jedem Entwickler eine vm in der er sich austoben kann.
Denn, wenn ein Auto mit einem kleinen Anhänger rumfahren würde und mit 10 t beladen wäre, würde sich jeder aufregen und sagen das geht so nicht..aber bei sowas..

Wird teilweise so gemacht. Bei dem, was VDA-Lizenzierung an Kosten und Aufwand verursacht, schaffe ich mir lieber zwei fette Leitungen an. Abgesehen davon müssen die Entwickler auch offline weiter arbeiten können, weshalb sie auf ihren Endgeräten eine komplette Entwicklungsumgebung bekommen.
aqui
aqui 30.10.2023 um 16:27:21 Uhr
Goto Top
...und bitte nicht immer ALLES unnötig zitieren, wir können alle intelligent lesen hier! ☹️
Da bist du bei den bevorstehenden Aufgaben in der Tat nicht zu beneiden. Aber zumindestens in deinem spezifischen Punkt weisst du ja nun welche Richtung du einschlagen musst! face-wink
DanielWe
DanielWe 30.10.2023 um 16:27:41 Uhr
Goto Top
Zitat von @ipzipzap:

Hi,

was habt ihr denn so für Hardware als Switch, Router, etc? Oder nur ne Fritzbox?
Da es Dir ja in erster Linie um eine ausreichend dimensionierte WAN-Leitung geht, ist es am einfachsten, hier die Überwachung am Gateway/Router anzusetzen und nicht auf den Servern oder Clients.

cu,
ipzipzap

Ja, das war ja meine Aussage. Diese Daten wären nicht aussagekräftig, da die Entwickler jetzt vollkommen anders arbeiten, als sie es lokale tun und mit der neuen Leitung tun würden.
ipzipzap
ipzipzap 30.10.2023 um 16:52:33 Uhr
Goto Top
Zitat von @DanielWe:

Zitat von @ipzipzap:
Ja, das war ja meine Aussage. Diese Daten wären nicht aussagekräftig, da die Entwickler jetzt vollkommen anders arbeiten, als sie es lokale tun und mit der neuen Leitung tun würden.

Du hast meine Frage nicht beantwortet.

Und wieso sollten die Daten nicht aussagekräftig sein? Wenn Du die Daten direkt am Router und an den Switchen per IPFIX o.ä. sammelst, kannst Du problemlos nach Diensten oder nach Clients filtern usw. und siehst den individuellen Traffic Deiner Services und Applikationen. Auch intern!

cu,
ipzipzap
Vision2015
Vision2015 30.10.2023 aktualisiert um 17:34:24 Uhr
Goto Top
Moin...

Ich wüsste gern, welche Services und Applikationen wie viel Traffic erzeugen und was für eine Bandbreite ich pro Client durchschnittlich ansetzen muss. Jetzt könnte ich natürlich die Daten unserer aktuellen Verbindungen auslesen, das Problem ist aber, dass diese nicht aussagekräftig sind.
warum willst du ws dann messen?
Aufgrund der schlechten Verbindungen, arbeiten die Leute teilweise mit haarsträubenen Workarounds, verbinden sich per RDP auf irgendwelche Kisten, die hier in der Firma stehen, nutzen einen chaotischen Zoo von Terminalservern oder irgendwelche virtualisierten Clients, die irgendjemand auf Zuruf hingefummelt hat.
also also ein RDS host ist sicher eine Sinvolle alternative um Bandbreite zu sparen, und flüssig zu arbeiten, dein chaotischen Zoo von Terminalservern wird dann mal Aufgräumt bzw, Aktualisiert auf ein bis zwei RDS Host!
von was für Anwendungen reden wir ? anzahl der user?

> Kurzum: Ich brauche Daten von den Rechnern, die hier in der Firma stehen und von hier die Dienste nutzen.
ok, ich sehe noch nicht so ganz den Sinn deiner Aktion, wenn di die Daten hast, Prima, was nun? deswegen wird deine Bandbreite nicht mehr....

die User flat über das VPN arbeiten zu lassen, ist sowiso eine schlechte alternative.
was für eine Bandbreite habt ihr den?

Bei dem, was VDA-Lizenzierung an Kosten und Aufwand verursacht, schaffe ich mir lieber zwei fette Leitungen an.
es müssen ja nicht alle mit VDA Arbeiten, für die meisten reicht RDS!
Abgesehen davon müssen die Entwickler auch offline weiter arbeiten können, weshalb sie auf ihren Endgeräten eine komplette Entwicklungsumgebung bekommen.
ok, dann sorge für ein Download Portal!

Frank
Der-Phil
Der-Phil 31.10.2023 um 11:15:27 Uhr
Goto Top
Du könntest per TAP mit NTOPng die Top-Talker auslesen.
Alternativ, falls eines eurer Geräte Netflow oder SFLOW kann, erledigt das auch PRTG in der freien Version.
DanielWe
DanielWe 08.11.2023 um 13:14:58 Uhr
Goto Top
Zitat von @Vision2015:

Moin...

Ich wüsste gern, welche Services und Applikationen wie viel Traffic erzeugen und was für eine Bandbreite ich pro Client durchschnittlich ansetzen muss. Jetzt könnte ich natürlich die Daten unserer aktuellen Verbindungen auslesen, das Problem ist aber, dass diese nicht aussagekräftig sind.
warum willst du ws dann messen?
Aufgrund der schlechten Verbindungen, arbeiten die Leute teilweise mit haarsträubenen Workarounds, verbinden sich per RDP auf irgendwelche Kisten, die hier in der Firma stehen, nutzen einen chaotischen Zoo von Terminalservern oder irgendwelche virtualisierten Clients, die irgendjemand auf Zuruf hingefummelt hat.
also also ein RDS host ist sicher eine Sinvolle alternative um Bandbreite zu sparen, und flüssig zu arbeiten, dein chaotischen Zoo von Terminalservern wird dann mal Aufgräumt bzw, Aktualisiert auf ein bis zwei RDS Host!
von was für Anwendungen reden wir ? anzahl der user?

> Kurzum: Ich brauche Daten von den Rechnern, die hier in der Firma stehen und von hier die Dienste nutzen.
ok, ich sehe noch nicht so ganz den Sinn deiner Aktion, wenn di die Daten hast, Prima, was nun? deswegen wird deine Bandbreite nicht mehr....

die User flat über das VPN arbeiten zu lassen, ist sowiso eine schlechte alternative.
was für eine Bandbreite habt ihr den?

Bei dem, was VDA-Lizenzierung an Kosten und Aufwand verursacht, schaffe ich mir lieber zwei fette Leitungen an.
es müssen ja nicht alle mit VDA Arbeiten, für die meisten reicht RDS!
Abgesehen davon müssen die Entwickler auch offline weiter arbeiten können, weshalb sie auf ihren Endgeräten eine komplette Entwicklungsumgebung bekommen.
ok, dann sorge für ein Download Portal!

Frank

Sorry, dieser Post hilft mir nicht im geringsten bei meinem Problem. Du startest eine Grundsatzdiskussion, die komplett an meine Anfrage vorbei geht. Alle deine Punkte habe ich schon evaluiert und sie sind bei uns nicht umsetzbar bzw. passen nicht zur Problemstellung.

Ich suche eine schnelle kostenneutrale Lösung zur Messung von Datenmengen.
DanielWe
DanielWe 08.11.2023 um 13:19:05 Uhr
Goto Top
Zitat von @ipzipzap:

Zitat von @DanielWe:

Zitat von @ipzipzap:
Ja, das war ja meine Aussage. Diese Daten wären nicht aussagekräftig, da die Entwickler jetzt vollkommen anders arbeiten, als sie es lokale tun und mit der neuen Leitung tun würden.

Du hast meine Frage nicht beantwortet.

Und wieso sollten die Daten nicht aussagekräftig sein? Wenn Du die Daten direkt am Router und an den Switchen per IPFIX o.ä. sammelst, kannst Du problemlos nach Diensten oder nach Clients filtern usw. und siehst den individuellen Traffic Deiner Services und Applikationen. Auch intern!

cu,
ipzipzap


Kann ich nicht. Die Switche können sowas nicht. Die Daten der Firewall sind nicht aussagekräftig. Ich will wissen, welche Daten drüber gehen werden, wenn alle über die Leitung arbeiten. Der aktuelle Durchsatz interessiert mich nicht. Ich plane doch die Breite einer neuen Autobahn auch nicht auf eine Spur, weil die aktuelle Straße auch nur eine Spur hat nach dem Motto: "Ich habe noch nie zwei Autos nebeneinander gesehen, entsprechend brauchen wir auch weiterhin nur eine Spur."
aqui
aqui 08.11.2023 aktualisiert um 13:56:07 Uhr
Goto Top
Die Switche können sowas nicht. Die Daten der Firewall sind nicht aussagekräftig.
Dann hast du keine Chance das so über die Infrastruktur selber zu machen weil du dann ja keine IP Flows analysieren kannst was aber für deine geplante Auswertung ja zwingend erforderlich ist! Keine Flow Analyse, keine Daten...so einfach ist das...leider.

Deine einzige Option ist dann lediglich Host für Host mit einer externen Probe (Raspberry etc.) oder einem entsprechenden TAP Device den Traffic einzeln zu analysieren.
Deutlich mehr Arbeit aber aufgrund deiner schlechten bzw. featureschwachen Infrastruktur Hardware hast du dann keine Wahl.
Case closed...

Wie kann ich einen Beitrag als gelöst markieren?
ipzipzap
ipzipzap 08.11.2023 um 14:45:59 Uhr
Goto Top
Zitat von @DanielWe:
Kann ich nicht. Die Switche können sowas nicht.

Dann mach es halt nur an der Firewall, reicht auch völlig aus.

Die Daten der Firewall sind nicht aussagekräftig.

Warum nicht?

Ich will wissen, welche Daten drüber gehen werden, wenn alle über die Leitung arbeiten.

Dann lass doch alle über die Leitung arbeiten, dann siehst Du doch alles und kannst alles messen. Wo ist das Problem?

Der aktuelle Durchsatz interessiert mich nicht. Ich plane doch die Breite einer neuen Autobahn auch nicht auf eine Spur, weil die aktuelle Straße auch nur eine Spur hat nach dem Motto: "Ich habe noch nie zwei Autos nebeneinander gesehen, entsprechend brauchen wir auch weiterhin nur eine Spur."

Um mal bei Deiner Analogie zu bleiben: Eine Verkehrszählung wird zuerst auch nur auf der alten Autobahn gemacht und damit dann die Zahlen für die Zukunft hochgerechnet, also geschätzt. Danach baut man dann die neue Autobahn.

Also wie schon gesagt: Lass alle über die aktuelle Leitung arbeiten und dann hast Du Deine Daten. Und dann schätzt Du, wie groß Deine neue Leitung für die Zukunft sein muß. Und dann nimmst Du die Leitung noch eine Nummer größer.

cu,
ipzipzap
aqui
aqui 08.11.2023 um 17:04:35 Uhr
Goto Top
Warum nicht?
Die Antwort auf die Frage wäre in der Tat interessant aber wenn die auch keine Flows auswerten kann und nur SNMP Daten liefert ist eine Auswertung wie der TO sie plant technisch nicht möglich, da SNMP nur quantitative Daten liefert.
Ums mit seinen Worten zu sagen: Man sieht nur die Menge der Autos, erkennt aber die Farben nicht und auch nicht wer drinsitzt. face-wink
aqui
aqui 26.11.2023 um 15:06:35 Uhr
Goto Top
Wenn es das denn nun war:
Wie kann ich einen Beitrag als gelöst markieren?
nicht vergessen!