13
Internetverkehr aufzeichnen OPNsense
Hallo zusammen,
kann mir jemand ein paar Stichworte nennen, um das mit einer OPNsense umzusetzen:
Ein Internetanschluss soll von mehreren Parteien genutzt werden. Neben den üblichen disclaimern "nichts verbotenes zu tun" soll der Internetverkehr aber auch aufgezeichnet werden (die Parteien werden diesbezüglich informiert), sodass im Falle eines Falles das log auch ausgewertet werden kann, um sagen zu könne: Dieses Partei (oder noch besser diese eine IP) hat etwas verbotenes gemacht. Grundsätzlich soll das Internet nicht gefiltert werden.
Bin ich da mit NetFlow schon auf der richtigen Spur? Kann man die Daten auf die lokale Firewall laufen lassen (laut OPNsense maximal 100 MB, wenn ich das richtig interpretiere)?
Sammle NetFlow-Daten auf dieser Firewall für die Nutzung mit Einblick. Seien Sie sich bewusst, dass der lokale Zwischenspeicher nur die letzten 100 MB enthält.
Oder ist ein externer Logging-Server zwingend notwendig bzw. dringend empfohlen (wie @aqui beschrieben hat: Netzwerkverkehr mit NetFlow bzw. IPFIX visualisieren
Beziehungsweise, welcher Zeitraum kann mit 100 MB überhaupt abgedeckt werden? Oder mit wie viel Speicher muss ich bei 3 Parteien (3-4 Individuen) für 90 Tage Aufbewahungsfrist ungefähr rechnen? Mehrere 'zig Gigabytes?
Bin für Tipps dankbar, danke!
MfG
kann mir jemand ein paar Stichworte nennen, um das mit einer OPNsense umzusetzen:
Ein Internetanschluss soll von mehreren Parteien genutzt werden. Neben den üblichen disclaimern "nichts verbotenes zu tun" soll der Internetverkehr aber auch aufgezeichnet werden (die Parteien werden diesbezüglich informiert), sodass im Falle eines Falles das log auch ausgewertet werden kann, um sagen zu könne: Dieses Partei (oder noch besser diese eine IP) hat etwas verbotenes gemacht. Grundsätzlich soll das Internet nicht gefiltert werden.
Bin ich da mit NetFlow schon auf der richtigen Spur? Kann man die Daten auf die lokale Firewall laufen lassen (laut OPNsense maximal 100 MB, wenn ich das richtig interpretiere)?
Sammle NetFlow-Daten auf dieser Firewall für die Nutzung mit Einblick. Seien Sie sich bewusst, dass der lokale Zwischenspeicher nur die letzten 100 MB enthält.
Oder ist ein externer Logging-Server zwingend notwendig bzw. dringend empfohlen (wie @aqui beschrieben hat: Netzwerkverkehr mit NetFlow bzw. IPFIX visualisieren
Beziehungsweise, welcher Zeitraum kann mit 100 MB überhaupt abgedeckt werden? Oder mit wie viel Speicher muss ich bei 3 Parteien (3-4 Individuen) für 90 Tage Aufbewahungsfrist ungefähr rechnen? Mehrere 'zig Gigabytes?
Bin für Tipps dankbar, danke!
MfG
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 7878668370
Url: https://administrator.de/contentid/7878668370
Printed on: April 28, 2024 at 13:04 o'clock
13 Comments
Latest comment
Moin,
ein klassischer dürfte Elasticsearch, Kibana & Logstash sein.
Gruß,
Dani
ein klassischer dürfte Elasticsearch, Kibana & Logstash sein.
Bin ich da mit NetFlow schon auf der richtigen Spur?
Ne.Bin ich da mit NetFlow schon auf der richtigen Spur?
Das hängt davon ab, wie viel das Internet genutzt wird. Bei uns im Unternehmen schreiben wir die Menge in einer Sekunde. Gruß,
Dani
Hallo
kann mir jemand ein paar Stichworte nennen, um das mit einer OPNsense umzusetzen:
Ein Internetanschluss soll von mehreren Parteien genutzt werden. Neben den üblichen disclaimern "nichts verbotenes zu tun" soll der Internetverkehr aber auch aufgezeichnet werden (die Parteien werden diesbezüglich informiert),
Ein Internetanschluss soll von mehreren Parteien genutzt werden. Neben den üblichen disclaimern "nichts verbotenes zu tun" soll der Internetverkehr aber auch aufgezeichnet werden (die Parteien werden diesbezüglich informiert),
Informieren nützt nichts! Zustimmung ist erforderlich.
Wie stellst du den Datenschutz sicher? Was ist mit http und https? Da mittlerweile fast alles über https läuft, nützt dir das nicht viel ohne https aufzubrechen. Da hast du dann aber Zertifikatsprobleme und noch mehr Probleme mit Bankingsnwendungrn.
Oder ist ein externer Logging-Server zwingend notwendig bzw. dringend empfohlen (wie @aqui beschrieben hat: Netzwerkverkehr mit NetFlow bzw. IPFIX visualisieren
Beziehungsweise, welcher Zeitraum kann mit 100 MB überhaupt abgedeckt werden?
Kommt auf die Anzahl der Clients an. Wenn du Glück hast 12 Stunden.Beziehungsweise, welcher Zeitraum kann mit 100 MB überhaupt abgedeckt werden?
Ps.: ich kenn die Konstellation der Parteien nicht, aber wenn du dies bei mir machen würdest, würde ich dir was husten.
Gruß
Moin...
so rain aus dem bauch... deine 100MB reichen mitr glück für 2-3 stunden, wenn nicht viel los ist.
es kommt ja auch aif das Log Level an!
ich denke, was du da vorhast, wird so nix!
Frank
Beziehungsweise, welcher Zeitraum kann mit 100 MB überhaupt abgedeckt werden? Oder mit wie viel Speicher muss ich bei 3 Parteien (3-4 Individuen) für 90 Tage Aufbewahungsfrist ungefähr rechnen? Mehrere 'zig Gigabytes?
wir reden bei 90 Tagen mit viel Internet Verkehr... also alles von IP TV bis E-Mail usw... von ca. 50-80 GB ca...so rain aus dem bauch... deine 100MB reichen mitr glück für 2-3 stunden, wenn nicht viel los ist.
es kommt ja auch aif das Log Level an!
Dieses Partei (oder noch besser diese eine IP) hat etwas verbotenes gemacht. Grundsätzlich soll das Internet nicht gefiltert werden.
oha... ip ist völlig wurst, wenn mac adresse, und selbst die kann geändert werden!ich denke, was du da vorhast, wird so nix!
Frank
Mit den Flow Protokollen bist du schon auf dem richtigen Weg. Wie sollte es auch sonst gehen wenn man nicht nur quantitativ sondern auch qualitativ analysieren will?!
Die Flow Verfahren sind alles Sampling Verfahren also hoch skalierbar. Es macht also keinerlei Unterschied ob man wie beim Kollegen @Dani in der Sekunde 100Mbit macht oder in einer Stunde. Genau das ist der tiefere Sinn dieser Verfahren diese Daten über Tage und Wochen auswerten zu können. Bei Sampling Verfahren hat es zudem den Vorteil das je länger sie laufen je genauer sie sind. Flow Verfahren sind deshalb für eine solche qualitative Dauerüberwachung gemacht.
Du bist zudem nicht zwingend auf die Firewall an sich angewiesen die ja schon onboard Flow Protokolle supportet. Das klappt natürlich auch wenn dein Switch an dem die Firewall angeschlossen ist Flow fähig ist. Die meisten besseren Switches wie Cisco, HP, Ruckus, usw. aber auch die einfachen wie Mikrotik u.a. haben sowas von sich aus an Bord.
Bei sFlow ist das z.B. ganz einfach einmal testweise mit einem kleinen, kostenlosen Tool wie dem sFlow Trend den Traffic zu visualisieren. Das bekommt man in 5 Minuten zum Fliegen und hat sofort einen Eindruck wie so eine Auswertung aussehen kann.
Geht es dir nur um einen quantitative Analyse dann reichen die üblichen Tools wie Observium, LibreNMS, Zabbix usw. Damit ist aber keine Auswertung auf IP Adress Basis und Protokoll bzw. Anwendungs spezifisch möglich.
Inwieweit das IPS Tools wie das onboard Suricata usw. lösen können müsste man checken.
Die Flow Verfahren sind alles Sampling Verfahren also hoch skalierbar. Es macht also keinerlei Unterschied ob man wie beim Kollegen @Dani in der Sekunde 100Mbit macht oder in einer Stunde. Genau das ist der tiefere Sinn dieser Verfahren diese Daten über Tage und Wochen auswerten zu können. Bei Sampling Verfahren hat es zudem den Vorteil das je länger sie laufen je genauer sie sind. Flow Verfahren sind deshalb für eine solche qualitative Dauerüberwachung gemacht.
Du bist zudem nicht zwingend auf die Firewall an sich angewiesen die ja schon onboard Flow Protokolle supportet. Das klappt natürlich auch wenn dein Switch an dem die Firewall angeschlossen ist Flow fähig ist. Die meisten besseren Switches wie Cisco, HP, Ruckus, usw. aber auch die einfachen wie Mikrotik u.a. haben sowas von sich aus an Bord.
Bei sFlow ist das z.B. ganz einfach einmal testweise mit einem kleinen, kostenlosen Tool wie dem sFlow Trend den Traffic zu visualisieren. Das bekommt man in 5 Minuten zum Fliegen und hat sofort einen Eindruck wie so eine Auswertung aussehen kann.
Geht es dir nur um einen quantitative Analyse dann reichen die üblichen Tools wie Observium, LibreNMS, Zabbix usw. Damit ist aber keine Auswertung auf IP Adress Basis und Protokoll bzw. Anwendungs spezifisch möglich.
Inwieweit das IPS Tools wie das onboard Suricata usw. lösen können müsste man checken.
Moin @aqui
Es geht im primär nicht um die Art des Traffics, sondern um ein Logging der aufgerufenen Seiten => private Vorratsdatenspeicherung. Sozusagen als Nachweis, falls mal Post von einem (Staats)anwalt kommt. Da kommt er mit NetFlow/sFlow, etc. nicht weit.
Gruß,
Dani
Es geht im primär nicht um die Art des Traffics, sondern um ein Logging der aufgerufenen Seiten => private Vorratsdatenspeicherung. Sozusagen als Nachweis, falls mal Post von einem (Staats)anwalt kommt. Da kommt er mit NetFlow/sFlow, etc. nicht weit.
Gruß,
Dani
Netflow ist zwar schon der Richtige weg aber um festzustellen wer wann ###* gebaut hat ist es unzureichend da es nicht "alles" aufzeichnet.
Du willst ja, so schätze ich" folgendes haben:
<DTAUM><UHRZEIT><IPUSER><DNS/IP WAN><TCP/UDP><PORT>
um das ganze dann ggf. weiterzugeben wenn jemand Mist gebaut hat ?
Wenn ja dann ist hier das Stichwort Störerhaftung. Je nach dem was du machst
ist das nebenbei bemerkt nicht wirklich DSGVO Konform ob Unterschrift hin oder her. Du würdest ja in dem Fall
deine eigene Voratsdatenspeicherung bertreiben.
Und zu deinen 100 MB: Ich denke da wird gemäß deiner Vortstellung nicht wirklich viel zu speichern sein bzw. dürfte der Speicher sehr sehr schnell voll laufen.
Alleine wenn ich bedenke das ein simples aufrufen einer Webseite derzeit mindestens 20 Einträge im DNS erzeugt weil hier Extern Verlinkt ist / Google ADS und Co drinne sind. Also kurz um 100 MB sind definitv zu wenig
Du willst ja, so schätze ich" folgendes haben:
<DTAUM><UHRZEIT><IPUSER><DNS/IP WAN><TCP/UDP><PORT>
um das ganze dann ggf. weiterzugeben wenn jemand Mist gebaut hat ?
Wenn ja dann ist hier das Stichwort Störerhaftung. Je nach dem was du machst
ist das nebenbei bemerkt nicht wirklich DSGVO Konform ob Unterschrift hin oder her. Du würdest ja in dem Fall
deine eigene Voratsdatenspeicherung bertreiben.
Und zu deinen 100 MB: Ich denke da wird gemäß deiner Vortstellung nicht wirklich viel zu speichern sein bzw. dürfte der Speicher sehr sehr schnell voll laufen.
Alleine wenn ich bedenke das ein simples aufrufen einer Webseite derzeit mindestens 20 Einträge im DNS erzeugt weil hier Extern Verlinkt ist / Google ADS und Co drinne sind. Also kurz um 100 MB sind definitv zu wenig
sondern um ein Logging der aufgerufenen Seiten => private Vorratsdatenspeicherung.
OK, wenn es rein nur ums Browsen geht und nichts anderes sind Flow Protokolle vermutlich ein Irrweg, das ist dann richtig. Das war dann aber missverständlich vom TO beschrieben denn verstehen tut man es so das er sämtlichen Traffic der Nutzer protokollieren will.Für reines HTTP also Browsen wäre ein Squid Proxy dann wohl die sinnvollere Wahl.
Allerdings überprüft der dann nur HTTP Traffic alles andere wie FTP, SCP usw. "sieht" er nicht.
Bzw. je nach dem wie Tief man gehen will müsste dann HTTPS ggf auch noch "aufgebrochen werden. Wobei hier eigentlich #Datum#Uhrzeit#IP-User#DNS#Webseite#usw... aausreichend sein sollte
Hi
das Logigng des Traffics reicht aus, hierbei sind für deine Anforderung auch die Verbindungslogs ausreichend (SRC -> DST -> PORT -> Uhrzeit), dazu musst du aber auch gleichzeitig das DHCP mitloggen und dabei die MAC-Adresse der Geräte erfassen um ein reelle Zuweisung zu erhalten. Nebenbei müssen alle beteiligten Geräte (FW, DHCP Server, Log-Destination usw.) zwingend eine Zeit-Synchronisation haben.
Damit das am Ende Auswertbar wird, kannst das genannte Elasticsearch + Kibana verwenden, wenn das Volumen größer wird kann Elasticsearch einfach im Cluster betrieben werden.
Gruß
@clSchak
das Logigng des Traffics reicht aus, hierbei sind für deine Anforderung auch die Verbindungslogs ausreichend (SRC -> DST -> PORT -> Uhrzeit), dazu musst du aber auch gleichzeitig das DHCP mitloggen und dabei die MAC-Adresse der Geräte erfassen um ein reelle Zuweisung zu erhalten. Nebenbei müssen alle beteiligten Geräte (FW, DHCP Server, Log-Destination usw.) zwingend eine Zeit-Synchronisation haben.
Damit das am Ende Auswertbar wird, kannst das genannte Elasticsearch + Kibana verwenden, wenn das Volumen größer wird kann Elasticsearch einfach im Cluster betrieben werden.
Gruß
@clSchak
Stimmt die MAC ist das entscheidende. Die Hatte ich wohl im einem Beispiel vergessen. Zeitsync hatte ich allerdings vorrausgesetzt
Aber ich denke mal das wenn der komplette Traffic mit SRC/DEST/MAC/IP/ZEIT/usw..... mitgeschreiben wird das da 100MB ein wenig wenig ist wenn dan auch noch IP TV und SIP etc. dazukommt.
Ich meine man müsste hier glaube ich ALLES loggen und eben nicht nur selektiv um entsprechende Nachweise im Falle eines Falles zu haben. Sprich reines DNS Logging ist so weit ich mich erinnern kann nicht wirklich ausreichend. Wobei ich meine das in der Voratsdatenspeicherung ( nichts anderes hat er ja vor ) nur die Verbindungsdaten gespeichert werden. Sprich SRC MAC/DEST MAC/DATUM/UHRZEIT
Aber ich denke mal das wenn der komplette Traffic mit SRC/DEST/MAC/IP/ZEIT/usw..... mitgeschreiben wird das da 100MB ein wenig wenig ist wenn dan auch noch IP TV und SIP etc. dazukommt.
Ich meine man müsste hier glaube ich ALLES loggen und eben nicht nur selektiv um entsprechende Nachweise im Falle eines Falles zu haben. Sprich reines DNS Logging ist so weit ich mich erinnern kann nicht wirklich ausreichend. Wobei ich meine das in der Voratsdatenspeicherung ( nichts anderes hat er ja vor ) nur die Verbindungsdaten gespeichert werden. Sprich SRC MAC/DEST MAC/DATUM/UHRZEIT
und SIP etc. dazukommt.
SIP ist nur der reine Verbindungsaufbau mit 2-3 Paketen. (Siehe zu der Thematik auch HIER)Als Netzwerker meintest du sicher die Voice Daten selber die bekanntlich mit RTP übertragen werden, oder?
Wenn es wirklich diese Daten sind die der TO loggen will oder muss, dann kommen sofort wieder die Flow Daten ins Spiel.
Da vom TO aber selber bis dato keinerlei hilfreiches Feedback zu seiner Thematik kommt muss man wohl davon ausgehen das er das Interesse an einer zielführenden Lösung verloren hat.
Kann er seinen Thread dann eigentlich auch als erledigt schliessen!
Zitat von @aqui:
Als Netzwerker meintest du sicher die Voice Daten selber die bekanntlich mit RTP übertragen werden, oder?
und SIP etc. dazukommt.
SIP ist nur der reine Verbindungsaufbau mit 2-3 Paketen. (Siehe zu der Thematik auch HIER)Als Netzwerker meintest du sicher die Voice Daten selber die bekanntlich mit RTP übertragen werden, oder?
Ja sicher meine ich RTP
Sorry hatte in der Eile nur an SIP gedacht. Asche auf mein Haupt. Aber ich denke jeder wusse was ich meine denn RTP und SIP gehören ja sozusagen Umgangssprachlich zusammen was die Telefonie angehtWenn es wirklich diese Daten sind die der TO loggen will oder muss, dann kommen sofort wieder die Flow Daten ins Spiel.
Da vom TO aber selber bis dato keinerlei hilfreiches Feedback zu seiner Thematik kommt muss man wohl davon ausgehen das er das Interesse an einer zielführenden Lösung verloren hat.
Kann er seinen Thread dann eigentlich auch als erledigt schliessen!
Da vom TO aber selber bis dato keinerlei hilfreiches Feedback zu seiner Thematik kommt muss man wohl davon ausgehen das er das Interesse an einer zielführenden Lösung verloren hat.
Kann er seinen Thread dann eigentlich auch als erledigt schliessen!
Hallo!
Vielen Dank für die vielen Antworten!
Vorweg:
Danke, schaue ich mir an.
Jetz ja!
Vielen Dank für die vielen Antworten!
Vorweg:
Zitat von @aqui:
Da vom TO aber selber bis dato keinerlei hilfreiches Feedback zu seiner Thematik kommt muss man wohl davon ausgehen das er das Interesse an einer zielführenden Lösung verloren hat.
Quatsch.Da vom TO aber selber bis dato keinerlei hilfreiches Feedback zu seiner Thematik kommt muss man wohl davon ausgehen das er das Interesse an einer zielführenden Lösung verloren hat.
Danke, schaue ich mir an.
Zitat von @tech-flare:
Wie stellst du den Datenschutz sicher? Was ist mit http und https? Da mittlerweile fast alles über https läuft, nützt dir das nicht viel ohne https aufzubrechen.
Ich denke, wenn mit den Parteien besprochen ist, dass der Internetverkehr aufgezichnet wird, stellt sich die Datenschutzfrage nicht mehr. Es reicht im Grunde, wenn wir die Info bekommen WER WANN DNS-ADRESSE und im Netzwerk wird nur die Firewall als DNS zugelassen. Sobald Traffic über DoH oder VPN rausgeht, sind wir eh raus.Wie stellst du den Datenschutz sicher? Was ist mit http und https? Da mittlerweile fast alles über https läuft, nützt dir das nicht viel ohne https aufzubrechen.
Zitat von @Vision2015:
wir reden bei 90 Tagen mit viel Internet Verkehr... also alles von IP TV bis E-Mail usw... von ca. 50-80 GB ca...
so rain aus dem bauch... deine 100MB reichen mitr glück für 2-3 stunden, wenn nicht viel los ist.
es kommt ja auch aif das Log Level an!
Ok, dann kenne ich zumindest mal die groben Richtwerte, danke.wir reden bei 90 Tagen mit viel Internet Verkehr... also alles von IP TV bis E-Mail usw... von ca. 50-80 GB ca...
so rain aus dem bauch... deine 100MB reichen mitr glück für 2-3 stunden, wenn nicht viel los ist.
es kommt ja auch aif das Log Level an!
Zitat von @Dani:
Es geht im primär nicht um die Art des Traffics, sondern um ein Logging der aufgerufenen Seiten => private Vorratsdatenspeicherung. Sozusagen als Nachweis, falls mal Post von einem (Staats)anwalt kommt.
Es geht im primär nicht um die Art des Traffics, sondern um ein Logging der aufgerufenen Seiten => private Vorratsdatenspeicherung. Sozusagen als Nachweis, falls mal Post von einem (Staats)anwalt kommt.
Zitat von @Mr-Gustav:
Du willst ja, so schätze ich" folgendes haben:
<DTAUM><UHRZEIT><IPUSER><DNS/IP WAN><TCP/UDP><PORT>
um das ganze dann ggf. weiterzugeben wenn jemand Mist gebaut hat ?
JaDu willst ja, so schätze ich" folgendes haben:
<DTAUM><UHRZEIT><IPUSER><DNS/IP WAN><TCP/UDP><PORT>
um das ganze dann ggf. weiterzugeben wenn jemand Mist gebaut hat ?
Zitat von @Mr-Gustav:
Wenn ja dann ist hier das Stichwort Störerhaftung. Je nach dem was du machst
ist das nebenbei bemerkt nicht wirklich DSGVO Konform ob Unterschrift hin oder her. Du würdest ja in dem Fall
deine eigene Voratsdatenspeicherung bertreiben.
Genau darum gehts. Laut Störerhaftung soll der WLAN Betreiber keine Strafen bekommen, man soll aber trotzdem dafür sorgen, dass Inhalte blockiert werden. Stichwort Content Filter?Wenn ja dann ist hier das Stichwort Störerhaftung. Je nach dem was du machst
ist das nebenbei bemerkt nicht wirklich DSGVO Konform ob Unterschrift hin oder her. Du würdest ja in dem Fall
deine eigene Voratsdatenspeicherung bertreiben.
Zitat von @aqui:
OK, wenn es rein nur ums Browsen geht und nichts anderes sind Flow Protokolle vermutlich ein Irrweg, das ist dann richtig. Das war dann aber missverständlich vom TO beschrieben denn verstehen tut man es so das er sämtlichen Traffic der Nutzer protokollieren will.
Für reines HTTP also Browsen wäre ein Squid Proxy dann wohl die sinnvollere Wahl.
Allerdings überprüft der dann nur HTTP Traffic alles andere wie FTP, SCP usw. "sieht" er nicht.
Du hast Recht, beim erneuten Lesen habe ich das nicht genau spezifiziert. An dern anderen Traffic habe aber ehrlich gesat auch gar nicht gedacht, da ich rein vom "Typ" sowieso an ein Gast-Netz gedacht habe, wo nur DNS und HTTPS und vllt. Mail-Stuffs freigegeben ist. Danke für den Hinweis mit Squid Proxy. FTP oder Torrents oder was auch immer werden standardmäßig von uns ausgehend nicht freigegeben, solange es keinen Grund dafür gibt. Auch die Telefonie interessiert uns nicht, Telefonie gibts keine, die nutzen nur Handy. Es wäre daher nur DNS und HTTP Traffic relevant, so, wie @Mr-Gustav beschrieben hat.OK, wenn es rein nur ums Browsen geht und nichts anderes sind Flow Protokolle vermutlich ein Irrweg, das ist dann richtig. Das war dann aber missverständlich vom TO beschrieben denn verstehen tut man es so das er sämtlichen Traffic der Nutzer protokollieren will.
Für reines HTTP also Browsen wäre ein Squid Proxy dann wohl die sinnvollere Wahl.
Allerdings überprüft der dann nur HTTP Traffic alles andere wie FTP, SCP usw. "sieht" er nicht.
Zitat von @clSchak:
Damit das am Ende Auswertbar wird, kannst das genannte Elasticsearch + Kibana verwenden, wenn das Volumen größer wird kann Elasticsearch einfach im Cluster betrieben werden.
Danke auch dir, ich schaue mir die beiden Produkte an.Damit das am Ende Auswertbar wird, kannst das genannte Elasticsearch + Kibana verwenden, wenn das Volumen größer wird kann Elasticsearch einfach im Cluster betrieben werden.
Jetz ja!
