heffernan
Goto Top

Datenverbrauch loggen

Hallo liebe Experten!

Ich bräuchte euren Rat zu meiner Idee:

Ich würde gerne meinen Internet-Datenverbrauch messen und loggen. (z.B. Monatlich gemessener Verbrauch). Eine grafische Darstellung wäre auch von Vorteil.

Das ISP-Modem hat dazu leider keine integrierte Funktion. Auch vom ISP selbst ist nichts vorgesehen.

Meine Konfiguration derzeit:
Modem (ZTE H288A) --> Router (Cisco SG350X) -->Div. VLans zu PCS´s und div. andere Clients.
Einen Server der andauernd läuft gibt es nicht im Netwerk, nur eine NAS von QNAP (TS-431xeu) die anscheinend leider nicht VM-Tauglich ist. (Hatte bereits die Idee, Zabbix auf einer VM laufen zu lassen.)

Mich würde nur die verbrauchte Datenmenge am Port, wo das Modem angeschlossen ist, interessieren. Der interne Datenverkehr kann außer Acht gelassen werden.

Ich habe mich bereits mit SNMP und dazugehöriger Software beschäftigt, jedoch schaffe ich es immer nur den aktuellen Traffic darzustellen, jedoch nicht eine art Zähler zu installieren.

Nun meine Frage(n): Gibt es hierzu eine passende Software ohne nun selbst mit vielen Datenbanken etc. spielen zu müssen?

Meine andere Idee: Zwischen Modem und dem Router eine Hardware (z.B. Firewall oder Ähnliches) zu installieren, die den Datenverkehr aufzeichnet?
Hätte da z.B. eine Cisco ASA 5500 "herumliegen". Eine Watchguard XTM wäre auch aufzutreiben.

Oder gibt es eine Art Datenlogger, die über Port-Mirroring dies mitloggen könnte?

Vielen Dank für eure Ideen und Unterstützung zu dieser Sache face-smile

Liebe Grüße
Klaus

Content-Key: 1125244475

Url: https://administrator.de/contentid/1125244475

Ausgedruckt am: 19.03.2024 um 05:03 Uhr

Mitglied: em-pie
em-pie 05.08.2021 um 11:19:38 Uhr
Goto Top
Moin,

mal unabhängig des Dataloggings:
Hätte da z.B. eine Cisco ASA 5500 "herumliegen". Eine Watchguard XTM wäre auch aufzutreiben.
Das wäre bei eurem Konstrukt in jedem Fall umzusetzen.

Euer Router ist ja ein Consumer-Gerät, welches außer NAT und einer rudimentären Firewall nicht viel an Sicherheitsmaßnahmen mitbringt.

Zum Datenlogging
Mich würde nur die verbrauchte Datenmenge am Port, wo das Modem angeschlossen ist, interessieren. Der interne Datenverkehr kann außer Acht gelassen werden.
Habt ihr hier ein explizites Transfernetz zwischen ZTE und SG350X?


Gruß
em-pie
Mitglied: ChriBo
Lösung ChriBo 05.08.2021 aktualisiert um 14:52:12 Uhr
Goto Top
Hallo,
FYI: ZTE H288A = Modem+(NAT)Router, SG350X = Layer 3 Switch.
Ich sehe ein paar einfachere Möglichkeiten den Trafficverbrauch über einen längeren Zeitraum mitzuloggen:
1. einen PI mit z.B. Zabbix an den SG350X anschließen und dann den Port zum ZTE H288A überwachen.
2. nimm die ASA als Bridge und setze sie zwischen das H288A und den SG350X.
3. nimm eine pfSense als Bridge und installier z.B das Paket RRD_Summary.
ob es mit der Watchguard geht weiß ich nicht, sollte aber auch funktionieren.
Du kannst natürlich die ASA/pfSense/Watchguard auch als routende Firewall oder NAT Firewall installieren, macht das richtige Routen etwas schwieriger.

Gruß
CH
Mitglied: aqui
aqui 05.08.2021 aktualisiert um 15:49:51 Uhr
Goto Top
Kommt drauf an WIE der ZTE Router mit dem Cisco Switch zusammenarbeitet ?
Bei einem klassischen Layer 3 Design wie hier beschrieben:
Verständnissproblem Routing mit SG300-28
wäre es ja ein Kinderspiel. Das dortge Transfer Netz (VLAN 99) transportiert ja rein nur den Internet Traffic. Es ist dann ein Leichtes per SNMP den VLAN 99 Switchport per SNMP abzufragen um die Datenvoluminas zu bekommen.
Idealerweise macht man das mit einem freine SNMP Toll wie z.B. Observium
https://www.observium.org/
Was sich in 10 Minuten einfach auf einem Raspberry Pi installieren lässt und gleich eine grafische Auswertung der Datenvoluminas mIt an Bord hat wie man HIER sehen kann.
Alternativ andere Auswerte Tools wie hier beschrieben mit einer Probe an einem Mirrorport mit einem Raspberry Pi usw. usw.
Netzwerk Management Server mit Raspberry Pi
Oder auf die Schnelle unter Windows sowas wie STG um mal mit SNMP rumzuspielen:
http://leonidvm.chat.ru/
Mitglied: Heffernan
Heffernan 05.08.2021 um 17:36:53 Uhr
Goto Top
Hallo zusammen, vielen Dank für eure raschen Antworten!

@ em-pie: Zur Info, das ganze ist nur ein "komplexeres" Heimnetz, nichts geschäftliches.
Aber da ich aber sowieso mit dem Gedanken spiele, das Netz über VPN erreichen zu können (zumindest die NAS) wäre die Firewall wohl ein muss (oder?) . Leider habe ich mich mit dem Thema Firewalls (zumindest in dieser Art) noch nicht so viel beschäftigt, daher habe ich etwas "Angst" vor der sinnvollen Konfiguration dieser.

Auf dem Cisco L3 Switch ist ein VLAN nur für den einen Port für das Modem eingerichtet. Sozusagen ein Internet-VLAN.
Ich hoffe das konnte deine Frage beantworten.

@ChriBo: Wie bereits oben beschrieben sollte die Endlösung eine funktionierende (NAT) Firewall sein. Aber ich bin mir derzeit noch unsicher ob ich das so zusammenbekomme :D Wenn ich die ASA zwischen das H288A und SG350X setze sollte das doch funktionieren oder?
Die Frage ist nur in wie weit mit das beim Datenlogging hilft. Oder hat die ASA eine tolle Funktion dazu? Oder würde ich dann trotzdem z.B. ein PI mit Zabbix oder Ähnlichem brauchen?

Wenn ich das mit dem PI mache, ist nur meine Sorge: Gibt es wirklich beim SNMP einen Sensor für Datenvolumen der mir als eine Art Zählstand den Wert ausgibt?


Was mir gerade noch so einfällt: Das H288A (ISP Modem) tauschen gegen einen z.B. CISCO887VA DSL Router? Da ist die Frage ob das der ISP zulässt und ob dieser Router dann diese Zählfunktion hat....


Liebe Grüße
Klaus
Mitglied: aqui
Lösung aqui 05.08.2021 aktualisiert um 19:27:15 Uhr
Goto Top
Gibt es wirklich beim SNMP einen Sensor für Datenvolumen der mir als eine Art Zählstand
Du hast vermutlich recht wenig Kenntnisse im Bereich SNMP, kann das sein ?!
Jeder managebare Switch hat das gleich mit an Bord, zumindestens immer die Standard Ethernet MIB ! Sieh dir die Standard Ethernet MIB an, da kannst du es doch selber schwarz auf weiss sehen !
Der RasPi per se hat damit gar nix zu tun. Ob du diese Daten mit einem RasPi einem NUC oder einem Mörder AMD Server abholst und auswertest spielt dOch keinerlei Rolle.
Installier dir Observium auf dem RasPi mit der automatisierten Installation
https://docs.observium.org/install_debian/
Und spiel einfach mal damit rum. Versuch macht klug....
Mitglied: Heffernan
Heffernan 07.08.2021 aktualisiert um 11:01:27 Uhr
Goto Top
Hallo aqui,
ja da hast du recht.

Ich werde mir mal einen RasPi zulegen und mit Observium herumspielen.
Weißt du zufällig ob Observium die Dunktion bietet, Tages/Wochen/Monatsergebnisse also sozusagen Reports als File abzuspeichern? Habe dazu leider noch nichts gefunden.

Eine Grundlegende Frage hätte ich noch: Ich habe es geschafft, mit IPHost unter Windows diese Messungen zu starten. (Vielen Dank für deine Erklärung zu MIB^^)
Ich kann nun zwar den Port (Nr. 18 am Switch) messen, der zum Modem führt. Leider nicht das VLAN (Messung ergibt immer 0)
Am Port habe ich einen recht hohen Traffic, kann es sein dass dort irgendetwas mitgemessen wird das dann noch nicht ins Internet geht sondern vom Modem wieder retour?
Konfiguration ist wie im Layer 3 Beitrag von dir beschrieben

Danke und liebe Grüße
Klaus
Mitglied: aqui
aqui 07.08.2021 aktualisiert um 11:54:20 Uhr
Goto Top
Du betreibst dort kein Modem sondern einen Router. Zw. Modem und Router besteht ein technischer Unterschied und man sollte diese Termini nicht verwechseln in einem Administrator Forum was generell immer zu Verwirrungen führt !
Du fragst vermutlich fälschlicherweise die SNMP Traffic Daten des physischen Ports 18 ab, was natürlich nicht richtig ist, denn der enthält zusätzlich noch die gesamte Broad- und Multicast Last des gesamten IP Segments.
Oben wurde schon darauf hingewiesen das du ja routest mit deinem Layer 3 Switch und du rein nur den gerouteten Traffic des VLAN IP Interfaces im Switch per SNMP abfragen musst NICHT aber die Daten des physischen Ports !
Dann bekommst du auch realistische Werte. face-wink
Mitglied: Heffernan
Heffernan 13.08.2021 aktualisiert um 23:36:14 Uhr
Goto Top
Hallo aqui, da hast du Recht! Leider irritiert mich das L3 immer ein wenig ;)

Ich habe nun meinen RaspPI mit Observium aufgesetzt - Erstmal danke, bin sehr erstaunt vom Umfang dieser Software.

Leider habe ich nun das selbe Problem wie vorhin - Ich kann nur den Traffic vom physischen Port 18 (zum Router/Modem) überwachen. Die VLans zeigt er mir zwar an, jedoch bei allen Werten 0...
Ich habe bereits bei den Einstellungen alle MIB´s aktiviert. Eigentlich sollte es doch diese OID geben?
In der Doku finde ich auch leider keine (mir) hilfreichen Hinweise.
Ich habe mal ein Bild zur Veranschaulichung angefügt.
obs

Beim Nachlesen bin ich auf Mirror Ports gestoßen. Wenn ich am Switch als Source VLAN1 und als Destination einen Port einstelle? Oder würde ich dann am PI einen 2. Netzwerkanschluss benötigen für den Mirror Port? Bitte entschuldige falls diese Idee in die komplett falsche Richtung geht, aber ich bin noch nicht ganz schlau geworden wie man diese duplizierten Daten dann als Traffic erfassen kann.

Somit sehe ich zur Zeit eher eine PFsense o.Ä. als Bridge zwischen Modem/Router und Switch sozusagen als Messstelle am sinnvollsten?

Vielen Dank für deine/eure Hilfe

LG
Klaus
Mitglied: aqui
aqui 14.08.2021 aktualisiert um 09:30:16 Uhr
Goto Top
Das ist sehr verwunderlich. Bist du dir sicher das du mit deinem Switch auch routest, sprich wirklich im Layer 3 Mode arbeitest ??
Jedes VLAN hat dann ein virtuelles IP Interface das komplett SNMP fähig ist wie die physischen Interfaces und dort auch den kumulierten Traffic dieser VLANs anzeigen sollte. Zumindestens ist das bei den SoHo Switches von Cisco, TP-Link, Netgear, Zyxel so.
Wie ein Layer 3 Switch Design aussieht kannst du hier sehen:
Verständnissproblem Routing mit SG300-28

Solltest du deinen Switch doch in einem Layer 2 Design betreiben kannst du die rein gerouteten Traffic Werte so natürlich nicht sehen. Das muss immer auf dem L3 Device passieren.
Alles zum Thema Mirror Ports und einer Trafficanalyse damit erfährst du z. B. hier:
https://www.heise.de/select/ct/2020/4/2000808565231407370
Mitglied: Heffernan
Heffernan 14.08.2021 um 16:07:05 Uhr
Goto Top
Ich habe jetzt nochmal alle Einstellungen beim Switch kontrolliert (IPs, IPv4 routing etc.) soweit alles OK.
Bis auf: (nur sichtbar im advanced mode):
Im VLAN Management Menü unter dem Reiter "Interface Settings: Switchport Mode: Layer 2
Allerdings sobald ich diesen auf Layer 3 setze (z.B. den vom Client PC, kann ich mich nichtmehr auf den Switch oder auf das Netzwerk zugreifen)

cisco

Kann es damit etwas zutun haben?

Danke und LG
Mitglied: aqui
aqui 16.08.2021, aktualisiert am 17.08.2021 um 09:00:15 Uhr
Goto Top
Allerdings sobald ich diesen auf Layer 3 setze
Das ist Unsinn und darfst du nicht machen ! Dann wird der Port zu einem dedizierten Routerport der eine IP Adresse direkt auf dem physischen Port erzwingt. Der Port kann dann natürlich nicht mehr gleichzeitig ein Memberport des Layer 2 VLANs sein. Deshalb verlierst du dann sofort die IP Connectivity dort. Vergiss das also...
WO du nachsehen musst (Screenshot) ist unter "IP Configuration" und dann "IPv4 Interfaces" ! Nur dort sind die virtuellen IP Interfaces für das v4 Routing zw. den VLANs zu sehen.
Ich mache hier mal einen Test Setup auf einem SG300 und checke ob die Switch IP Interfaces int vlan x via SNMP accountbar sind.
Mitglied: Heffernan
Heffernan 16.08.2021 um 21:36:05 Uhr
Goto Top
Alles klar, dieses Problem hatte ich auch schon als ich anfangs den Switch konfiguriert habe.
Unter IPv4 Interfaces sehe ich die 3 VLans mit den jeweiligen statischen IP Adressen. Und unter den IPv4 Static Routes sehe ich eben die 0.0.0.0 bei VLAN 1 zum Router.

Danke das ist sehr nett!

Kurze Verständnis-Zwischenfrage: Wenn ich beim physischen Port zum Router "falsche" Werte messe, also inlusive Multicasts usw. was ich ja nicht will, würde die Lösung von Chribo "die ASA (oder pfsense) zwischen Router und SG350 als Bridge hängen" auch nichts nützen, da ich dort ja ebensfalls diesen Traffic mitmessen würde oder?
Mitglied: aqui
aqui 17.08.2021 aktualisiert um 09:18:58 Uhr
Goto Top
Kurze Verständnis-Zwischenfrage:
Das kommt drauf an WO du dann misst. Klar wenn du weiterhin auf dem Switch Interface misst dann hast du natürlich auch dort diese Broad- und Multicast Frames.
Wenn du allerdings direkt den WAN Port des davor kaskadierten Routers abfragst, dann hast du ja den direkten Netto Traffic ins Internet.
Das bringt dir aber rein gar nix, denn genau das Design hast du ja auch jetzt ! Der ZTE Router den du jetzt betreibst macht ja genau das gleiche. Wenn der ZTE Router SNMP supporten würde könnte man die Daten ja auch dort direkt abfragen.

Eigentlich sollte die Messung sehr genau sein wenn du den Internet Traffic in ein separates Koppel VLAN getrennt hast wie auch im o.a. Layer 3 Tutorial beschrieben und empfohlen:

l3vlan
Wenn du am Switchport zum ZTE Router (blauer Kreis) misst dann hast du dort ja keinerlei Broad- oder Multicast Traffic mehr ! Dieser Port ist ein reiner Point to Point Link auf den Router, sprich hier fliesst ausschliesslich Internet Traffic rüber ohne jegliche weitere Broad- oder Multicast Last.
Wenn du das also genau so umgesetzt hast dann wirst du auch direkt an diesem physischen Switchport recht präzise SNMP Traffic Daten messen die rein nur die Internet Last betreffen. Durch die Layer 3 Trennung des Switches kann ja dort keinerlei weiterer Traffic der nicht Internet bezogen ist auftreten.
Mitglied: Heffernan
Heffernan 17.08.2021 um 18:55:31 Uhr
Goto Top
Hmm ja leider unterstützt der ZTE kein SNMP...

Ich habe jetzt nochmal ein eigenes VLAN (98) angelegt, alle Einstellungen gemacht (IP´s geändert, die 0.0.0.0 Route angelegt, usw)
Gleiches Ergebnis. Auch bei Observium: VLAN 98 scheint auf, er erstellt alle Graphs usw., aber immer mit Wert 0.
Dachte der Fehler liegt daran, das ich VLAN 1 statt 99 genommen habe und dieses ja bereits als default ab Werk angelegt ist.

Ich werde jetzt einfach mal entweder das ZTE gegen ein passendes DSL Modem tauschen (muss schauen was der ISP auf der Whitelist so stehen hat, ist ja nicht so einfach angeblich... der Cisco 927 sollte funktionieren) oder eben eine Kaskade mit einer ASA oder einem Router aufbauen und dort dann den Port Richtung ZTE messen. Die Werte kommen mir einfach zu hoch vor. Sollte doch beides funktionieren oder?
Selbst wenn der Switch aus welchem Grund auch immer als Layer 2 arbeitet.

Trotzdem würde mich dein Test-Setup interessieren, warum ich bei den VLAN´s keine Werte geliefert bekomme.

LG
Mitglied: aqui
aqui 18.08.2021 aktualisiert um 09:36:11 Uhr
Goto Top
Dachte der Fehler liegt daran, das ich VLAN 1 statt 99 genommen habe
Nein, das ist vollkommen egal welche VLAN ID du für das Koppelnetz verwendest und hat nur kosmetischen Wert.
Wichtig ist lediglich das diese Koppel VLAN rein nur ein Punkt zu Punkt Netzwerk ist. Sprich es dürfen dort lediglich der Switchport und der Routerport enthalten sein.
Damit ergibt sich ja zwangsläufig das an den beiden Ports ausschliesslich nur Internet Traffic accounted werden kann. Anderer Traffic kann dort Prinzip bedingt durchs Routing ja niemals auftauchen.
Folglich ist der Traffic den Observium dann am physischen Switchport und NICHT am virtuellen L3 Interface misst genau der Internet Traffic. Voluminas sollten also immer mit denen des Routers 1:1 korrespondieren.
Du hast das oben also missverstanden und solltest den physischen Koppelport am Switch zum ZTE ansehen und NICHT den L3 Port.

Hier kannst du das einmal anschaulich an einem identischen Setup sehen mit einem Cisco SG350 (Port 1/0/48) und einer pfSense Firewall (Port re1) mit einem Point to Point Link:

back-to-topSwitchport (1/0/48):

sw

back-to-topFirewallport (re1):

fw
Du kannst deutlich an den Zahlen und auch der Grafik sehen das die Internet Traffic Volumina an diesem Punkt zu Punkt Koppelport annähernd identisch sind. Outbound Traffic des Switchports ist Inbound an der Firewall und vice versa.
Works as designed...! 😉
Mitglied: Heffernan
Heffernan 18.08.2021 um 22:32:05 Uhr
Goto Top
Vielen Dank für den Versuchsaufbau! face-smile
Mir kommen die Werte trotzdem etwas hoch vor, aber nun gut - wer weiß :D ich werde trotzdem mal das ganze "kontrollieren" indem ich eine kleine Zwischenmessung aufbaue wie vorher beschrieben. Außerdem ein guter Grund mich mehr mit der ASA zu beschäftigten und mich einzulesen :D Denke nicht das es große Vorteile bringt den ISP Router/Modem gegen einen Cisco zu tauschen.

Gibt es bei Observium eigentlich eine Möglichkeit für einen Datenexport? z.B. die monatlichen Werte z.B. in einer File auf dem NAS zu speichern? Egal ob Graph oder nur als Wert selbst.
Ansonsten hätte ich nur von der Billing-Funktion von Observium gelesen.


Dann sag ich mal vielen Dank für die ganze Hilfe!
Mitglied: aqui
aqui 19.08.2021 aktualisiert um 09:29:17 Uhr
Goto Top
Mir kommen die Werte trotzdem etwas hoch vor, aber nun gut
Das kannst du ja sehr genau querchecken wenn du den Router Port einmal ganz exakt mit dem Wireshark ansiehst.
Die konfigurierst dem einen Mirror Port und den Router Traffic zu spiegeln und lässt dort einen Wireshark mitlaufen. Der protokolliert dir dann aufs Bit genau was über den Port geht. face-wink

Der Datenexport ist mit rein nur SNMP etwas tricky. Kann man sicher Script gesteuert machen, denn du müsstest ja bei z.B. einer monatlichen Sicherung die Port Counter wieder auf 0 resetten oder die Monats Volumina immer vom Gesamtvolumen abziehen um z.B. monatliche Statistiken zu bekommen.
Da ist es dann erheblich besser mit Flow Protokollen zu arbeiten wie NetFlow oder sFlow. Mit denen bekommst du nicht nur die Voluminas an sich sondern diese auch noch detailiert aufgeteilt in Dienste (TCP UDP Ports) und auch Absender und Empfänger IP Adressen bzw. Portnummer. Also sehr viel detailierter aufgeschlossen.
NetFlow und sFlow sind im Featureset vieler Switches enthalten wie z.B. Mikrotik, Ruckus ICX usw.
https://inmon.com/products/sFlowTrend.php
https://inmon.com/technology/sflowTools.php
https://blog.paessler.com/monitoring-mikrotik-routeros-with-prtg
https://mum.mikrotik.com/presentations/LB19/presentation_6352_1548734037 ...
Netzwerk Management Server mit Raspberry Pi
Oder wenn es auf eigener HW nicht supportet sein sollte gibt es freie Probes mit nTop usw. z.B. auf einem Raspberry Pi.
https://www.heise.de/newsticker/meldung/Spurensicherung-Live-Diagnose-im ...
https://www.heise.de/ct/artikel/c-t-Raspion-Projektseite-4606645.html
Mitglied: Heffernan
Heffernan 19.08.2021 um 21:09:51 Uhr
Goto Top
Puhh, da habe ich ja genug Themen in die ich mich jetzt hineinsteigern kann :D
Werde da sicher noch einiges ausprobieren face-smile (alleine schon aus Interesse)

Jedenfalls vielen Dank für die tolle Unterstützung!
Mitglied: aqui
aqui 20.08.2021 um 12:36:45 Uhr
Goto Top
Immer gerne... 😊