6
WAN Problem: ungewöhnlicher Anstieg der ICMP Response Time während eines Uploads
Guten Morgen,
ich habe hier ein, für mich kurioses, Problem. Es geht um folgendes:
Sobald ein größerer Upload gestartet wird (>= 5 GB) steigt die ICMP Response Time für Verbindungen von und ins Internet extrem an. Ich habe das ganze heute Morgen einmal protokolliert:
Der Standort ist per Vodafone Cable Business 500/50 angebunden und befindet sich in Baden-Württemberg. Von Vodafone wird eine Fritz!Box 5691 gestellt, hinter der eine OPNSense Firewall (x86 Hardware) ihren Dienst tut. Die Firewall ist als exposed Host konfiguriert und hat ihre eigene öffentliche IPv4. Die OPNSense ist meiner Einschätzung nach auch mehr als ausreichend dimensioniert. Hier die Leistungsdaten aus dem selben Zeitraum wie in der obigen Grafik.
Als Switch und L3 Router für das LAN wird ein Cisco SG350 eingesetzt. Den schließe ich als Problem aber aktuell aus, da wir im internen Netz unseren Wirespeed selbstverständlich problemlos erreichen (auch über die VLAN Grenzen) und die ICMP Response Time lokal immer unter 1 ms liegt.
Da es für mich nach einem Problem aussieht, dass hinter unserer lokalen Netzinfrastruktur steckt, haben wir auch schon den Vodafone Support eingeschaltet – dort konnte unser Problem allerdings nicht nachvollzogen werden.
Mir fehlt nun der Ansatz für die weitere Diagnose. Wie würdet ihr vorgehen? Wenn ich das nächste Mal vor Ort bin, werde ich wahrscheinlich ein Notebook direkt an die FRITZ!Box hängen und schauen was passiert, wenn ich einen größeren Upload starte.
Viele Grüße
Daniel
ich habe hier ein, für mich kurioses, Problem. Es geht um folgendes:
Sobald ein größerer Upload gestartet wird (>= 5 GB) steigt die ICMP Response Time für Verbindungen von und ins Internet extrem an. Ich habe das ganze heute Morgen einmal protokolliert:
Der Standort ist per Vodafone Cable Business 500/50 angebunden und befindet sich in Baden-Württemberg. Von Vodafone wird eine Fritz!Box 5691 gestellt, hinter der eine OPNSense Firewall (x86 Hardware) ihren Dienst tut. Die Firewall ist als exposed Host konfiguriert und hat ihre eigene öffentliche IPv4. Die OPNSense ist meiner Einschätzung nach auch mehr als ausreichend dimensioniert. Hier die Leistungsdaten aus dem selben Zeitraum wie in der obigen Grafik.
Als Switch und L3 Router für das LAN wird ein Cisco SG350 eingesetzt. Den schließe ich als Problem aber aktuell aus, da wir im internen Netz unseren Wirespeed selbstverständlich problemlos erreichen (auch über die VLAN Grenzen) und die ICMP Response Time lokal immer unter 1 ms liegt.
Da es für mich nach einem Problem aussieht, dass hinter unserer lokalen Netzinfrastruktur steckt, haben wir auch schon den Vodafone Support eingeschaltet – dort konnte unser Problem allerdings nicht nachvollzogen werden.
Mir fehlt nun der Ansatz für die weitere Diagnose. Wie würdet ihr vorgehen? Wenn ich das nächste Mal vor Ort bin, werde ich wahrscheinlich ein Notebook direkt an die FRITZ!Box hängen und schauen was passiert, wenn ich einen größeren Upload starte.
Viele Grüße
Daniel
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 592411
Url: https://administrator.de/contentid/592411
Ausgedruckt am: 22.11.2024 um 04:11 Uhr
6 Kommentare
Neuester Kommentar
Die Firewall ist als exposed Host konfiguriert und hat ihre eigene öffentliche IPv4.
Da kann irgendwas an der Aussage nicht wirklich stimmen !Die FritzBox kann man NICHT mehr als reines Modem betreiben (Die Kabel TV Version schon gar nicht) also folglich kann die Firewall niemals eine öffentliche IP an ihrem WAN Port bekommen.
Das Konzept ist (geraten) eine klassischen Router Kaskade mit doppeltem NAT wie sie hier dargestellt ist:
IPsec IKEv2 VPN für mobile Benutzer auf der pfSense oder OPNsense Firewall einrichten
Allein schon exposed Host widerspricht dem schon, denn das macht man um die NAT Firewall der FritzBox zu überwinden was dann bedeutet das diese zwingend NAT macht.
Zumindest also in der Beziehung scheint deine technische Schilderung falsch bzw. fehlerhaft zu sein !
Leider beschreibst du auch nicht WELCHES Ziel du pingst. Wenn dies eins im Internet ist, dann ist es logisch das die Response Times länger werden, denn du belastest ja den Kabel TV Upload massiv. Sofern in FW oder besonders der FirtzBox keinerlei Priorisierung für ICMP konfiguriert ist werden auch ICMP Frames wie alles andere nach best Efford vorgewardet und da ist es dann logisch das bei erheblicher Last dann Verzögerungen eintreten.
Solange du aber lokale Interfaces pingst wie VLAN IP Interfaces des Switchs, LAN oder WAN Port der Firewall bleibst du ja innerhalb deiner lokalen Ethernet Gigabit Infrastruktur. Dort sollten keine relevanten Delays auftreten solange die CPU Last der beteiligten Geräte unter ca. 30% liegt.
Du solltest zusätzlich wissen das der interne Scheduler bei Router, Firewall oder Switch eine sehr niedrige Priorität hat für ICMP Steuerpakete. Bei entsprechender Gerätelast ist es also auch nicht unbedingt unnormal wenn es dort Delays gibt da Antworten durch die geringere Prio dann verzögert kommen. Switch Router usw. sind aus gutem Grund immer auf Forwarding Performance getrimmt.
Da du aber einen (Internet) Upload ja niemals mit mehr als 50 Mbit/s realisieren kannst (eher drastisch weniger, denn jeder weiss das Kabel TV Router auf der letzten Meile heillos überbucht sind weil sich hier mehrere 1000 User ein shared Medium teilen) sollten solche Lasten niemals auftreten.
Fazit:
Alles kann mehr oder minder normal sein, da man leider nicht weiss WAS du anpingst und ob der Upload in lokaler Infrastruktur oder via Internet passiert ??
Ob ein billiger Consumer Router in einer Kaskade mit doppeltem NAT die richtige Lösung für ein Firmennetz ist solltest du dich zudem auch einmal ernsthaft fragen.
Es wäre sehr viel sinnvoller und aus Performance Sicht erheblich besser ein reines Kabel TV Modem wie z.B. das Technicolor_TC4400-EU zu verwenden an der OPNsense und keinen billigen NAT Plaste Router davor.
Das erspart dir die Hürde und Performancefresser mit dem doppelten NAT.
Hi aqui,
Die Fritzbox macht kein NAT, sondern echtes Routing.
Für eine feste IP man bekommt ein /30 subnet, eine der beiden Adressen ist die "LAN seite" der Fritzbox, als Gateway für die dahinter geschaltete kundeneigene Firewall.
CH
Die fritzBox kann man NICHT als reines Modem mehr betreiben also folglich kann die Firewall niemals eine öffentliche IP an ihrem WAN Port bekommen.
Diese Aussage ist (für Unitimdia Business) falsch. @dwaldmannDE beschreibt das (alte ?) standard Setup von Unitymedia.Die Fritzbox macht kein NAT, sondern echtes Routing.
Für eine feste IP man bekommt ein /30 subnet, eine der beiden Adressen ist die "LAN seite" der Fritzbox, als Gateway für die dahinter geschaltete kundeneigene Firewall.
CH
Hi,
ich sehe da kein Problem.
du hast mit >= 50 Mbit/s DateiUpload die gebuchte und vorhandene Uploadkapazität erreicht.
da bleibt für das Echo reply kein "Platz" mehr, kommt also mit Verzögerung zurück.
Works as designed.
CH
ich sehe da kein Problem.
du hast mit >= 50 Mbit/s DateiUpload die gebuchte und vorhandene Uploadkapazität erreicht.
da bleibt für das Echo reply kein "Platz" mehr, kommt also mit Verzögerung zurück.
Works as designed.
CH
2
Hallo aqui,
du hast schon recht, es macht Sinn zu erwähnen was gepingt wird. Die Grafik im ersten Post zeigt die ICMP Response zu dieser OPNSense Firewall vom Server des Hauptstandorts. Vergleichbare Auffälligkeiten beim Monitoring anderer Standorte gibt es nicht. Ich habe den Ping Check an dieser Stelle für die bessere Nachvollziehbarkeit und die einfachere Protokollierung gewählt. Während das Problem auftritt, sind grundsätzliche alle ausgehenden Verbindungen von der hohen Latenz betroffen. Auch SIP und der IPSec Tunnel zum Rechenzentrum (über den wird nur RDP gemacht, da ist also nicht viel los). Es kann kein reines ICMP Problem sein. Das Thema QoS ist bei der Fritz!Box bisher noch nicht angeschaut worden. Das ist ein guter Punkt!
Den Vorschlag ein reines Modem zu verwenden finde ich persönlich sehr sympathisch und würde das auch gerne machen, allerdings verweigert uns Vodafone dann die statische IP-Adresse für diesen Anschluss. Sie verweisen dabei hierauf: https://www.vodafone.de/business/hilfe-support/unitymedia-faq/hardware.h ...
In einer Sache muss ich dir widersprechen: Die OPNSense bekommt definitv eine öffentliche IP Adresse an ihrem WAN-Port (78.xxx.xxx.206). Die Fritz!Box hat die 78.xxx.xxx.205. Nach doppeltem NAT sieht das erstmal nicht aus. Ich weiß aber auch nicht, welche obskuren Firmware Modifkationen von AVM eingebaut worden sind.
Zur Zusammenfassung:
Findet ein größerer Upload ins Internet statt (mit verschiedenen Gegenstellen gestestet) steigt die Latenz für alle ausgehenden Verbindung in den Bereich von +- 1000 ms. Lokale Verbindungen sind nicht betroffen.
Viele Grüße
du hast schon recht, es macht Sinn zu erwähnen was gepingt wird. Die Grafik im ersten Post zeigt die ICMP Response zu dieser OPNSense Firewall vom Server des Hauptstandorts. Vergleichbare Auffälligkeiten beim Monitoring anderer Standorte gibt es nicht. Ich habe den Ping Check an dieser Stelle für die bessere Nachvollziehbarkeit und die einfachere Protokollierung gewählt. Während das Problem auftritt, sind grundsätzliche alle ausgehenden Verbindungen von der hohen Latenz betroffen. Auch SIP und der IPSec Tunnel zum Rechenzentrum (über den wird nur RDP gemacht, da ist also nicht viel los). Es kann kein reines ICMP Problem sein. Das Thema QoS ist bei der Fritz!Box bisher noch nicht angeschaut worden. Das ist ein guter Punkt!
Den Vorschlag ein reines Modem zu verwenden finde ich persönlich sehr sympathisch und würde das auch gerne machen, allerdings verweigert uns Vodafone dann die statische IP-Adresse für diesen Anschluss. Sie verweisen dabei hierauf: https://www.vodafone.de/business/hilfe-support/unitymedia-faq/hardware.h ...
In einer Sache muss ich dir widersprechen: Die OPNSense bekommt definitv eine öffentliche IP Adresse an ihrem WAN-Port (78.xxx.xxx.206). Die Fritz!Box hat die 78.xxx.xxx.205. Nach doppeltem NAT sieht das erstmal nicht aus. Ich weiß aber auch nicht, welche obskuren Firmware Modifkationen von AVM eingebaut worden sind.
Zur Zusammenfassung:
Findet ein größerer Upload ins Internet statt (mit verschiedenen Gegenstellen gestestet) steigt die Latenz für alle ausgehenden Verbindung in den Bereich von +- 1000 ms. Lokale Verbindungen sind nicht betroffen.
Viele Grüße
Hallo CH,
genau darum handelt es sich. Das ist ein alter UnityMedia Business Anschluss mit einem eigenen /30 Netz.
Viele Grüße
genau darum handelt es sich. Das ist ein alter UnityMedia Business Anschluss mit einem eigenen /30 Netz.
Viele Grüße
Die Grafik im ersten Post zeigt die ICMP Response zu dieser OPNSense Firewall vom Server des Hauptstandorts
Heisst das du bist gar nicht am Hauptstandort?Trotzdem ist es normal, dass Ping Zeiten steigen, wenn die Leitung dicht ist.
