14
Max-Performance Trunk 1 Gbit
Ich hab da mal ne Frage, Feiertag gilt hoffentlich mindestens mal als Freitag! 😅
Gegeben sei eine OPNsense mit einem Trunk (RJ45) auf einen MT CRS326-Switch. Mache ich nun iperf-Tests von einem zu einem anderen Client - die beide an dem Switch hängen(!) - habe ich doch folgende Situation:
a) Innerhalb des vLANs managed das der Switch "unter sich", d.h. beide Clients sind mit je 1 Gbit/s angebunden. iPerf max sollte so bei "Wirespeed" 940 Mbit/s liegen (up&down).
b) Ich messe von einem vLAN in das andere: Der Test läuft vom Client zum Switch, dort über 1 Gbit/s an die OPNsense, durch die Firewall, wieder über die 1 Gbit/s in den Switch und dort zum iperf-Server im neuen vLan.
Bei Option b) kann natürlich die Routing-Leistung der Firewall ein limitierender Faktor sein. In meinem Fall ist das zweifellos so.
Frage: Ist darüber hinaus auch die 1 Gbit/s Anbindung zwischen Switch&Firewall ein limitierender Faktor? Sprich, komme ich da technisch nicht über knapp 500 Mbit/s?! Oder ist das eben gerade wegen "Full-Duplex" kein Thema?
PS: Wie Ihr seht, bin ich mal wieder auf der Suche nach Speed, bzw. dem fehlenden. Und als bekennender Amazoniker träume ich mittlerweile von @MysticFoxDE und seinen Patchkabeln. 😂
PPS: Ergänzend. Würde ich die OPNsense-HW erneuern und hätte dann dort einen SFP-Port (ohne Plus) zur Verfügung. Besser Dual-LAN zum CRS oder lieber 1 x SFP-"Glas"? Das Ausfallrisiko ist jetzt nicht soooo der Risikofaktor.
Gegeben sei eine OPNsense mit einem Trunk (RJ45) auf einen MT CRS326-Switch. Mache ich nun iperf-Tests von einem zu einem anderen Client - die beide an dem Switch hängen(!) - habe ich doch folgende Situation:
a) Innerhalb des vLANs managed das der Switch "unter sich", d.h. beide Clients sind mit je 1 Gbit/s angebunden. iPerf max sollte so bei "Wirespeed" 940 Mbit/s liegen (up&down).
b) Ich messe von einem vLAN in das andere: Der Test läuft vom Client zum Switch, dort über 1 Gbit/s an die OPNsense, durch die Firewall, wieder über die 1 Gbit/s in den Switch und dort zum iperf-Server im neuen vLan.
Bei Option b) kann natürlich die Routing-Leistung der Firewall ein limitierender Faktor sein. In meinem Fall ist das zweifellos so.
Frage: Ist darüber hinaus auch die 1 Gbit/s Anbindung zwischen Switch&Firewall ein limitierender Faktor? Sprich, komme ich da technisch nicht über knapp 500 Mbit/s?! Oder ist das eben gerade wegen "Full-Duplex" kein Thema?
PS: Wie Ihr seht, bin ich mal wieder auf der Suche nach Speed, bzw. dem fehlenden. Und als bekennender Amazoniker träume ich mittlerweile von @MysticFoxDE und seinen Patchkabeln. 😂
PPS: Ergänzend. Würde ich die OPNsense-HW erneuern und hätte dann dort einen SFP-Port (ohne Plus) zur Verfügung. Besser Dual-LAN zum CRS oder lieber 1 x SFP-"Glas"? Das Ausfallrisiko ist jetzt nicht soooo der Risikofaktor.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 9125888345
Url: https://administrator.de/contentid/9125888345
Printed on: April 28, 2024 at 00:04 o'clock
14 Comments
Latest comment
Moin,
an sich hast du mit full duplex parralel in beide Richtungen 1Gbs.
Welche HW setzt du denn derzeit bei der Sense ein? Hast du auch noch Snort drauf laufen?
Gruß
Spirit
PS der 326 hält 1G nicht wirklich stabil wenn VLans konfiguriert sind. Das Problem habe ich hier auch.
Gateway ist bei mir ein überdimensioniertes IPU Board.
an sich hast du mit full duplex parralel in beide Richtungen 1Gbs.
Welche HW setzt du denn derzeit bei der Sense ein? Hast du auch noch Snort drauf laufen?
Gruß
Spirit
PS der 326 hält 1G nicht wirklich stabil wenn VLans konfiguriert sind. Das Problem habe ich hier auch.
Gateway ist bei mir ein überdimensioniertes IPU Board.
Nur um Missverständnisse bei "Trunk" auszuräumen: Du meinst "Cisco like" einen einfachen Tagged Uplink und keine Link Aggregation die ja üblicherweise als Trunk (außer bei Cisco) bezeichnet wird. Richtig?!
Da ist dann das "Dual LAN" leider auch wieder doppeldeutig. Damit ist dann aber ein LAG gemeint, oder?!? 🤔
Da ist dann das "Dual LAN" leider auch wieder doppeldeutig. Damit ist dann aber ein LAG gemeint, oder?!? 🤔
Moin @Visucius,
du hast echt Glück, dass ich den Browser noch rechtzeitig minimieren konnte, bevor mein ausgewachsener Hausdrachen diese Bekenntnis entdeckt hat. 😬🙃
Nix "seinen", wenn dann höchstens "MysticFoxDE VS Patchkabel". 🤪
Gruss Alex
Und als bekennender Amazoniker träume ich mittlerweile von @MysticFoxDE
du hast echt Glück, dass ich den Browser noch rechtzeitig minimieren konnte, bevor mein ausgewachsener Hausdrachen diese Bekenntnis entdeckt hat. 😬🙃
und seinen Patchkabeln. 😂
Nix "seinen", wenn dann höchstens "MysticFoxDE VS Patchkabel". 🤪
Gruss Alex
1
Moin @Visucius,
hast du den beide vLAN's auf derselben NIC an der OPNsense anliegen?
Wenn ja, besteht die Möglichkeit, dass du an der OPNsense, mal die vLAN's auf unterschiedliche NIC's verteilst?
Gruss Alex
Frage: Ist darüber hinaus auch die 1 Gbit/s Anbindung zwischen Switch&Firewall ein limitierender Faktor? Sprich, komme ich da technisch nicht über knapp 500 Mbit/s?! Oder ist das eben gerade wegen "Full-Duplex" kein Thema?
hast du den beide vLAN's auf derselben NIC an der OPNsense anliegen?
Wenn ja, besteht die Möglichkeit, dass du an der OPNsense, mal die vLAN's auf unterschiedliche NIC's verteilst?
Gruss Alex
@aqui:
Jo, 1 x RJ45-LAN mit 5 vLANs "drinne"
@Spirit-of-Eli:
Es müsste ne 115er sein. Ich hatte mir die mal für meine ersten OPNsense-Versuche für 70 EUR in den Kleinanzeigen besorgt. Konnte ja nicht ahnen, das mir das Ding so viel Spaß macht
Und ja, natürlich laufen da etliche Pakete "extra". Snort muss ich prüfen - bin gerade im falschen vLAN am testen. Ich meine, ich hatte das zumindest mal ausprobiert. Aber seit dem letzten "größeren" Update ist das schon etwas zäh.
Das mit dem "326 hält 1G nicht wirklcih stabil" finde ich jetzt aber schon sparsam! Er lläuft ja schon nur mehr mit SwitchOS. Und mMn. schafft er die schon - allerdings macht es bei mir nen Unterschied ob up oder down. Ich vermute da aber eher den iperf-Host als Ursache.
@MysticFoxDE:
Jo, habe ich. Aktuell versuche ich es erstmal nur zu lokalisieren, weil diverse andere Baustellen. Nur bekomme ich demnächst Glasfaser (so die Telekomiker den Weg finden) und dann möchte ich das "im Ganzen" überarbeiten.
Ich könnte auch über ne Bridge in der Sense mehrere vLANs auf Dual-LAN einbinden (LAG). Hatte ich bei der Einrichtung aber noch nicht gewusst, bzw. gefunden.
Jo, 1 x RJ45-LAN mit 5 vLANs "drinne"
@Spirit-of-Eli:
Es müsste ne 115er sein. Ich hatte mir die mal für meine ersten OPNsense-Versuche für 70 EUR in den Kleinanzeigen besorgt. Konnte ja nicht ahnen, das mir das Ding so viel Spaß macht
Und ja, natürlich laufen da etliche Pakete "extra". Snort muss ich prüfen - bin gerade im falschen vLAN am testen. Ich meine, ich hatte das zumindest mal ausprobiert. Aber seit dem letzten "größeren" Update ist das schon etwas zäh.
Das mit dem "326 hält 1G nicht wirklcih stabil" finde ich jetzt aber schon sparsam! Er lläuft ja schon nur mehr mit SwitchOS. Und mMn. schafft er die schon - allerdings macht es bei mir nen Unterschied ob up oder down. Ich vermute da aber eher den iperf-Host als Ursache.
@MysticFoxDE:
Jo, habe ich. Aktuell versuche ich es erstmal nur zu lokalisieren, weil diverse andere Baustellen. Nur bekomme ich demnächst Glasfaser (so die Telekomiker den Weg finden) und dann möchte ich das "im Ganzen" überarbeiten.
Ich könnte auch über ne Bridge in der Sense mehrere vLANs auf Dual-LAN einbinden (LAG). Hatte ich bei der Einrichtung aber noch nicht gewusst, bzw. gefunden.
So, jetzt aber.
HW ist Atom E3827 Dualcore
Und Suricata habe ich gerade mal deaktiviert. Die ist ja nicht unbedingt notwendig
CRS: Was eben auch auffällt, aktiviere ich die Flow Control auf dem Switch für den Port des iperf3-Hosts bekomme ich tausende von RX und TX pauses.
HW ist Atom E3827 Dualcore
Und Suricata habe ich gerade mal deaktiviert. Die ist ja nicht unbedingt notwendig
CRS: Was eben auch auffällt, aktiviere ich die Flow Control auf dem Switch für den Port des iperf3-Hosts bekomme ich tausende von RX und TX pauses.
Moin @Visucius,
👍
Ich bin mir nicht sicher, ob du mit einem LAG hier wirklich glücklicher wirst, damit habe ich z.B. bei den Sophos XGS, bisher auch nur bedingt gute Erfahrungen gemacht.
Ausfallsicherheit geht ja, sauberes Loadbalancing ist jedoch eine andere Geschichte. 😔
Daher versuchen wir bei den XGS, wenn zwei Netze mit voller Bandbreite gegeneinander gekoppelt werden sollen, auch jedem Netz eine separate NIC zuzuordnen.
Gruss Alex
Jo, habe ich.
👍
Ich könnte auch über ne Bridge in der Sense mehrere vLANs auf Dual-LAN einbinden (LAG). Hatte ich bei der Einrichtung aber noch nicht gewusst, bzw. gefunden.
Ich bin mir nicht sicher, ob du mit einem LAG hier wirklich glücklicher wirst, damit habe ich z.B. bei den Sophos XGS, bisher auch nur bedingt gute Erfahrungen gemacht.
Ausfallsicherheit geht ja, sauberes Loadbalancing ist jedoch eine andere Geschichte. 😔
Daher versuchen wir bei den XGS, wenn zwei Netze mit voller Bandbreite gegeneinander gekoppelt werden sollen, auch jedem Netz eine separate NIC zuzuordnen.
Gruss Alex
Daher versuchen wir bei den XGS, wenn zwei Netze mit voller Bandbreite gegeneinander gekoppelt werden sollen, auch jedem Netz eine separate NIC zuzuordnen.
Ok, das wäre ja etwas, was ich im Umbau dann auch umsetzen könnte. Das wird dann, so ich günstig ran komme, hoffentlich eine 135er rev3. Da habe ich auch die entsprechenden Ports.CRS: Was eben auffällt, aktiviere ich die Flow Control auf dem Switch für den Port des iperf3-Hosts bekomme ich tausende von RX und TX pauses. Aber keine sonstigen Fehler(!) auf keinem der Switch-Ports.
Momentan fehlt so ein wenig das "Bild". Ich bekomme mit den selben Teilkomponenten immer wieder andere Ergebnisse. Das ist ein wenig nervig
So, jetzt klärt sich das langsam:
Zwischen zwei Win10 Clients im gleichen vLAN: 850 Mbit/s stabil, und mit -R zwischen 760 und 830 Mbit/s
Was ja eigentlich auch nicht Wirespeed ist aber die Aussage von @Spirit-of-Eli stützt, dass der CRS da schon "arbeitet". Frage mich dann ja, was der mit SFP+-Ports anstellt?!
Sind die 2 nicht mehr im gleichen vLAN (die eingangs erwähnte Option b): pi x Daumen 600 Mbit/s
Da scheint aber das deaktivierte Surikata keinen Unterschied zu machen - den Wert hatte ich am WE schon mal gemessen.
Mache ich den Spaß auf meine Docker iperf-Instanz auf der selben HW wie gerade eben aber in dem Fall läuft sie unter Unraid/Linux: zwischen 4(!) und 81 Mbit/s und mit "-R" konstant 950 Mbit/s. Das ist dann aber auch der Port an dem ich die RX-Pausen beobachte.
Ich hatte das schon mal an nem WE mit unterschiedlichen Kabeln, sogar direkt zwischen Host/Client getestet, die Patchkabel gewechselt, usw. ich bekomme da keine Konstante rein. Entweder liegts am Linux-Treiber für die Realtek-RJ45 am Unraid-PC oder irgendwo ist ein Wurm an den Patchpanels.
Danke Euch erstmal.
Zwischen zwei Win10 Clients im gleichen vLAN: 850 Mbit/s stabil, und mit -R zwischen 760 und 830 Mbit/s
Was ja eigentlich auch nicht Wirespeed ist aber die Aussage von @Spirit-of-Eli stützt, dass der CRS da schon "arbeitet". Frage mich dann ja, was der mit SFP+-Ports anstellt?!
Sind die 2 nicht mehr im gleichen vLAN (die eingangs erwähnte Option b): pi x Daumen 600 Mbit/s
Da scheint aber das deaktivierte Surikata keinen Unterschied zu machen - den Wert hatte ich am WE schon mal gemessen.
Mache ich den Spaß auf meine Docker iperf-Instanz auf der selben HW wie gerade eben aber in dem Fall läuft sie unter Unraid/Linux: zwischen 4(!) und 81 Mbit/s und mit "-R" konstant 950 Mbit/s. Das ist dann aber auch der Port an dem ich die RX-Pausen beobachte.
Ich hatte das schon mal an nem WE mit unterschiedlichen Kabeln, sogar direkt zwischen Host/Client getestet, die Patchkabel gewechselt, usw. ich bekomme da keine Konstante rein. Entweder liegts am Linux-Treiber für die Realtek-RJ45 am Unraid-PC oder irgendwo ist ein Wurm an den Patchpanels.
Danke Euch erstmal.
Moin @Visucius,
da mit den Rx respektive Tx pauses ist ganz normal, wenn Flow Control aktiviert ist und man den Port an seine Lastgrenze bringt.
Gruss Alex
CRS: Was eben auffällt, aktiviere ich die Flow Control auf dem Switch für den Port des iperf3-Hosts bekomme ich tausende von RX und TX pauses. Aber keine sonstigen Fehler(!) auf keinem der Switch-Ports.
da mit den Rx respektive Tx pauses ist ganz normal, wenn Flow Control aktiviert ist und man den Port an seine Lastgrenze bringt.
Gruss Alex
1
du hast echt Glück, dass ich den Browser noch rechtzeitig minimieren konnte, bevor mein ausgewachsener Hausdrachen diese Bekenntnis entdeckt hat. 😬🙃
Damit waren ja zweifellos "Alpträume" gemeint! 
PS der 326 hält 1G nicht wirklich stabil wenn VLans konfiguriert sind.
Diese Behauptung ruft nach ein paar Erläuterungen. Bitte mal das Setup beschreiben.Da die VLANs geoffloaded werden, laufen sie Wirespeed und die verwendeten Switch-Chips sind ordentliche Massenware eines renommierten Herstellers, die nicht einfach so instabil werden dürften. Instabilitäten folgen dann meist aus Konfigurationspannen.
Ich habe hier einen 326er mit etlichen VLANs völlig unauffällig am Laufen. Den Uplink zum Router macht allerdings der SFP+.
Iperf-Tests seinerzeit waren sowohl über Routing als auch im selben VLAN deutlich >900 Mbit/s. Ich bin auch mit 2 Gigabit-Clients auf einen dritten mit 2,5 Gbit/s gegangen. Beide Clients behielten dabei (wie erwünscht) ihre Geschwindigkeit. Um die angebliche 9 Gbit Routingleistung meines Routers zu testen, fehlte mir der Elan
Dass die vom Kollegen @Visucius beschriebene Hardware (mit 2/3 der Leistung eines APU-Boards) nicht Gigabit routet ist ja nun nahe liegend.
Viele Grüße, commodity
Moin @commodity,
auch für "Alpträume" von dritten die mich betreffen, hat mein Hausdrachen überhaupt kein Verständnis!
Denn dann kommt zwangsläufig die Frage, warum den @Visucius "Alpträume" von mir haben sollte.
Und die kann ich meinem bei einer Behörde und nicht in der IT arbeitendem Hausdrachen, wohl kaum mit "wegen den Patchkabeln" beantworten, das wird dieser ganz bestimmt nicht fressen. 🤪
Gruss Alex
du hast echt Glück, dass ich den Browser noch rechtzeitig minimieren konnte, bevor mein ausgewachsener Hausdrachen diese Bekenntnis entdeckt hat. 😬🙃
Damit waren ja zweifellos "Alpträume" gemeint! auch für "Alpträume" von dritten die mich betreffen, hat mein Hausdrachen überhaupt kein Verständnis!
Denn dann kommt zwangsläufig die Frage, warum den @Visucius "Alpträume" von mir haben sollte.
Und die kann ich meinem bei einer Behörde und nicht in der IT arbeitendem Hausdrachen, wohl kaum mit "wegen den Patchkabeln" beantworten, das wird dieser ganz bestimmt nicht fressen. 🤪
Gruss Alex
1sauberes Loadbalancing ist jedoch eine andere Geschichte.
Gibt es denn auch "unsauberes" Loadbalancing?? 🤔LACP LAGs nach 802.3ad bzw. jetzt 802.1ax ist bekanntlich ein Hashing Verfahren. Wenn du wenig Address Entropie im Netzwerk hast, kann es niemals eine gleichmässige Verteilung geben. Es hängt dann in hohem Maße davon ab wie der Hash berechnet wird. Mac Adresse, IP Adresse, VLAN ID, TCP/UDP Port. Das sind die 4 Komponenten, bzw. je nach Hersteller, immer Teile davon die in eine Hash Berechnung einfliessen und damit den physisch verwendeten Link der Kommunikation bestimmen.
Bei höherer Routing Auslastung in einem One Armed Design (Router on a Stick) bietet ein LAG deutliche Vorteile statt eines singulären Links. Wenn man das Hashing entsprechend richtig customized und natürlich Flow Control, wie generell üblich, aus ist! ...
1bei einer Behörde...
Oh ja! da besteht die Gefahr, das Amtshilfe eingesetzt wird. Und dann...Viele Grüße, commodity
1
