tommy98
Goto Top

Upload-Problem

Hallo zusammen,

ich habe ein - so wie ich finde - etwas seltsames Problem und zergrübel mir im Moment den Kopf.

Und zwar betreibe ich ein kleines Homelab, welches einen Mikrotik CCR & CRS und 2 Storage-Server enthaltet - Diese sind jeweils via Bonding mit 2x 10G SFP+ LWL verbunden. Auf dem Switch hängen die Storage-Server.
(jeweils Bonding 802.3ad mit mii & layer 2+3 Hash-Policy)

Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)

Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)

Habe nun ziemlich viel probiert und nachgedacht - was mir noch aufgefallen ist, die packets/s weichen, wenn ich mir das Bonding am Router & am Switch zeitgleich ansehe, stark ab.
Das Switch sendet bspw. 6.000 Pakete weg, am Router kommen nur 2.000 an.
Hatte ursprünglich die MTU im Verdacht, die ist aber überall vom MikroTik auf 1500 vorkonfiguriert.

Verbindungsabbrüche o.ä. gibt es keine, nur die Sache mit der Bandbreite - Außenanbindung ist 1000Mbit - Diese habe ich am Router vollständig, am Switch ist der Download mit 1Gbit voll verfügbar, aber auch der Upload wieder mit ca. 350 Mbit/s eingeschränkt.

Man sollte ggf noch dazu sagen, dass die Verbindung unter den beiden Backup-Servern bestens funktioniert, hier sind 3 Gbit/s kein Problem, hier sind wohl die HDD´s/Cache der Falschenhals.

Hat jemand einen Lösungsvorschlag für mich bzw. hatte das Problem schon mal jemand?
Bin für jede Hilfe dankbar.

Content-ID: 6246710295

Url: https://administrator.de/contentid/6246710295

Ausgedruckt am: 19.12.2024 um 06:12 Uhr

Vision2015
Vision2015 06.03.2023 um 17:49:51 Uhr
Goto Top
Moin...
Zitat von @tommy98:

Hallo zusammen,

ich habe ein - so wie ich finde - etwas seltsames Problem und zergrübel mir im Moment den Kopf.
huch...

Und zwar betreibe ich ein kleines Homelab, welches einen Mikrotik CCR & CRS und 2 Storage-Server enthaltet - Diese sind jeweils via Bonding mit 2x 10G SFP+ LWL verbunden. Auf dem Switch hängen die Storage-Server.
(jeweils Bonding 802.3ad mit mii & layer 2+3 Hash-Policy)
hast du mal alles ohne Bonding geprüft?
was ist das für ein Storage Server, wie sind die 10GBit eingerichtet, hast du Jumbo Frames mit 9000 Bytes ein gerichtet?
hast du auf deinem Server genug Lanes frei, kann die 10Gbit Karte überhaubt voll arbeiten?
kann der Server 1 Gbyte verarbeiten?

Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
das MikroTik Bandwidth Tool ist CPU lastig, teste das mal nicht so, sondern extern.
mit was sfp+ für Komponenten arbeitest du?
was ist das für ein Router?


Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
upload wohin?

Habe nun ziemlich viel probiert und nachgedacht - was mir noch aufgefallen ist, die packets/s weichen, wenn ich mir das Bonding am Router & am Switch zeitgleich ansehe, stark ab.
Das Switch sendet bspw. 6.000 Pakete weg, am Router kommen nur 2.000 an.
Hatte ursprünglich die MTU im Verdacht, die ist aber überall vom MikroTik auf 1500 vorkonfiguriert.
hast du mal in der Statistik von dem Interface nachgesehen, ob da paketverluste sind?

Verbindungsabbrüche o.ä. gibt es keine, nur die Sache mit der Bandbreite - Außenanbindung ist 1000Mbit - Diese habe ich am Router vollständig, am Switch ist der Download mit 1Gbit voll verfügbar, aber auch der Upload wieder mit ca. 350 Mbit/s eingeschränkt.
was ist das für ein Router, upload wohin genau?
was ist das für eine Leitung genau, syncron oder asyncron?

Man sollte ggf noch dazu sagen, dass die Verbindung unter den beiden Backup-Servern bestens funktioniert, hier sind 3 Gbit/s kein Problem, hier sind wohl die HDD´s/Cache der Falschenhals.
ja... das wird es wohl sein

Hat jemand einen Lösungsvorschlag für mich bzw. hatte das Problem schon mal jemand?
Bin für jede Hilfe dankbar.

Frank
tommy98
tommy98 06.03.2023 aktualisiert um 18:04:58 Uhr
Goto Top
Zitat von @Vision2015:

Moin...
Zitat von @tommy98:

Hallo zusammen,

ich habe ein - so wie ich finde - etwas seltsames Problem und zergrübel mir im Moment den Kopf.
huch...

Und zwar betreibe ich ein kleines Homelab, welches einen Mikrotik CCR & CRS und 2 Storage-Server enthaltet - Diese sind jeweils via Bonding mit 2x 10G SFP+ LWL verbunden. Auf dem Switch hängen die Storage-Server.
(jeweils Bonding 802.3ad mit mii & layer 2+3 Hash-Policy)
hast du mal alles ohne Bonding geprüft?
was ist das für ein Storage Server, wie sind die 10GBit eingerichtet, hast du Jumbo Frames mit 9000 Bytes ein gerichtet?
hast du auf deinem Server genug Lanes frei, kann die 10Gbit Karte überhaubt voll arbeiten?
kann der Server 1 Gbyte verarbeiten?

Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
das MikroTik Bandwidth Tool ist CPU lastig, teste das mal nicht so, sondern extern.
mit was sfp+ für Komponenten arbeitest du?
was ist das für ein Router?


Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
upload wohin?

Habe nun ziemlich viel probiert und nachgedacht - was mir noch aufgefallen ist, die packets/s weichen, wenn ich mir das Bonding am Router & am Switch zeitgleich ansehe, stark ab.
Das Switch sendet bspw. 6.000 Pakete weg, am Router kommen nur 2.000 an.
Hatte ursprünglich die MTU im Verdacht, die ist aber überall vom MikroTik auf 1500 vorkonfiguriert.
hast du mal in der Statistik von dem Interface nachgesehen, ob da paketverluste sind?

Verbindungsabbrüche o.ä. gibt es keine, nur die Sache mit der Bandbreite - Außenanbindung ist 1000Mbit - Diese habe ich am Router vollständig, am Switch ist der Download mit 1Gbit voll verfügbar, aber auch der Upload wieder mit ca. 350 Mbit/s eingeschränkt.
was ist das für ein Router, upload wohin genau?
was ist das für eine Leitung genau, syncron oder asyncron?

Man sollte ggf noch dazu sagen, dass die Verbindung unter den beiden Backup-Servern bestens funktioniert, hier sind 3 Gbit/s kein Problem, hier sind wohl die HDD´s/Cache der Falschenhals.
ja... das wird es wohl sein

Hat jemand einen Lösungsvorschlag für mich bzw. hatte das Problem schon mal jemand?
Bin für jede Hilfe dankbar.

Frank

Vielen Dank für deine Antwort.
Der Router ist ein nagelneuer MikroTik CCR2004-1G-12S+2XS mit natürlich neuster Firmware.

Egal wohin der Upload geht, bspw. zu uns ins Büro (500/350 Mbit Leitung, auch gemessen)

Uplink seitens Homelab ist sym. 1Gbit/s via Kupfer

Die SFP+-Module sind von 10GTek
Hatte aber auch schon andere SFP+ Module getestet

Edit: Ohne Bonding habe ich noch nicht getestet, kann ich noch machen.
Bzw. Interface-Stats schaue ich dann noch.

Vielen Dank,
Tom
aqui
aqui 06.03.2023 aktualisiert um 18:34:17 Uhr
Goto Top
Deutlich sinnvoller wäre wenn du auf den Endgeräten mit iPerf3 misst:
https://iperf.fr/iperf-download.php
Diese Werte sind erheblich aussagekräftiger, da sie auch direkt auf den beteiligten Komponenten gemacht werden, als die meist nichtssagenden onboard Tools der Infrastruktur.
Jumbo Framing zu aktivieren ist bei 10Gig und höher Pflicht.
Bedenke auch das 10Gig mit RJ-45 (10G-BaseT) nicht die volle Bandbreite garantiert, sondern immer je nach Kabelqualität aushandelt. In einem Server Umfeld wo es auf verlässliche Bandbreite ankommt ist 10G RJ-45 keine gute Idee und eher kontraproduktiv, da immer Negotiation Verfahren. Wenn, klappt das immer nur auf sehr kurzen Strecken mit sehr guten Kabeln.
Deutlich besser ist dann immer eine Verkabelung mit DAC/Twinax Kabeln oder AON Kabeln die immer eine feste, verlässliche 10G Bandbreite garantieren. Das nur am Rande...

Was du auch nicht gesagt hast: Misst du in einer reinen Layer2 Infrastruktur auf Mac Basis oder ist das gerouteter Traffic?
Wenn deine Server oder Storage Server Windows basierend sind kennst du vermutlich auch deren Durchsatz Problematiken bei 10Gig NICs und höher?!
Wie man das Windows 10 und 11 TCP-Handling wieder desuboptimieren kann
tommy98
tommy98 06.03.2023 um 19:39:21 Uhr
Goto Top
Das Problem ist nicht, dass ich von den 10G nur 1G erreiche - Das ist verm. irgendwo Interface/Bind-bedignt - Auch wenn ich die AutoNegation bereits deaktiviert & auf 10G gestellt habe - Darum geht in erster Linie aber nicht, sondern um die nur 75Mbit/s upload bei einem vollen sym. Gigabit Uplink. (Ob der per LWL oder Kupfer ist, ist in diesem Fall egal - Wenn ich direkt vom Router weg teste, erreiche ich >960Mbit.

Auch per MikroTik Bandwidth Test von Switch zu Router komme ich auf >920 Mbit - Nur hinter dem Switch gibt es irgendein Problem...

Die Storage-Server sind keine Windows-Server und erreichen untereinander über den Switch verbunden wie gesagt >3Gbit/s - Hier besteht also kein Problem.

An die Jumboframes habe ich mich noch nicht gewagt, da kenne ich mich einfach zu wenig aus...
Ist das überhaupt sinnvoll, da nur das LAN über 10G verfügt, der Uplink allerdings nur 1G - Da muss der Router doch erst wieder umrechnen, was viel Leistung zieht, oder?

hast du mal in der Statistik von dem Interface nachgesehen, ob da paketverluste sind?
Nope, keine "Drops" oder "Errors"

Habt ihr irgendeine Idee, wie man das debuggen könnte, um herauszufinden, warum bei gerade 75Mbit Schluss ist?
tommy98
tommy98 06.03.2023 um 20:10:04 Uhr
Goto Top
Zitat von @aqui:

Deutlich sinnvoller wäre wenn du auf den Endgeräten mit iPerf3 misst:
https://iperf.fr/iperf-download.php
Diese Werte sind erheblich aussagekräftiger, da sie auch direkt auf den beteiligten Komponenten gemacht werden, als die meist nichtssagenden onboard Tools der Infrastruktur.

Habe jetzt mal Point2Point mit iPerf3 gemessen - Hier kommen zumindest 200Mbit symetrisch raus...
Was jetzt aber noch mehr fragen aufwirft..
Mit bspw. der speedtest-cli schaffe ich 900/300Mbit, mit Iperf3 200/200Mbit und backup-Download an diversen Standorten bspw. Hetzner Colocation oder unser Office mit min. 500Mbit/s downlaod schaffe ich gerade mal 75Mbit/s upload (Perspektive vom Backup-Server)
aqui
aqui 06.03.2023 aktualisiert um 20:53:33 Uhr
Goto Top
Ist der Thread jetzt gelöst, weil gelöst geklickt ?? Was war denn die Lösung?
Ansonsten ist 200 Mbit/s bei 10Gig Links ja eher ein mehr als mickriger Wert. face-sad
Wäre auch für 1Gig NICs mehr als mickrig.
Nochmals die Fragen:
  • IPerf3 mit TCP oder UDP Encapsulation gemessen?
  • Layer 2 oder Layer 3?
  • Jumbo Framing aktiviert?
  • Mal die beiden iPerf3 Endgeräte direkt mit ihren NICs back to back verbunden um mal einen Vergleichswert zu haben was die nur nackt mit ihren eigenen NICs überhaupt bringen? Sprich ob die NICs der limitierende Faktor sind oder die Infrastruktur.
commodity
commodity 06.03.2023 um 21:47:03 Uhr
Goto Top
Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
Diesen Teil können wir wohl als gelöst ansehen. Mikrotik weist wirklich in jeder Publikation darauf hin, dass man so nicht messen soll. Ist oben ja schon behandelt.

Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
Entweder verkonfiguriert oder der physische Link zwischen den Geräten funktioniert nicht. Hier kann bei der Klärung, wie so oft, vielleicht ein Wireshark-Trace helfen face-wink

Viele Grüße, commodity
chgorges
chgorges 06.03.2023 um 22:48:33 Uhr
Goto Top
Oder der TE ist, wie ausnahmslos alle, einfach Opfer von Windows 10 und 11 https://www.borncity.com/blog/2023/02/21/windows-10-11-versteckte-netzwe ...
aqui
aqui 07.03.2023 um 09:05:28 Uhr
Goto Top
Hier kann bei der Klärung, wie so oft, vielleicht ein Wireshark-Trace helfen
Der Aufwand ist gar nicht nötig... Einfach die beiden Testrechner mit einem Kabel Rücken an Rücken direkt über ihre NICs verbinden und dann nochmal messen.
So hat man einen wasserdichten Vergleichswert was die Gerät mit ihrer NIC Hardware überhaupt schaffen.
So hat man einen festen Referenzwert der sich dann mit der Durchsatz Performance über die Infrastruktur sauber vergleichen lässt.
Einfacher gehts nicht... face-wink