Upload-Problem
Hallo zusammen,
ich habe ein - so wie ich finde - etwas seltsames Problem und zergrübel mir im Moment den Kopf.
Und zwar betreibe ich ein kleines Homelab, welches einen Mikrotik CCR & CRS und 2 Storage-Server enthaltet - Diese sind jeweils via Bonding mit 2x 10G SFP+ LWL verbunden. Auf dem Switch hängen die Storage-Server.
(jeweils Bonding 802.3ad mit mii & layer 2+3 Hash-Policy)
Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
Habe nun ziemlich viel probiert und nachgedacht - was mir noch aufgefallen ist, die packets/s weichen, wenn ich mir das Bonding am Router & am Switch zeitgleich ansehe, stark ab.
Das Switch sendet bspw. 6.000 Pakete weg, am Router kommen nur 2.000 an.
Hatte ursprünglich die MTU im Verdacht, die ist aber überall vom MikroTik auf 1500 vorkonfiguriert.
Verbindungsabbrüche o.ä. gibt es keine, nur die Sache mit der Bandbreite - Außenanbindung ist 1000Mbit - Diese habe ich am Router vollständig, am Switch ist der Download mit 1Gbit voll verfügbar, aber auch der Upload wieder mit ca. 350 Mbit/s eingeschränkt.
Man sollte ggf noch dazu sagen, dass die Verbindung unter den beiden Backup-Servern bestens funktioniert, hier sind 3 Gbit/s kein Problem, hier sind wohl die HDD´s/Cache der Falschenhals.
Hat jemand einen Lösungsvorschlag für mich bzw. hatte das Problem schon mal jemand?
Bin für jede Hilfe dankbar.
ich habe ein - so wie ich finde - etwas seltsames Problem und zergrübel mir im Moment den Kopf.
Und zwar betreibe ich ein kleines Homelab, welches einen Mikrotik CCR & CRS und 2 Storage-Server enthaltet - Diese sind jeweils via Bonding mit 2x 10G SFP+ LWL verbunden. Auf dem Switch hängen die Storage-Server.
(jeweils Bonding 802.3ad mit mii & layer 2+3 Hash-Policy)
Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
Habe nun ziemlich viel probiert und nachgedacht - was mir noch aufgefallen ist, die packets/s weichen, wenn ich mir das Bonding am Router & am Switch zeitgleich ansehe, stark ab.
Das Switch sendet bspw. 6.000 Pakete weg, am Router kommen nur 2.000 an.
Hatte ursprünglich die MTU im Verdacht, die ist aber überall vom MikroTik auf 1500 vorkonfiguriert.
Verbindungsabbrüche o.ä. gibt es keine, nur die Sache mit der Bandbreite - Außenanbindung ist 1000Mbit - Diese habe ich am Router vollständig, am Switch ist der Download mit 1Gbit voll verfügbar, aber auch der Upload wieder mit ca. 350 Mbit/s eingeschränkt.
Man sollte ggf noch dazu sagen, dass die Verbindung unter den beiden Backup-Servern bestens funktioniert, hier sind 3 Gbit/s kein Problem, hier sind wohl die HDD´s/Cache der Falschenhals.
Hat jemand einen Lösungsvorschlag für mich bzw. hatte das Problem schon mal jemand?
Bin für jede Hilfe dankbar.
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 6246710295
Url: https://administrator.de/contentid/6246710295
Ausgedruckt am: 19.11.2024 um 02:11 Uhr
9 Kommentare
Neuester Kommentar
Moin...
Und zwar betreibe ich ein kleines Homelab, welches einen Mikrotik CCR & CRS und 2 Storage-Server enthaltet - Diese sind jeweils via Bonding mit 2x 10G SFP+ LWL verbunden. Auf dem Switch hängen die Storage-Server.
(jeweils Bonding 802.3ad mit mii & layer 2+3 Hash-Policy)
hast du mal alles ohne Bonding geprüft?
was ist das für ein Storage Server, wie sind die 10GBit eingerichtet, hast du Jumbo Frames mit 9000 Bytes ein gerichtet?
hast du auf deinem Server genug Lanes frei, kann die 10Gbit Karte überhaubt voll arbeiten?
kann der Server 1 Gbyte verarbeiten?
Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
das MikroTik Bandwidth Tool ist CPU lastig, teste das mal nicht so, sondern extern.
mit was sfp+ für Komponenten arbeitest du?
was ist das für ein Router?
Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
upload wohin?
Habe nun ziemlich viel probiert und nachgedacht - was mir noch aufgefallen ist, die packets/s weichen, wenn ich mir das Bonding am Router & am Switch zeitgleich ansehe, stark ab.
Das Switch sendet bspw. 6.000 Pakete weg, am Router kommen nur 2.000 an.
Hatte ursprünglich die MTU im Verdacht, die ist aber überall vom MikroTik auf 1500 vorkonfiguriert.
hast du mal in der Statistik von dem Interface nachgesehen, ob da paketverluste sind?
Verbindungsabbrüche o.ä. gibt es keine, nur die Sache mit der Bandbreite - Außenanbindung ist 1000Mbit - Diese habe ich am Router vollständig, am Switch ist der Download mit 1Gbit voll verfügbar, aber auch der Upload wieder mit ca. 350 Mbit/s eingeschränkt.
was ist das für ein Router, upload wohin genau?
was ist das für eine Leitung genau, syncron oder asyncron?
Man sollte ggf noch dazu sagen, dass die Verbindung unter den beiden Backup-Servern bestens funktioniert, hier sind 3 Gbit/s kein Problem, hier sind wohl die HDD´s/Cache der Falschenhals.
ja... das wird es wohl sein
Hat jemand einen Lösungsvorschlag für mich bzw. hatte das Problem schon mal jemand?
Bin für jede Hilfe dankbar.
Frank
Zitat von @tommy98:
Hallo zusammen,
ich habe ein - so wie ich finde - etwas seltsames Problem und zergrübel mir im Moment den Kopf.
huch...Hallo zusammen,
ich habe ein - so wie ich finde - etwas seltsames Problem und zergrübel mir im Moment den Kopf.
Und zwar betreibe ich ein kleines Homelab, welches einen Mikrotik CCR & CRS und 2 Storage-Server enthaltet - Diese sind jeweils via Bonding mit 2x 10G SFP+ LWL verbunden. Auf dem Switch hängen die Storage-Server.
(jeweils Bonding 802.3ad mit mii & layer 2+3 Hash-Policy)
was ist das für ein Storage Server, wie sind die 10GBit eingerichtet, hast du Jumbo Frames mit 9000 Bytes ein gerichtet?
hast du auf deinem Server genug Lanes frei, kann die 10Gbit Karte überhaubt voll arbeiten?
kann der Server 1 Gbyte verarbeiten?
Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
mit was sfp+ für Komponenten arbeitest du?
was ist das für ein Router?
Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
Habe nun ziemlich viel probiert und nachgedacht - was mir noch aufgefallen ist, die packets/s weichen, wenn ich mir das Bonding am Router & am Switch zeitgleich ansehe, stark ab.
Das Switch sendet bspw. 6.000 Pakete weg, am Router kommen nur 2.000 an.
Hatte ursprünglich die MTU im Verdacht, die ist aber überall vom MikroTik auf 1500 vorkonfiguriert.
Verbindungsabbrüche o.ä. gibt es keine, nur die Sache mit der Bandbreite - Außenanbindung ist 1000Mbit - Diese habe ich am Router vollständig, am Switch ist der Download mit 1Gbit voll verfügbar, aber auch der Upload wieder mit ca. 350 Mbit/s eingeschränkt.
was ist das für eine Leitung genau, syncron oder asyncron?
Man sollte ggf noch dazu sagen, dass die Verbindung unter den beiden Backup-Servern bestens funktioniert, hier sind 3 Gbit/s kein Problem, hier sind wohl die HDD´s/Cache der Falschenhals.
Hat jemand einen Lösungsvorschlag für mich bzw. hatte das Problem schon mal jemand?
Bin für jede Hilfe dankbar.
Frank
Deutlich sinnvoller wäre wenn du auf den Endgeräten mit iPerf3 misst:
https://iperf.fr/iperf-download.php
Diese Werte sind erheblich aussagekräftiger, da sie auch direkt auf den beteiligten Komponenten gemacht werden, als die meist nichtssagenden onboard Tools der Infrastruktur.
Jumbo Framing zu aktivieren ist bei 10Gig und höher Pflicht.
Bedenke auch das 10Gig mit RJ-45 (10G-BaseT) nicht die volle Bandbreite garantiert, sondern immer je nach Kabelqualität aushandelt. In einem Server Umfeld wo es auf verlässliche Bandbreite ankommt ist 10G RJ-45 keine gute Idee und eher kontraproduktiv, da immer Negotiation Verfahren. Wenn, klappt das immer nur auf sehr kurzen Strecken mit sehr guten Kabeln.
Deutlich besser ist dann immer eine Verkabelung mit DAC/Twinax Kabeln oder AON Kabeln die immer eine feste, verlässliche 10G Bandbreite garantieren. Das nur am Rande...
Was du auch nicht gesagt hast: Misst du in einer reinen Layer2 Infrastruktur auf Mac Basis oder ist das gerouteter Traffic?
Wenn deine Server oder Storage Server Windows basierend sind kennst du vermutlich auch deren Durchsatz Problematiken bei 10Gig NICs und höher?!
Wie man das Windows 10 und 11 TCP-Handling wieder desuboptimieren kann
https://iperf.fr/iperf-download.php
Diese Werte sind erheblich aussagekräftiger, da sie auch direkt auf den beteiligten Komponenten gemacht werden, als die meist nichtssagenden onboard Tools der Infrastruktur.
Jumbo Framing zu aktivieren ist bei 10Gig und höher Pflicht.
Bedenke auch das 10Gig mit RJ-45 (10G-BaseT) nicht die volle Bandbreite garantiert, sondern immer je nach Kabelqualität aushandelt. In einem Server Umfeld wo es auf verlässliche Bandbreite ankommt ist 10G RJ-45 keine gute Idee und eher kontraproduktiv, da immer Negotiation Verfahren. Wenn, klappt das immer nur auf sehr kurzen Strecken mit sehr guten Kabeln.
Deutlich besser ist dann immer eine Verkabelung mit DAC/Twinax Kabeln oder AON Kabeln die immer eine feste, verlässliche 10G Bandbreite garantieren. Das nur am Rande...
Was du auch nicht gesagt hast: Misst du in einer reinen Layer2 Infrastruktur auf Mac Basis oder ist das gerouteter Traffic?
Wenn deine Server oder Storage Server Windows basierend sind kennst du vermutlich auch deren Durchsatz Problematiken bei 10Gig NICs und höher?!
Wie man das Windows 10 und 11 TCP-Handling wieder desuboptimieren kann
Ist der Thread jetzt gelöst, weil gelöst geklickt ?? Was war denn die Lösung?
Ansonsten ist 200 Mbit/s bei 10Gig Links ja eher ein mehr als mickriger Wert.
Wäre auch für 1Gig NICs mehr als mickrig.
Nochmals die Fragen:
Ansonsten ist 200 Mbit/s bei 10Gig Links ja eher ein mehr als mickriger Wert.
Wäre auch für 1Gig NICs mehr als mickrig.
Nochmals die Fragen:
- IPerf3 mit TCP oder UDP Encapsulation gemessen?
- Layer 2 oder Layer 3?
- Jumbo Framing aktiviert?
- Mal die beiden iPerf3 Endgeräte direkt mit ihren NICs back to back verbunden um mal einen Vergleichswert zu haben was die nur nackt mit ihren eigenen NICs überhaupt bringen? Sprich ob die NICs der limitierende Faktor sind oder die Infrastruktur.
Jetzt zum Problem - Zwischen Router & Switch bekomme ich - gemessen mit MikroTik Bandwidth Tool via udp 1Gbit, mit tcp nur 450Mbit/s - Das ist schon die erste seltsame Sache, warum nicht die vollen 10G? tcp knickt mit 450Mbit & 100% Switch-CPU Leistung voll ein, obwohl bereits ein überdimensioniertes Gerät verwendet wird (CRS317-16S+)
Diesen Teil können wir wohl als gelöst ansehen. Mikrotik weist wirklich in jeder Publikation darauf hin, dass man so nicht messen soll. Ist oben ja schon behandelt.Das eigentliche Problem ist allerdings der Upload - Ich bekomme beim Download von extern - also von Switch-Perspektive - nur ca. 75Mbit/s (keine erhöhte CPU-Auslastung)
Entweder verkonfiguriert oder der physische Link zwischen den Geräten funktioniert nicht. Hier kann bei der Klärung, wie so oft, vielleicht ein Wireshark-Trace helfen Viele Grüße, commodity
Oder der TE ist, wie ausnahmslos alle, einfach Opfer von Windows 10 und 11 https://www.borncity.com/blog/2023/02/21/windows-10-11-versteckte-netzwe ...
Hier kann bei der Klärung, wie so oft, vielleicht ein Wireshark-Trace helfen
Der Aufwand ist gar nicht nötig... Einfach die beiden Testrechner mit einem Kabel Rücken an Rücken direkt über ihre NICs verbinden und dann nochmal messen.So hat man einen wasserdichten Vergleichswert was die Gerät mit ihrer NIC Hardware überhaupt schaffen.
So hat man einen festen Referenzwert der sich dann mit der Durchsatz Performance über die Infrastruktur sauber vergleichen lässt.
Einfacher gehts nicht...