10
10G Netzwerk mit Server 2019 und Intel NIC, Treibereinstellungen?
Servus,
frage: Beim einem Server mit einer Intel x550-T2 Netzwerkkarte, also dual 10Gbs Port Karte, und MS Server 2019 als OS - stellt ihr da noch irgendwas besonderes ein nachdem die neusten Intel Netzwerktreiber installiert sind?
RSS Prozessoren, TCP Offloading, RSC, Flusssteuerung, Interrupt Drosselung, Prüfsummenabladung,... Da gibts ja unmengen an einstellungen in den Netzwerktreiber, und mir scheinen einige einstellungen mit den Standardwerten die der Treiber so einstellt, nicht ganz richtig zu sein bei einer 10G anbindung...
gerade die RSS Start CPUs, und anzahl der Cores, oder Numa Knoten,...
Beide Ports werden über ein SET Team zusammen gefasst.
Daher frage ich euch da draußen wie ihr das handelt bzw. was ihr nachträglich noch so einstellt?
frage: Beim einem Server mit einer Intel x550-T2 Netzwerkkarte, also dual 10Gbs Port Karte, und MS Server 2019 als OS - stellt ihr da noch irgendwas besonderes ein nachdem die neusten Intel Netzwerktreiber installiert sind?
RSS Prozessoren, TCP Offloading, RSC, Flusssteuerung, Interrupt Drosselung, Prüfsummenabladung,... Da gibts ja unmengen an einstellungen in den Netzwerktreiber, und mir scheinen einige einstellungen mit den Standardwerten die der Treiber so einstellt, nicht ganz richtig zu sein bei einer 10G anbindung...
gerade die RSS Start CPUs, und anzahl der Cores, oder Numa Knoten,...
Beide Ports werden über ein SET Team zusammen gefasst.
Daher frage ich euch da draußen wie ihr das handelt bzw. was ihr nachträglich noch so einstellt?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 792556535
Url: https://administrator.de/contentid/792556535
Printed on: May 7, 2024 at 19:05 o'clock
10 Comments
Latest comment
Bei MS immer messen ob da auch wirklich 10G rauskommt...!! 😉
10 gb Netzwerk deutlich zu langsam
10 gb Netzwerk deutlich zu langsam
Ich denke nicht, dass es ein generelles Windows Problem ist...denn mit eingerichtetem Failover Cluster lastet er beim Live Migrieren die 10G karten mit 9.9Gbs nahezu voll aus - selbe netzwerkkarte, selber Treiber, allerdings nutzt ich zum Live Migrieren das TCP Komprimiert system statt SMD direkt, weil meine karten kein RDMA / iWARP haben.
auch mein Storage schiebt mit über 5000MB/s ausreichend schnell die daten (auch Schreibend)
auch mein Storage schiebt mit über 5000MB/s ausreichend schnell die daten (auch Schreibend)
Moin Assassin,
uii, Server 2019 und seine legendäre Netzwerkperformance.
Dazu habe ich gefühlt schon diverseste Romane geschrieben, 🤪
https://community.spiceworks.com/topic/2225989-server-2019-network-perfo ...
https://community.spiceworks.com/topic/2282473-the-real-disaster-behind- ...
und auch eine aktuelle Umfrage am laufen.
https://community.spiceworks.com/topic/2317361-satisfaction-survey-regar ...
Wenn du an der NIC nichts einstellst, dann spielst du mit der Netzwerkperformance des Servers 2019 quasi russischen Roulette.
Bei grossen einseitigen sequentiellen Datenübertragungen wie z.B. 4K Youtube Filmchen streamen, oder grosse Dateien per SMB durch die gegend schupsen, wirst du ohne Optimierungen wahrscheinlich keine grossen Probleme haben.
Wenn dein Primärworkload jedoch aus kleinen Transaktionen besteht, die so schnell wie möglich quittiert werden müssen, dann wirst du ohne Feintuning nur Frust ernten.
👍👍👍 das hast du absolut korrekt erkannt.
Was möchtest du am Ende des Tages haben, einen hohen Durchsatz der dafür aber eher etwas träger durch die Leitung flitzt?
Oder ist es dir wichtig, dass jegliches Netzwerkpaket so schnell wie möglich von A nach B kommt, sprich eine geringe Latenz vor Durchsatz?
Beste Grüsse aus BaWü
Alex
uii, Server 2019 und seine legendäre Netzwerkperformance.
Dazu habe ich gefühlt schon diverseste Romane geschrieben, 🤪
https://community.spiceworks.com/topic/2225989-server-2019-network-perfo ...
https://community.spiceworks.com/topic/2282473-the-real-disaster-behind- ...
und auch eine aktuelle Umfrage am laufen.
https://community.spiceworks.com/topic/2317361-satisfaction-survey-regar ...
frage: Beim einem Server mit einer Intel x550-T2 Netzwerkkarte, also dual 10Gbs Port Karte, und MS Server 2019 als OS - stellt ihr da noch irgendwas besonderes ein nachdem die neusten Intel Netzwerktreiber installiert sind?
Wenn du an der NIC nichts einstellst, dann spielst du mit der Netzwerkperformance des Servers 2019 quasi russischen Roulette.
Bei grossen einseitigen sequentiellen Datenübertragungen wie z.B. 4K Youtube Filmchen streamen, oder grosse Dateien per SMB durch die gegend schupsen, wirst du ohne Optimierungen wahrscheinlich keine grossen Probleme haben.
Wenn dein Primärworkload jedoch aus kleinen Transaktionen besteht, die so schnell wie möglich quittiert werden müssen, dann wirst du ohne Feintuning nur Frust ernten.
RSS Prozessoren, TCP Offloading, RSC, Flusssteuerung, Interrupt Drosselung, Prüfsummenabladung,... Da gibts ja unmengen an einstellungen in den Netzwerktreiber, und mir scheinen einige einstellungen mit den Standardwerten die der Treiber so einstellt, nicht ganz richtig zu sein bei einer 10G anbindung...
👍👍👍 das hast du absolut korrekt erkannt.
gerade die RSS Start CPUs, und anzahl der Cores, oder Numa Knoten,...
https://community.spiceworks.com/topic/post/8845561 🙃Beide Ports werden über ein SET Team zusammen gefasst.
👍, dagegen ist nichts einzuwenden.Daher frage ich euch da draußen wie ihr das handelt bzw. was ihr nachträglich noch so einstellt?
Was möchtest du am Ende des Tages haben, einen hohen Durchsatz der dafür aber eher etwas träger durch die Leitung flitzt?
Oder ist es dir wichtig, dass jegliches Netzwerkpaket so schnell wie möglich von A nach B kommt, sprich eine geringe Latenz vor Durchsatz?
Beste Grüsse aus BaWü
Alex
1
Moin Assassin,
mach mal bei dir bitte den folgenden iperf3 Test.
und mit dem folgenden einfach dasselbe in die andere Richtung
oder
und
"192.168.0.100" muss natürlich gegen die IP deines Zielservers getauscht werden.
Ergebnis ???
Beste Grüsse aus BaWü
Alex
mach mal bei dir bitte den folgenden iperf3 Test.
iperf3 -c 192.168.0.100 -4 -fk -P1 -l4b -t20iperf3 -c 192.168.0.100 -4 -fk -P1 -l4b -t20 -Roder
iperf3 -c 192.168.0.100 -4 -fk -P1 -l2920 -t20iperf3 -c 192.168.0.100 -4 -fk -P1 -l2920 -t20 -R"192.168.0.100" muss natürlich gegen die IP deines Zielservers getauscht werden.
Ergebnis ???
Beste Grüsse aus BaWü
Alex
kann ich erst nächste woche machen die Tests.
Aber mir geht es hier in dem beispiel um das Kopieren großer Dateien (VHDX Container) - und das ist sehr nervig wenn das nur mit 200-300MB/s rum krebst...
und wegen RSS CPU zuordnung...da hatten wir auch schonmal mit einander geschrieben: Hyper V Server 2019, Gast Server 2016, Intel X722, langsame ext. Netzwerkanbindung
Aber mir geht es hier in dem beispiel um das Kopieren großer Dateien (VHDX Container) - und das ist sehr nervig wenn das nur mit 200-300MB/s rum krebst...
und wegen RSS CPU zuordnung...da hatten wir auch schonmal mit einander geschrieben: Hyper V Server 2019, Gast Server 2016, Intel X722, langsame ext. Netzwerkanbindung
Moin Assassin,
an dem Problem arbeite ich gerade, komme jedoch mangels Zeit momentan nicht wirklich vorwärts. ☹
Ich habe es die letzten Wochen/Monate mit sehr viel Mühe zumindest schon mal hinbekommen, dass ein 2019er Server ohne Hyper-V eine sehr guten TCP Performance an den Tag bring, die einem 2012R2 oder einem 2016 nicht nachsteht, im Gegenteil. 😀
Jedoch ist „Bare Metale“ das eine und Virtualisierung ist nochmal etwas anderes, respektive um einiges komplizierter. Ich kann dir dieses Phänomen bestätigen und habe +- auch schon eine Ahnung woran das liegt (geht in Richtung RSS, VMQ, VRSS 😉).
Den ganzen Schlamassel haben meiner Ansicht nach nicht nur die NIC Hersteller mit sehr fragwürdigen Standardeinstellungen verursacht, sondern auch Microsoft, insbesondere mit deren absolut logischen Dokumentationen.
Folgend ein Beispiel:
Laut der folgenden Dokumentation ist RSS nicht kompatibel zu VMQ und SR-IOV.
https://docs.microsoft.com/en-us/windows-hardware/drivers/network/handli ...
Und jetzt lies dir mal die folgende Doku durch.
https://docs.microsoft.com/de-de/windows-server/networking/technologies/ ...
😬😵😠😡👿
Mir kam dein Nick gleich etwas bekannt vor. 😁
Beste Grüsse aus BaWü
Alex
Aber mir geht es hier in dem beispiel um das Kopieren großer Dateien (VHDX Container) - und das ist sehr nervig wenn das nur mit 200-300MB/s rum krebst...
an dem Problem arbeite ich gerade, komme jedoch mangels Zeit momentan nicht wirklich vorwärts. ☹
Ich habe es die letzten Wochen/Monate mit sehr viel Mühe zumindest schon mal hinbekommen, dass ein 2019er Server ohne Hyper-V eine sehr guten TCP Performance an den Tag bring, die einem 2012R2 oder einem 2016 nicht nachsteht, im Gegenteil. 😀
Jedoch ist „Bare Metale“ das eine und Virtualisierung ist nochmal etwas anderes, respektive um einiges komplizierter. Ich kann dir dieses Phänomen bestätigen und habe +- auch schon eine Ahnung woran das liegt (geht in Richtung RSS, VMQ, VRSS 😉).
Den ganzen Schlamassel haben meiner Ansicht nach nicht nur die NIC Hersteller mit sehr fragwürdigen Standardeinstellungen verursacht, sondern auch Microsoft, insbesondere mit deren absolut logischen Dokumentationen.
Folgend ein Beispiel:
Laut der folgenden Dokumentation ist RSS nicht kompatibel zu VMQ und SR-IOV.
https://docs.microsoft.com/en-us/windows-hardware/drivers/network/handli ...
Und jetzt lies dir mal die folgende Doku durch.
https://docs.microsoft.com/de-de/windows-server/networking/technologies/ ...
😬😵😠😡👿
und wegen RSS CPU zuordnung...da hatten wir auch schonmal mit einander geschrieben:
Hyper V Server 2019, Gast Server 2016, Intel X722, langsame ext. Netzwerkanbindung
Hyper V Server 2019, Gast Server 2016, Intel X722, langsame ext. Netzwerkanbindung
Mir kam dein Nick gleich etwas bekannt vor. 😁
Beste Grüsse aus BaWü
Alex
nur die NIC Hersteller mit sehr fragwürdigen Standardeinstellungen verursacht
Kann man so pauschalisiert ja nicht sagen, denn zumindestens unter Linux machen so gut wie alle dieser Karten Wirespeed. Und das "out of the box" wie man es ja auch erwartet und ganz OHNE diese unendlichen Frickeleien am Treiber.
Moin aqui,
doch, genau das ist der Knackpunkt. ☹
Unter Linux hast du größtenteils ganz andere Standardeinstellungen wie unter Windows und es sind zum Teil auch ganz andere TCP Features auf den NIC's verfügbar. Microsoft TCP ist (leider oder auch zum Glück) nicht gleich Linux TCP. 😉
Beste Grüsse aus BaWü
Alex
nur die NIC Hersteller mit sehr fragwürdigen Standardeinstellungen verursacht
Kann man so pauschalisiert ja nicht sagen, denn zumindestens unter Linux machen so gut wie alle dieser Karten Wirespeed. Und das "out of the box" wie man es ja auch erwartet und ganz OHNE diese unendlichen Frickeleien am Treiber.doch, genau das ist der Knackpunkt. ☹
Unter Linux hast du größtenteils ganz andere Standardeinstellungen wie unter Windows und es sind zum Teil auch ganz andere TCP Features auf den NIC's verfügbar. Microsoft TCP ist (leider oder auch zum Glück) nicht gleich Linux TCP. 😉
Beste Grüsse aus BaWü
Alex
Hab jetzt mal ein paar iPerf tests gemacht. Konstellatiion ist folgende:
Server1 (192.168.31.1) ist ein Server 2019 mit HyperV Rolle, ist mit 2x 10G ports (intel x550-T2) am Switch angebunden, die beiden Karten sind ein "normales" LBFO Team, über LACP (ist auch am Switch konfiguriert). Server 2 (192.168.31.2) hat nur eine single Intel X540-T1 10G karte, ist ein Server 2012R2 ohne HyperV.
Beide Server hängen am selben Switch
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l4b -t20
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65325 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 726 KBytes 5948 Kbits/sec
[ 4] 1.00-2.01 sec 180 KBytes 1465 Kbits/sec
[ 4] 2.01-3.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 3.01-4.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 4.01-5.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 5.01-6.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 6.01-7.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 7.01-8.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 8.01-9.00 sec 53.8 KBytes 444 Kbits/sec
[ 4] 9.00-10.01 sec 154 KBytes 1252 Kbits/sec
[ 4] 10.01-11.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 11.01-12.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 12.01-13.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 13.01-14.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 14.01-15.00 sec 68.3 KBytes 565 Kbits/sec
[ 4] 15.00-16.01 sec 140 KBytes 1134 Kbits/sec
[ 4] 16.01-17.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 17.01-18.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 18.01-19.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 19.01-20.01 sec 54.1 KBytes 443 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.01 sec 2.16 MBytes 904 Kbits/sec sender
[ 4] 0.00-20.01 sec 1.53 MBytes 640 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l4b -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65331 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 1.00-2.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 2.00-3.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 3.00-4.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 4.00-5.00 sec 223 KBytes 1830 Kbits/sec
[ 4] 5.00-6.00 sec 224 KBytes 1832 Kbits/sec
[ 4] 6.00-7.00 sec 224 KBytes 1837 Kbits/sec
[ 4] 7.00-8.00 sec 225 KBytes 1839 Kbits/sec
[ 4] 8.00-9.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 9.00-10.00 sec 225 KBytes 1845 Kbits/sec
[ 4] 10.00-11.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 11.00-12.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 12.00-13.00 sec 224 KBytes 1834 Kbits/sec
[ 4] 13.00-14.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 14.00-15.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 15.00-16.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 16.00-17.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 17.00-18.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 18.00-19.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 19.00-20.00 sec 223 KBytes 1826 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 5.01 MBytes 2102 Kbits/sec sender
[ 4] 0.00-20.00 sec 4.35 MBytes 1827 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l2920 -t20
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65351 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 54.1 MBytes 453697 Kbits/sec
[ 4] 1.00-2.00 sec 53.9 MBytes 452206 Kbits/sec
[ 4] 2.00-3.00 sec 53.7 MBytes 450737 Kbits/sec
[ 4] 3.00-4.00 sec 54.0 MBytes 452891 Kbits/sec
[ 4] 4.00-5.00 sec 54.2 MBytes 454332 Kbits/sec
[ 4] 5.00-6.00 sec 54.1 MBytes 453951 Kbits/sec
[ 4] 6.00-7.00 sec 54.1 MBytes 453754 Kbits/sec
[ 4] 7.00-8.00 sec 53.6 MBytes 449382 Kbits/sec
[ 4] 8.00-9.00 sec 53.7 MBytes 450798 Kbits/sec
[ 4] 9.00-10.00 sec 53.4 MBytes 447955 Kbits/sec
[ 4] 10.00-11.00 sec 54.1 MBytes 454065 Kbits/sec
[ 4] 11.00-12.00 sec 54.1 MBytes 453779 Kbits/sec
[ 4] 12.00-13.00 sec 53.7 MBytes 451133 Kbits/sec
[ 4] 13.00-14.00 sec 53.6 MBytes 449696 Kbits/sec
[ 4] 14.00-15.00 sec 53.0 MBytes 445102 Kbits/sec
[ 4] 15.00-16.00 sec 53.8 MBytes 451687 Kbits/sec
[ 4] 16.00-17.00 sec 54.0 MBytes 453343 Kbits/sec
[ 4] 17.00-18.00 sec 54.1 MBytes 453395 Kbits/sec
[ 4] 18.00-19.00 sec 54.0 MBytes 453119 Kbits/sec
[ 4] 19.00-20.00 sec 53.9 MBytes 452510 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 1.05 GBytes 451877 Kbits/sec sender
[ 4] 0.00-20.00 sec 1.05 GBytes 451626 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l2920 -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65371 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 142 MBytes 1188578 Kbits/sec
[ 4] 1.00-2.00 sec 140 MBytes 1172388 Kbits/sec
[ 4] 2.00-3.00 sec 141 MBytes 1186963 Kbits/sec
[ 4] 3.00-4.00 sec 141 MBytes 1181611 Kbits/sec
[ 4] 4.00-5.00 sec 143 MBytes 1196913 Kbits/sec
[ 4] 5.00-6.00 sec 142 MBytes 1192327 Kbits/sec
[ 4] 6.00-7.00 sec 142 MBytes 1189432 Kbits/sec
[ 4] 7.00-8.00 sec 141 MBytes 1184583 Kbits/sec
[ 4] 8.00-9.00 sec 140 MBytes 1178248 Kbits/sec
[ 4] 9.00-10.00 sec 141 MBytes 1179900 Kbits/sec
[ 4] 10.00-11.00 sec 141 MBytes 1181983 Kbits/sec
[ 4] 11.00-12.00 sec 141 MBytes 1185790 Kbits/sec
[ 4] 12.00-13.00 sec 142 MBytes 1187765 Kbits/sec
[ 4] 13.00-14.00 sec 142 MBytes 1192145 Kbits/sec
[ 4] 14.00-15.00 sec 141 MBytes 1181064 Kbits/sec
[ 4] 15.00-16.00 sec 140 MBytes 1172346 Kbits/sec
[ 4] 16.00-17.00 sec 141 MBytes 1182497 Kbits/sec
[ 4] 17.00-18.00 sec 141 MBytes 1185144 Kbits/sec
[ 4] 18.00-19.00 sec 140 MBytes 1177417 Kbits/sec
[ 4] 19.00-20.00 sec 142 MBytes 1187281 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 2.76 GBytes 1184505 Kbits/sec sender
[ 4] 0.00-20.00 sec 2.76 GBytes 1184427 Kbits/sec receive
das sieht schon ziemlich Traurig aus
er geht definitiv über die 10G Karte vom Server2 und dem 10G Team auf Server1 aber eben nicht sonderlich schnell. Beim reinen Datei Kopieren krebst der bei um die 250MB/s rum
Server1 (192.168.31.1) ist ein Server 2019 mit HyperV Rolle, ist mit 2x 10G ports (intel x550-T2) am Switch angebunden, die beiden Karten sind ein "normales" LBFO Team, über LACP (ist auch am Switch konfiguriert). Server 2 (192.168.31.2) hat nur eine single Intel X540-T1 10G karte, ist ein Server 2012R2 ohne HyperV.
Beide Server hängen am selben Switch
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l4b -t20
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65325 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 726 KBytes 5948 Kbits/sec
[ 4] 1.00-2.01 sec 180 KBytes 1465 Kbits/sec
[ 4] 2.01-3.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 3.01-4.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 4.01-5.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 5.01-6.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 6.01-7.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 7.01-8.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 8.01-9.00 sec 53.8 KBytes 444 Kbits/sec
[ 4] 9.00-10.01 sec 154 KBytes 1252 Kbits/sec
[ 4] 10.01-11.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 11.01-12.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 12.01-13.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 13.01-14.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 14.01-15.00 sec 68.3 KBytes 565 Kbits/sec
[ 4] 15.00-16.01 sec 140 KBytes 1134 Kbits/sec
[ 4] 16.01-17.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 17.01-18.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 18.01-19.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 19.01-20.01 sec 54.1 KBytes 443 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.01 sec 2.16 MBytes 904 Kbits/sec sender
[ 4] 0.00-20.01 sec 1.53 MBytes 640 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l4b -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65331 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 1.00-2.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 2.00-3.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 3.00-4.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 4.00-5.00 sec 223 KBytes 1830 Kbits/sec
[ 4] 5.00-6.00 sec 224 KBytes 1832 Kbits/sec
[ 4] 6.00-7.00 sec 224 KBytes 1837 Kbits/sec
[ 4] 7.00-8.00 sec 225 KBytes 1839 Kbits/sec
[ 4] 8.00-9.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 9.00-10.00 sec 225 KBytes 1845 Kbits/sec
[ 4] 10.00-11.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 11.00-12.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 12.00-13.00 sec 224 KBytes 1834 Kbits/sec
[ 4] 13.00-14.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 14.00-15.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 15.00-16.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 16.00-17.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 17.00-18.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 18.00-19.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 19.00-20.00 sec 223 KBytes 1826 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 5.01 MBytes 2102 Kbits/sec sender
[ 4] 0.00-20.00 sec 4.35 MBytes 1827 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l2920 -t20
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65351 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 54.1 MBytes 453697 Kbits/sec
[ 4] 1.00-2.00 sec 53.9 MBytes 452206 Kbits/sec
[ 4] 2.00-3.00 sec 53.7 MBytes 450737 Kbits/sec
[ 4] 3.00-4.00 sec 54.0 MBytes 452891 Kbits/sec
[ 4] 4.00-5.00 sec 54.2 MBytes 454332 Kbits/sec
[ 4] 5.00-6.00 sec 54.1 MBytes 453951 Kbits/sec
[ 4] 6.00-7.00 sec 54.1 MBytes 453754 Kbits/sec
[ 4] 7.00-8.00 sec 53.6 MBytes 449382 Kbits/sec
[ 4] 8.00-9.00 sec 53.7 MBytes 450798 Kbits/sec
[ 4] 9.00-10.00 sec 53.4 MBytes 447955 Kbits/sec
[ 4] 10.00-11.00 sec 54.1 MBytes 454065 Kbits/sec
[ 4] 11.00-12.00 sec 54.1 MBytes 453779 Kbits/sec
[ 4] 12.00-13.00 sec 53.7 MBytes 451133 Kbits/sec
[ 4] 13.00-14.00 sec 53.6 MBytes 449696 Kbits/sec
[ 4] 14.00-15.00 sec 53.0 MBytes 445102 Kbits/sec
[ 4] 15.00-16.00 sec 53.8 MBytes 451687 Kbits/sec
[ 4] 16.00-17.00 sec 54.0 MBytes 453343 Kbits/sec
[ 4] 17.00-18.00 sec 54.1 MBytes 453395 Kbits/sec
[ 4] 18.00-19.00 sec 54.0 MBytes 453119 Kbits/sec
[ 4] 19.00-20.00 sec 53.9 MBytes 452510 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 1.05 GBytes 451877 Kbits/sec sender
[ 4] 0.00-20.00 sec 1.05 GBytes 451626 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l2920 -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65371 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 142 MBytes 1188578 Kbits/sec
[ 4] 1.00-2.00 sec 140 MBytes 1172388 Kbits/sec
[ 4] 2.00-3.00 sec 141 MBytes 1186963 Kbits/sec
[ 4] 3.00-4.00 sec 141 MBytes 1181611 Kbits/sec
[ 4] 4.00-5.00 sec 143 MBytes 1196913 Kbits/sec
[ 4] 5.00-6.00 sec 142 MBytes 1192327 Kbits/sec
[ 4] 6.00-7.00 sec 142 MBytes 1189432 Kbits/sec
[ 4] 7.00-8.00 sec 141 MBytes 1184583 Kbits/sec
[ 4] 8.00-9.00 sec 140 MBytes 1178248 Kbits/sec
[ 4] 9.00-10.00 sec 141 MBytes 1179900 Kbits/sec
[ 4] 10.00-11.00 sec 141 MBytes 1181983 Kbits/sec
[ 4] 11.00-12.00 sec 141 MBytes 1185790 Kbits/sec
[ 4] 12.00-13.00 sec 142 MBytes 1187765 Kbits/sec
[ 4] 13.00-14.00 sec 142 MBytes 1192145 Kbits/sec
[ 4] 14.00-15.00 sec 141 MBytes 1181064 Kbits/sec
[ 4] 15.00-16.00 sec 140 MBytes 1172346 Kbits/sec
[ 4] 16.00-17.00 sec 141 MBytes 1182497 Kbits/sec
[ 4] 17.00-18.00 sec 141 MBytes 1185144 Kbits/sec
[ 4] 18.00-19.00 sec 140 MBytes 1177417 Kbits/sec
[ 4] 19.00-20.00 sec 142 MBytes 1187281 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 2.76 GBytes 1184505 Kbits/sec sender
[ 4] 0.00-20.00 sec 2.76 GBytes 1184427 Kbits/sec receive
das sieht schon ziemlich Traurig aus
er geht definitiv über die 10G Karte vom Server2 und dem 10G Team auf Server1 aber eben nicht sonderlich schnell. Beim reinen Datei Kopieren krebst der bei um die 250MB/s rum
Main Assassin,
bei diesem Test geht es weniger um Durchsatz, das ist mit einer "Sequenzgrösse" von 4 Bytes auch etwas schwierig. 🙃 Hier ging es mir eher um zwei ganz andere wichtige Punkte.
1. Warum ist die Übertragung in Senderichtung so "stockend"? 🤔
2. Warum kannst du in die eine Richtung mit ~900KB/s senden und aus derselben Richtung mit ~2000KB/s empfangen. 🤔
(Die Antworten darauf kenne ich mittlerweile selbst und komme später noch auf diese zurück)
Auf hier dasselbe. In die eine Richtung fliessen die Daten mit ~50 Mbit/s und in die andere mit ~140 Mbit/s. 🤔
Mit den 250MB/s bist du gar nicht so schlecht aufgehoben, da habe ich schon viel furchtbarere Werte gesehen.
Setze mal bitte als nächstes deine Sendepuffer auf den 10G NIC’s auf 512K und die Empfangspuffer auf 4096 und dann wiederhole den Test. 😎
???
Ich würde echt gerne wissen, was sich der- oder diejenigen z.B. bei Intel gedacht hat/haben, als er/sie bei den 1G NIC’s die Sendepuffer standardmässig auf 512K und die Empfangspuffer auf 256K gesetzt haben. 😠
Wenn der Sendepuffer des Senders grösser ist als der Empfangspuffer des Empfängers, dann besteht insbesondere bei einer Übertragung vor grossen Datenmengen, eine extrem hohe Wahrscheinlichkeit, dass der Sender sprichwörtlich ständig den Empfänger überflutet. 😡
Wenn dann noch ein asynchroner Linkspeed dazukommt, z.B. Server (Sender) 10G und am besten mit Sendepuffer auf 4094K wie von Intel empfohlen, gegen einen Client mit 1G und 256K Empfangspuffer, dann kannst du per Wireshark, 1A den Client am ständigen absaufen beobachten. 🤪
RSC und LSO sind bei dir hoffentlich schon deaktiviert.
Beste Grüsse aus BaWü
Alex
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l4b -t20
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65325 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 726 KBytes 5948 Kbits/sec
[ 4] 1.00-2.01 sec 180 KBytes 1465 Kbits/sec
[ 4] 2.01-3.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 3.01-4.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 4.01-5.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 5.01-6.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 6.01-7.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 7.01-8.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 8.01-9.00 sec 53.8 KBytes 444 Kbits/sec
[ 4] 9.00-10.01 sec 154 KBytes 1252 Kbits/sec
[ 4] 10.01-11.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 11.01-12.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 12.01-13.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 13.01-14.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 14.01-15.00 sec 68.3 KBytes 565 Kbits/sec
[ 4] 15.00-16.01 sec 140 KBytes 1134 Kbits/sec
[ 4] 16.01-17.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 17.01-18.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 18.01-19.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 19.01-20.01 sec 54.1 KBytes 443 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.01 sec 2.16 MBytes 904 Kbits/sec sender
[ 4] 0.00-20.01 sec 1.53 MBytes 640 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l4b -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65331 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 1.00-2.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 2.00-3.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 3.00-4.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 4.00-5.00 sec 223 KBytes 1830 Kbits/sec
[ 4] 5.00-6.00 sec 224 KBytes 1832 Kbits/sec
[ 4] 6.00-7.00 sec 224 KBytes 1837 Kbits/sec
[ 4] 7.00-8.00 sec 225 KBytes 1839 Kbits/sec
[ 4] 8.00-9.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 9.00-10.00 sec 225 KBytes 1845 Kbits/sec
[ 4] 10.00-11.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 11.00-12.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 12.00-13.00 sec 224 KBytes 1834 Kbits/sec
[ 4] 13.00-14.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 14.00-15.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 15.00-16.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 16.00-17.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 17.00-18.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 18.00-19.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 19.00-20.00 sec 223 KBytes 1826 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 5.01 MBytes 2102 Kbits/sec sender
[ 4] 0.00-20.00 sec 4.35 MBytes 1827 Kbits/sec receiver
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65325 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 726 KBytes 5948 Kbits/sec
[ 4] 1.00-2.01 sec 180 KBytes 1465 Kbits/sec
[ 4] 2.01-3.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 3.01-4.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 4.01-5.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 5.01-6.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 6.01-7.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 7.01-8.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 8.01-9.00 sec 53.8 KBytes 444 Kbits/sec
[ 4] 9.00-10.01 sec 154 KBytes 1252 Kbits/sec
[ 4] 10.01-11.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 11.01-12.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 12.01-13.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 13.01-14.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 14.01-15.00 sec 68.3 KBytes 565 Kbits/sec
[ 4] 15.00-16.01 sec 140 KBytes 1134 Kbits/sec
[ 4] 16.01-17.01 sec 54.1 KBytes 443 Kbits/sec
[ 4] 17.01-18.01 sec 154 KBytes 1261 Kbits/sec
[ 4] 18.01-19.01 sec 0.00 Bytes 0.00 Kbits/sec
[ 4] 19.01-20.01 sec 54.1 KBytes 443 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.01 sec 2.16 MBytes 904 Kbits/sec sender
[ 4] 0.00-20.01 sec 1.53 MBytes 640 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l4b -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65331 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 1.00-2.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 2.00-3.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 3.00-4.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 4.00-5.00 sec 223 KBytes 1830 Kbits/sec
[ 4] 5.00-6.00 sec 224 KBytes 1832 Kbits/sec
[ 4] 6.00-7.00 sec 224 KBytes 1837 Kbits/sec
[ 4] 7.00-8.00 sec 225 KBytes 1839 Kbits/sec
[ 4] 8.00-9.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 9.00-10.00 sec 225 KBytes 1845 Kbits/sec
[ 4] 10.00-11.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 11.00-12.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 12.00-13.00 sec 224 KBytes 1834 Kbits/sec
[ 4] 13.00-14.00 sec 223 KBytes 1828 Kbits/sec
[ 4] 14.00-15.00 sec 220 KBytes 1800 Kbits/sec
[ 4] 15.00-16.00 sec 225 KBytes 1847 Kbits/sec
[ 4] 16.00-17.00 sec 223 KBytes 1825 Kbits/sec
[ 4] 17.00-18.00 sec 224 KBytes 1836 Kbits/sec
[ 4] 18.00-19.00 sec 220 KBytes 1803 Kbits/sec
[ 4] 19.00-20.00 sec 223 KBytes 1826 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 5.01 MBytes 2102 Kbits/sec sender
[ 4] 0.00-20.00 sec 4.35 MBytes 1827 Kbits/sec receiver
bei diesem Test geht es weniger um Durchsatz, das ist mit einer "Sequenzgrösse" von 4 Bytes auch etwas schwierig. 🙃 Hier ging es mir eher um zwei ganz andere wichtige Punkte.
1. Warum ist die Übertragung in Senderichtung so "stockend"? 🤔
2. Warum kannst du in die eine Richtung mit ~900KB/s senden und aus derselben Richtung mit ~2000KB/s empfangen. 🤔
(Die Antworten darauf kenne ich mittlerweile selbst und komme später noch auf diese zurück)
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l2920 -t20
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65351 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 54.1 MBytes 453697 Kbits/sec
[ 4] 1.00-2.00 sec 53.9 MBytes 452206 Kbits/sec
[ 4] 2.00-3.00 sec 53.7 MBytes 450737 Kbits/sec
[ 4] 3.00-4.00 sec 54.0 MBytes 452891 Kbits/sec
[ 4] 4.00-5.00 sec 54.2 MBytes 454332 Kbits/sec
[ 4] 5.00-6.00 sec 54.1 MBytes 453951 Kbits/sec
[ 4] 6.00-7.00 sec 54.1 MBytes 453754 Kbits/sec
[ 4] 7.00-8.00 sec 53.6 MBytes 449382 Kbits/sec
[ 4] 8.00-9.00 sec 53.7 MBytes 450798 Kbits/sec
[ 4] 9.00-10.00 sec 53.4 MBytes 447955 Kbits/sec
[ 4] 10.00-11.00 sec 54.1 MBytes 454065 Kbits/sec
[ 4] 11.00-12.00 sec 54.1 MBytes 453779 Kbits/sec
[ 4] 12.00-13.00 sec 53.7 MBytes 451133 Kbits/sec
[ 4] 13.00-14.00 sec 53.6 MBytes 449696 Kbits/sec
[ 4] 14.00-15.00 sec 53.0 MBytes 445102 Kbits/sec
[ 4] 15.00-16.00 sec 53.8 MBytes 451687 Kbits/sec
[ 4] 16.00-17.00 sec 54.0 MBytes 453343 Kbits/sec
[ 4] 17.00-18.00 sec 54.1 MBytes 453395 Kbits/sec
[ 4] 18.00-19.00 sec 54.0 MBytes 453119 Kbits/sec
[ 4] 19.00-20.00 sec 53.9 MBytes 452510 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 1.05 GBytes 451877 Kbits/sec sender
[ 4] 0.00-20.00 sec 1.05 GBytes 451626 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l2920 -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65371 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 142 MBytes 1188578 Kbits/sec
[ 4] 1.00-2.00 sec 140 MBytes 1172388 Kbits/sec
[ 4] 2.00-3.00 sec 141 MBytes 1186963 Kbits/sec
[ 4] 3.00-4.00 sec 141 MBytes 1181611 Kbits/sec
[ 4] 4.00-5.00 sec 143 MBytes 1196913 Kbits/sec
[ 4] 5.00-6.00 sec 142 MBytes 1192327 Kbits/sec
[ 4] 6.00-7.00 sec 142 MBytes 1189432 Kbits/sec
[ 4] 7.00-8.00 sec 141 MBytes 1184583 Kbits/sec
[ 4] 8.00-9.00 sec 140 MBytes 1178248 Kbits/sec
[ 4] 9.00-10.00 sec 141 MBytes 1179900 Kbits/sec
[ 4] 10.00-11.00 sec 141 MBytes 1181983 Kbits/sec
[ 4] 11.00-12.00 sec 141 MBytes 1185790 Kbits/sec
[ 4] 12.00-13.00 sec 142 MBytes 1187765 Kbits/sec
[ 4] 13.00-14.00 sec 142 MBytes 1192145 Kbits/sec
[ 4] 14.00-15.00 sec 141 MBytes 1181064 Kbits/sec
[ 4] 15.00-16.00 sec 140 MBytes 1172346 Kbits/sec
[ 4] 16.00-17.00 sec 141 MBytes 1182497 Kbits/sec
[ 4] 17.00-18.00 sec 141 MBytes 1185144 Kbits/sec
[ 4] 18.00-19.00 sec 140 MBytes 1177417 Kbits/sec
[ 4] 19.00-20.00 sec 142 MBytes 1187281 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 2.76 GBytes 1184505 Kbits/sec sender
[ 4] 0.00-20.00 sec 2.76 GBytes 1184427 Kbits/sec receive
Connecting to host 192.168.31.1, port 5201
[ 4] local 192.168.31.2 port 65351 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 54.1 MBytes 453697 Kbits/sec
[ 4] 1.00-2.00 sec 53.9 MBytes 452206 Kbits/sec
[ 4] 2.00-3.00 sec 53.7 MBytes 450737 Kbits/sec
[ 4] 3.00-4.00 sec 54.0 MBytes 452891 Kbits/sec
[ 4] 4.00-5.00 sec 54.2 MBytes 454332 Kbits/sec
[ 4] 5.00-6.00 sec 54.1 MBytes 453951 Kbits/sec
[ 4] 6.00-7.00 sec 54.1 MBytes 453754 Kbits/sec
[ 4] 7.00-8.00 sec 53.6 MBytes 449382 Kbits/sec
[ 4] 8.00-9.00 sec 53.7 MBytes 450798 Kbits/sec
[ 4] 9.00-10.00 sec 53.4 MBytes 447955 Kbits/sec
[ 4] 10.00-11.00 sec 54.1 MBytes 454065 Kbits/sec
[ 4] 11.00-12.00 sec 54.1 MBytes 453779 Kbits/sec
[ 4] 12.00-13.00 sec 53.7 MBytes 451133 Kbits/sec
[ 4] 13.00-14.00 sec 53.6 MBytes 449696 Kbits/sec
[ 4] 14.00-15.00 sec 53.0 MBytes 445102 Kbits/sec
[ 4] 15.00-16.00 sec 53.8 MBytes 451687 Kbits/sec
[ 4] 16.00-17.00 sec 54.0 MBytes 453343 Kbits/sec
[ 4] 17.00-18.00 sec 54.1 MBytes 453395 Kbits/sec
[ 4] 18.00-19.00 sec 54.0 MBytes 453119 Kbits/sec
[ 4] 19.00-20.00 sec 53.9 MBytes 452510 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 1.05 GBytes 451877 Kbits/sec sender
[ 4] 0.00-20.00 sec 1.05 GBytes 451626 Kbits/sec receiver
c:\temp\iperf>iperf3 -c 192.168.31.1 -4 -fk -P1 -l2920 -t20 -R
Connecting to host 192.168.31.1, port 5201
Reverse mode, remote host 192.168.31.1 is sending
[ 4] local 192.168.31.2 port 65371 connected to 192.168.31.1 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 142 MBytes 1188578 Kbits/sec
[ 4] 1.00-2.00 sec 140 MBytes 1172388 Kbits/sec
[ 4] 2.00-3.00 sec 141 MBytes 1186963 Kbits/sec
[ 4] 3.00-4.00 sec 141 MBytes 1181611 Kbits/sec
[ 4] 4.00-5.00 sec 143 MBytes 1196913 Kbits/sec
[ 4] 5.00-6.00 sec 142 MBytes 1192327 Kbits/sec
[ 4] 6.00-7.00 sec 142 MBytes 1189432 Kbits/sec
[ 4] 7.00-8.00 sec 141 MBytes 1184583 Kbits/sec
[ 4] 8.00-9.00 sec 140 MBytes 1178248 Kbits/sec
[ 4] 9.00-10.00 sec 141 MBytes 1179900 Kbits/sec
[ 4] 10.00-11.00 sec 141 MBytes 1181983 Kbits/sec
[ 4] 11.00-12.00 sec 141 MBytes 1185790 Kbits/sec
[ 4] 12.00-13.00 sec 142 MBytes 1187765 Kbits/sec
[ 4] 13.00-14.00 sec 142 MBytes 1192145 Kbits/sec
[ 4] 14.00-15.00 sec 141 MBytes 1181064 Kbits/sec
[ 4] 15.00-16.00 sec 140 MBytes 1172346 Kbits/sec
[ 4] 16.00-17.00 sec 141 MBytes 1182497 Kbits/sec
[ 4] 17.00-18.00 sec 141 MBytes 1185144 Kbits/sec
[ 4] 18.00-19.00 sec 140 MBytes 1177417 Kbits/sec
[ 4] 19.00-20.00 sec 142 MBytes 1187281 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-20.00 sec 2.76 GBytes 1184505 Kbits/sec sender
[ 4] 0.00-20.00 sec 2.76 GBytes 1184427 Kbits/sec receive
Auf hier dasselbe. In die eine Richtung fliessen die Daten mit ~50 Mbit/s und in die andere mit ~140 Mbit/s. 🤔
das sieht schon ziemlich Traurig aus er geht definitiv über die 10G Karte vom Server2 und dem 10G Team auf Server1 aber eben nicht sonderlich schnell. Beim reinen Datei Kopieren krebst der bei um die 250MB/s rum
er geht definitiv über die 10G Karte vom Server2 und dem 10G Team auf Server1 aber eben nicht sonderlich schnell. Beim reinen Datei Kopieren krebst der bei um die 250MB/s rumMit den 250MB/s bist du gar nicht so schlecht aufgehoben, da habe ich schon viel furchtbarere Werte gesehen.
Setze mal bitte als nächstes deine Sendepuffer auf den 10G NIC’s auf 512K und die Empfangspuffer auf 4096 und dann wiederhole den Test. 😎
???
Ich würde echt gerne wissen, was sich der- oder diejenigen z.B. bei Intel gedacht hat/haben, als er/sie bei den 1G NIC’s die Sendepuffer standardmässig auf 512K und die Empfangspuffer auf 256K gesetzt haben. 😠
Wenn der Sendepuffer des Senders grösser ist als der Empfangspuffer des Empfängers, dann besteht insbesondere bei einer Übertragung vor grossen Datenmengen, eine extrem hohe Wahrscheinlichkeit, dass der Sender sprichwörtlich ständig den Empfänger überflutet. 😡
Wenn dann noch ein asynchroner Linkspeed dazukommt, z.B. Server (Sender) 10G und am besten mit Sendepuffer auf 4094K wie von Intel empfohlen, gegen einen Client mit 1G und 256K Empfangspuffer, dann kannst du per Wireshark, 1A den Client am ständigen absaufen beobachten. 🤪
RSC und LSO sind bei dir hoffentlich schon deaktiviert.
Beste Grüsse aus BaWü
Alex
