27
10 gb Netzwerk deutlich zu langsam
Hallo,
hab hier einen Server umgebaut und ihm ein Supermicro X10dri-t verpasst.
Soweit so gut.
Allerdings ist das 10 gb/sek Netzwerk deutlich zu langsamm.
laut ipref3 komm ich "nur" auf ca 3,3 gb/sek
am anfang hatte ich nur ca 2,8. Nach dem rumspielen mit tcp optimicer und laden von Windows defaults ca 3,3 gb/sek mit tcp optimicer und optimal nur noch 2,5 gb/sek
ipref3 auf das LAN (zweite 10 gb/sek NIC) der VM läuf auch nur mit ca 2,8 gb/sek
Bios Defaults hab ich geladen und zusätzlich "Above 4G Decoding" aktiviert brachte aber keine besserung (nur das die Grafikarte nur noch 8 Farben und 640x480 anzeigt und sich nicht mehr verändern läst)
Das Netzwerk sieht so aus
Server Supermicro X10dri-t
Switch HP Office Connet 1850
Client Threadripper MSI Creator
Es werden 10 gb/sek links zum Switch aufgebaut. Das tcp optimicer "Windows defaults" hab ich am Server und PC laufen lassen.
Wenn ich daten vom Raid5 auf meinen PC copiere fängt das mit 100 MB/sek an und steigert sich dann auf ca 200-220 MB/sek.
Mach ich mit hdtunte einen benchmark test des Raid ist das lesen bei ca 350-400 MB/sek
Hab auch mit dem einstellungen von https://docs.microsoft.com/de-de/windows-server/networking/technologies/ ...
rumgespielt (Server und PC immer die gleichen einstellungen) aber mit tcp optimicer und "windows defaults" läuft es bis jetzt am besten und ich finde den Fehler nicht
Wenn ich das nach https://www.dincloud.com/blog/tuning-windows-get-15x-speeds-on-large-fil ... mache wird es noch schlechter
hat da jemand noch einen Tip für mich?
hab hier einen Server umgebaut und ihm ein Supermicro X10dri-t verpasst.
Soweit so gut.
Allerdings ist das 10 gb/sek Netzwerk deutlich zu langsamm.
laut ipref3 komm ich "nur" auf ca 3,3 gb/sek
am anfang hatte ich nur ca 2,8. Nach dem rumspielen mit tcp optimicer und laden von Windows defaults ca 3,3 gb/sek mit tcp optimicer und optimal nur noch 2,5 gb/sek
ipref3 auf das LAN (zweite 10 gb/sek NIC) der VM läuf auch nur mit ca 2,8 gb/sek
Bios Defaults hab ich geladen und zusätzlich "Above 4G Decoding" aktiviert brachte aber keine besserung (nur das die Grafikarte nur noch 8 Farben und 640x480 anzeigt und sich nicht mehr verändern läst)
Das Netzwerk sieht so aus
Server Supermicro X10dri-t
Switch HP Office Connet 1850
Client Threadripper MSI Creator
Es werden 10 gb/sek links zum Switch aufgebaut. Das tcp optimicer "Windows defaults" hab ich am Server und PC laufen lassen.
Wenn ich daten vom Raid5 auf meinen PC copiere fängt das mit 100 MB/sek an und steigert sich dann auf ca 200-220 MB/sek.
Mach ich mit hdtunte einen benchmark test des Raid ist das lesen bei ca 350-400 MB/sek
Hab auch mit dem einstellungen von https://docs.microsoft.com/de-de/windows-server/networking/technologies/ ...
rumgespielt (Server und PC immer die gleichen einstellungen) aber mit tcp optimicer und "windows defaults" läuft es bis jetzt am besten und ich finde den Fehler nicht
Wenn ich das nach https://www.dincloud.com/blog/tuning-windows-get-15x-speeds-on-large-fil ... mache wird es noch schlechter
hat da jemand noch einen Tip für mich?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 789658102
Url: https://administrator.de/contentid/789658102
Printed on: April 28, 2024 at 18:04 o'clock
27 Comments
Latest comment
Moin,
Was für Daten kopierst du? Viele kleine Files, nur große oder bunt gemischt?
Gruß
C.C.
Was für Daten kopierst du? Viele kleine Files, nur große oder bunt gemischt?
Gruß
C.C.
Ganz normal der Switch läuft in default config. Keine VLAN nichts
Das Kopieren einer 11 GB großen einzelnen datei über SMB und TotalComander vom server auf eine locale m.2 SSD
ipref sieht so aus wenn ich es auf dem Server starte client wird nur mit parameter -s gestartet
Das Kopieren einer 11 GB großen einzelnen datei über SMB und TotalComander vom server auf eine locale m.2 SSD
ipref sieht so aus wenn ich es auf dem Server starte client wird nur mit parameter -s gestartet
E:\Software\iperf-3.1.3-win64>iperf3.exe -c 192.168.0.103 -P 1 -i 1 -p 5201 -f k -t 10
Connecting to host 192.168.0.103, port 5201
[ 4] local 192.168.0.241 port 21416 connected to 192.168.0.103 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 285 MBytes 2387112 Kbits/sec
[ 4] 1.00-2.00 sec 296 MBytes 2481023 Kbits/sec
[ 4] 2.00-3.00 sec 299 MBytes 2509370 Kbits/sec
[ 4] 3.00-4.00 sec 306 MBytes 2564224 Kbits/sec
[ 4] 4.00-5.00 sec 305 MBytes 2557802 Kbits/sec
[ 4] 5.00-6.00 sec 311 MBytes 2604610 Kbits/sec
[ 4] 6.00-7.00 sec 340 MBytes 2856214 Kbits/sec
[ 4] 7.00-8.00 sec 376 MBytes 3150423 Kbits/sec
[ 4] 8.00-9.00 sec 356 MBytes 2984119 Kbits/sec
[ 4] 9.00-10.00 sec 371 MBytes 3113502 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 3.17 GBytes 2720791 Kbits/sec sender
[ 4] 0.00-10.00 sec 3.17 GBytes 2720736 Kbits/sec receiver
Wenn dein RAID "nur" 350-400MB schafft wirst du über SMB nicht mehr rausholen können. Da ist 200 - 220 MB /sek. schon Ok.
JumboFrames würde ich mal aktivieren.
Ich gehe davon aus das es ein flaches Layer2 ohne Routing ist. Richtig?
Welche HW hat der Server sonst verbaut ?
Gruß
JumboFrames würde ich mal aktivieren.
Ich gehe davon aus das es ein flaches Layer2 ohne Routing ist. Richtig?
Welche HW hat der Server sonst verbaut ?
Gruß
Moin,
überall Jumbo Frames aktiviert?
Gruß
its
überall Jumbo Frames aktiviert?
Gruß
its
Server noch drin
2x Xeon e5-2667 v4
128 GB Ram
Adaptec 3154 (1x Raid1 auf SSD für BS und so 2x Raid5 auf je 3x WD h550 16 TB)
Es laufen noch 4 VM für SQL, Exchange, Linux-Proxy und so)
hab auch zum test an den Adaptec 2x 512 GB SATA SSD gehängt und als Raid 0 laufen lassen. Selbiges ergebniss.
Das mit den JumboFrames wollte ich machen als es noch auf 1 gb/sek.
Was passiert eingentlich mit Clients bei den JumboFrames nicht aktiviert ist bekomen die noch eine Verbindung zum Server?
2x Xeon e5-2667 v4
128 GB Ram
Adaptec 3154 (1x Raid1 auf SSD für BS und so 2x Raid5 auf je 3x WD h550 16 TB)
Es laufen noch 4 VM für SQL, Exchange, Linux-Proxy und so)
hab auch zum test an den Adaptec 2x 512 GB SATA SSD gehängt und als Raid 0 laufen lassen. Selbiges ergebniss.
Das mit den JumboFrames wollte ich machen als es noch auf 1 gb/sek.
Was passiert eingentlich mit Clients bei den JumboFrames nicht aktiviert ist bekomen die noch eine Verbindung zum Server?
Mach ich mit hdtunte einen
Ist das was Unanständiges oder Diskriminierendes ??Wichtig auch zu wissen WIE die Verbindung auf den Switch gemacht wurde ob mit DAC/Twinax oder LWL via SFP+ oder mit 10G Base T (RJ-45) ?
Letzteres bietet nicht verlässlich sicher 10G, weil es je nach Kabelqualität und Länge Autonegotiation nutzt. 10G ist bei RJ-45 nur auf sehr kurzen Distanzen gegeben. Server sollte man also deshalb niemals mit 10G Base T anbinden sondern immer mit SFP+.
Jumbo Framing ist wie oben schon richtig gesagt zwingend.
Desweiteren solltest du mal einen Back to Back Test machen also die beiden iPerf3 Maschinen ohne Switch direkt mit einem Kabel verbinden und checken was die nackt ohne Switch Infrastruktur schaffen.
Bedenken sollte man auch das der HP Switch eine einfache überbuchte Kiste ist. Die bietet keine native 10G Verbindung auf die Backplane (ASIC) sondern ein 4fach Sharing.
Was sonst noch im Server ist spielt für den iPerf3 oder NetIO Test keinerlei Rolle, denn die generieren die Testlast sinnvollerweise direkt auf der NIC. SMB Tests sind deshalb immer kontraproduktiv weil es zum Ersten ein sehr ineffizientes Protokoll ist mit überwiegend kleinen Paketen die Billigswitches wie dem obigen übertraspazieren und zum Zweiten immer auch andere Komponenten mit involvieren. Ein Test mit iPerf3 oder NetIO ist daher immer erheblich sinnvoller um zu checken was die eigentliche, reine Netzwerk Infrastruktur an Netto Durchsatz mit TCP oder UDP schafft.
Was passiert eingentlich mit Clients bei den JumboFrames nicht aktiviert ist
Hat keinerlei Einfluß.https://de.wikipedia.org/wiki/Path_MTU_Discovery
Lesen und verstehen !
der switch hat nur rj45
wenn ich direkt das Kabel in den Server stecke gleiches ergebniss
E:\Software\iperf-3.1.3-win64>iperf3.exe -c 192.168.0.103 -P 1 -i 1 -p 5201 -f k -t 10
Connecting to host 192.168.0.103, port 5201
[ 4] local 192.168.0.241 port 32922 connected to 192.168.0.103 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 266 MBytes 2232003 Kbits/sec
[ 4] 1.00-2.00 sec 318 MBytes 2670579 Kbits/sec
[ 4] 2.00-3.00 sec 328 MBytes 2750412 Kbits/sec
[ 4] 3.00-4.00 sec 346 MBytes 2899708 Kbits/sec
[ 4] 4.00-5.00 sec 338 MBytes 2832448 Kbits/sec
[ 4] 5.00-6.00 sec 329 MBytes 2761814 Kbits/sec
[ 4] 6.00-7.00 sec 348 MBytes 2919028 Kbits/sec
[ 4] 7.00-8.00 sec 326 MBytes 2738076 Kbits/sec
[ 4] 8.00-9.00 sec 349 MBytes 2925615 Kbits/sec
[ 4] 9.00-10.00 sec 342 MBytes 2863997 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 3.21 GBytes 2759354 Kbits/sec sender
[ 4] 0.00-10.00 sec 3.21 GBytes 2759236 Kbits/sec receiver
wenn ich direkt das Kabel in den Server stecke gleiches ergebniss
E:\Software\iperf-3.1.3-win64>iperf3.exe -c 192.168.0.103 -P 1 -i 1 -p 5201 -f k -t 10
Connecting to host 192.168.0.103, port 5201
[ 4] local 192.168.0.241 port 32922 connected to 192.168.0.103 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 266 MBytes 2232003 Kbits/sec
[ 4] 1.00-2.00 sec 318 MBytes 2670579 Kbits/sec
[ 4] 2.00-3.00 sec 328 MBytes 2750412 Kbits/sec
[ 4] 3.00-4.00 sec 346 MBytes 2899708 Kbits/sec
[ 4] 4.00-5.00 sec 338 MBytes 2832448 Kbits/sec
[ 4] 5.00-6.00 sec 329 MBytes 2761814 Kbits/sec
[ 4] 6.00-7.00 sec 348 MBytes 2919028 Kbits/sec
[ 4] 7.00-8.00 sec 326 MBytes 2738076 Kbits/sec
[ 4] 8.00-9.00 sec 349 MBytes 2925615 Kbits/sec
[ 4] 9.00-10.00 sec 342 MBytes 2863997 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 3.21 GBytes 2759354 Kbits/sec sender
[ 4] 0.00-10.00 sec 3.21 GBytes 2759236 Kbits/sec receiver
der switch hat nur rj45
Schlechte, da ungeeignete HW Wahl dann für 10 Gig Server ! 
Ändern sich die Werte wenn du iPerf3 mal nur mit den Defaults betreibst iperf3.exe -c 192.168.0.103 ?
Die Werte sind ja unter alle Kanone und so mies das da ja noch ein 1 Gig Switch mit LAGs besser ist !
Der letzte Test zeigt ja aber auch das es der Switch selber scheinbar nicht ist.
Boote zur Sicherheit nochmal ein Live Linux wie Ubuntu oder Knoppix vom USB Stick und teste das nochmal. Nicht das dir die Kartentreiber da einen Streich spielen.
Man kann hier nur hoffen das du dir Treiber der NIC Chipsatzhersteller verwendet hast und nicht die embeddeten ?!
Sieht in der Tat nach einen 10G Base T Negotiation Problem aus. Die typische Problematik bei 10G über RJ-45.
Cat6 oder 7 Kabel sind hier zwingend.Hast du alternativ mal ein Cat 6 Crossover_Kabel verwendet um ggf. MDI-X Problemen aus dem Weg zu gehen ?
Moin,
Damit ist ja eigentlich schon alles gesagt, Bottleneck im Storage.
Besorg dir SAS SSDs, SATA ist physikalisch auch auf 6GBit/s limitiert, da wirst du mit deinen SSDs auch nicht wirklich mehr rausholen (sieht man ja an den Tests).
Ansonsten noch am Controller alle Settings prüfen https://ask.adaptec.com/app/answers/detail/a_id/17474/~/smart-adapter--- ...
VG
Mach ich mit hdtunte einen benchmark test des Raid ist das lesen bei ca 350-400 MB/sek
Damit ist ja eigentlich schon alles gesagt, Bottleneck im Storage.
Besorg dir SAS SSDs, SATA ist physikalisch auch auf 6GBit/s limitiert, da wirst du mit deinen SSDs auch nicht wirklich mehr rausholen (sieht man ja an den Tests).
Ansonsten noch am Controller alle Settings prüfen https://ask.adaptec.com/app/answers/detail/a_id/17474/~/smart-adapter--- ...
Sieht in der Tat nach einen 10G Base T Negotiation Problem aus
Wieso? Er schafft >110MBit/s, dann ist der Link mit 10GBit/s ausgehandelt und fertig.VG
hab jetzt die Jumboframes am Server, Switch (HPE OfficeConnect Switch 1850-48G 4XGT JL171A) und PC aktiviert und hier das ergebniss.
Das RJ45 Kabel vom Switch zum Server ist ein 2m Patch Cat7 Kabel vom Hersteller Vention. Das Kabel vom PC zum Switch ist ein 15m CAT7 Patchkabel von Vention. Keine Dosen oder Patchfeld dazwischen.
Das Raid0 der SSD schaft laut hdtune ca 1100-1200 MB/sek
Wenn ich von dem Raid5 den Controller Cache deaktiviere dann steigt die Leseleistung laut HDTune auf ca 450-500 MB/sek.
Ich weiß das die Platten etwas langsammer sind deswegen hab ich ja iprefs zum testen genommen.
Die 2x 512 GB SSD sollten wenn alles läuft noch als SmartCache für die Raid5 eingebunden werden.
E:\Software\iperf-3.1.3-win64>iperf3.exe -c 192.168.0.103 -P 1 -i 1 -p 5201 -f k -t 10
Connecting to host 192.168.0.103, port 5201
[ 4] local 192.168.0.241 port 36869 connected to 192.168.0.103 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 374 MBytes 3135542 Kbits/sec
[ 4] 1.00-2.00 sec 399 MBytes 3350311 Kbits/sec
[ 4] 2.00-3.00 sec 398 MBytes 3339658 Kbits/sec
[ 4] 3.00-4.00 sec 387 MBytes 3243395 Kbits/sec
[ 4] 4.00-5.00 sec 413 MBytes 3460411 Kbits/sec
[ 4] 5.00-6.00 sec 401 MBytes 3368740 Kbits/sec
[ 4] 6.00-7.00 sec 402 MBytes 3370770 Kbits/sec
[ 4] 7.00-8.00 sec 397 MBytes 3329259 Kbits/sec
[ 4] 8.00-9.00 sec 396 MBytes 3323834 Kbits/sec
[ 4] 9.00-10.00 sec 404 MBytes 3386772 Kbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 3.88 GBytes 3330866 Kbits/sec sender
[ 4] 0.00-10.00 sec 3.88 GBytes 3330840 Kbits/sec receiver
iperf Done.
E:\Software\iperf-3.1.3-win64>iperf3.exe -c 192.168.0.103
Connecting to host 192.168.0.103, port 5201
[ 4] local 192.168.0.241 port 37244 connected to 192.168.0.103 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 363 MBytes 3.04 Gbits/sec
[ 4] 1.00-2.00 sec 364 MBytes 3.06 Gbits/sec
[ 4] 2.00-3.00 sec 372 MBytes 3.12 Gbits/sec
[ 4] 3.00-4.00 sec 374 MBytes 3.13 Gbits/sec
[ 4] 4.00-5.00 sec 406 MBytes 3.40 Gbits/sec
[ 4] 5.00-6.00 sec 391 MBytes 3.28 Gbits/sec
[ 4] 6.00-7.00 sec 417 MBytes 3.50 Gbits/sec
[ 4] 7.00-8.00 sec 423 MBytes 3.55 Gbits/sec
[ 4] 8.00-9.00 sec 404 MBytes 3.39 Gbits/sec
[ 4] 9.00-10.00 sec 410 MBytes 3.44 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 3.83 GBytes 3.29 Gbits/sec sender
[ 4] 0.00-10.00 sec 3.83 GBytes 3.29 Gbits/sec receiver
iperf Done.Das RJ45 Kabel vom Switch zum Server ist ein 2m Patch Cat7 Kabel vom Hersteller Vention. Das Kabel vom PC zum Switch ist ein 15m CAT7 Patchkabel von Vention. Keine Dosen oder Patchfeld dazwischen.
Das Raid0 der SSD schaft laut hdtune ca 1100-1200 MB/sek
Wenn ich von dem Raid5 den Controller Cache deaktiviere dann steigt die Leseleistung laut HDTune auf ca 450-500 MB/sek.
Ich weiß das die Platten etwas langsammer sind deswegen hab ich ja iprefs zum testen genommen.
Die 2x 512 GB SSD sollten wenn alles läuft noch als SmartCache für die Raid5 eingebunden werden.
Hallo,
hast du den den 10 GB Link am Switch auch an einem der 4 10 GIG Ports angeschlossen ?
Laut Datenblatt kann der Switch das nur auf 4 der 48 + 4 Ports.
Und eine Default Konfiguration ohne VLAN's, ohne feste konfigurierte Geschwindigkeit macht es auch nicht besser
brammer
hast du den den 10 GB Link am Switch auch an einem der 4 10 GIG Ports angeschlossen ?
Laut Datenblatt kann der Switch das nur auf 4 der 48 + 4 Ports.
Und eine Default Konfiguration ohne VLAN's, ohne feste konfigurierte Geschwindigkeit macht es auch nicht besser
brammer
Natürlich ist der Server und PC an den 10 gb Ports angesteckt sonst würden weder der PC noch Server ein 10 gb Link aufbauen.
Ich würde auch sonst keine ca 3 gb/sek schaffen
Mit VLANs oder fest konfigurierte Geschwindigkeit wird es aber auch nicht schneller. Wenn alles super läuft das gibt es auch mit der auto neogation kein problem.
Laut Switch 10 gbps full und MTU 9126
Intel Treiber 26.3 sind auf dem Server installiert und die aktuellen Marvell AQtion auf dem PC sind ebenfalls installiert.
Ich würde auch sonst keine ca 3 gb/sek schaffen
Mit VLANs oder fest konfigurierte Geschwindigkeit wird es aber auch nicht schneller. Wenn alles super läuft das gibt es auch mit der auto neogation kein problem.
Laut Switch 10 gbps full und MTU 9126
Intel Treiber 26.3 sind auf dem Server installiert und die aktuellen Marvell AQtion auf dem PC sind ebenfalls installiert.
Er schafft ja auch Back to Back ganz ohne Switch nur armselige 3 GBits/s. Den Switch kann man damit wohl erstmal nicht verantwortlich machen auch wenn er nicht optimal ist.
Kabelage oder Treiber Problem. Ein Linux Test mit iperf3 wäre mal sinnvoll... 3 Gbit/s ist mehr als schwach. Das können ja sogar Realtek Chipsets besser.
Kabelage oder Treiber Problem. Ein Linux Test mit iperf3 wäre mal sinnvoll... 3 Gbit/s ist mehr als schwach. Das können ja sogar Realtek Chipsets besser.
War eben einen Kaffee trinken und lade gerade ein debian live iso mit kde ^^
ich konnte nicht wiederstehen ein ipref von windows zu starten und obwohl ich nichts verändert habe
Das Kopieren per Totalcomander von der Raid0 SSD ca 300-350 MB/sek
Soll man jetzt so sachen wie
IPv4 Checksum Offload
Large Send Offload (IPv4)
Large Send Offload v2 (IPv4)
Large Send Offload v2 (IPv6)
Offload.Rx.Checksum
Offload.Tx.Checksum
Offload.Tx.LSO
TCP Checksum Offload (IPv4)
TCP Checksum Offload (IPv6)
UDP Checksum Offload (IPv4)
UDP Checksum Offload (IPv6)
aktivieren oder nicht? Wenn man 5 Seiten anschaut steht 6x was anderes als optimal drin.
Ich hab jetzt mal das ganze Offload zeug und flussteuerung deaktiviert und siehe da
Das kopieren von dem Raid0 SSD (SMB /Netzlaufwerk per TotalComander) geht mit ca 500-600 MB/sek einer einzelnen 11 GB Datei. Das Kopieren auf das Raid0 zum Server ca 700-800 MB/sek
ich konnte nicht wiederstehen ein ipref von windows zu starten und obwohl ich nichts verändert habe
D:\1>iperf3.exe -c 192.168.0.241
Connecting to host 192.168.0.241, port 5201
[ 4] local 192.168.0.103 port 11130 connected to 192.168.0.241 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 510 MBytes 4.28 Gbits/sec
[ 4] 1.00-2.00 sec 511 MBytes 4.28 Gbits/sec
[ 4] 2.00-3.00 sec 492 MBytes 4.13 Gbits/sec
[ 4] 3.00-4.00 sec 503 MBytes 4.22 Gbits/sec
[ 4] 4.00-5.00 sec 501 MBytes 4.20 Gbits/sec
[ 4] 5.00-6.00 sec 504 MBytes 4.23 Gbits/sec
[ 4] 6.00-7.00 sec 506 MBytes 4.25 Gbits/sec
[ 4] 7.00-8.00 sec 515 MBytes 4.32 Gbits/sec
[ 4] 8.00-9.00 sec 504 MBytes 4.23 Gbits/sec
[ 4] 9.00-10.00 sec 508 MBytes 4.26 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 4.94 GBytes 4.24 Gbits/sec sender
[ 4] 0.00-10.00 sec 4.93 GBytes 4.24 Gbits/sec receiver
iperf Done.Das Kopieren per Totalcomander von der Raid0 SSD ca 300-350 MB/sek
Soll man jetzt so sachen wie
IPv4 Checksum Offload
Large Send Offload (IPv4)
Large Send Offload v2 (IPv4)
Large Send Offload v2 (IPv6)
Offload.Rx.Checksum
Offload.Tx.Checksum
Offload.Tx.LSO
TCP Checksum Offload (IPv4)
TCP Checksum Offload (IPv6)
UDP Checksum Offload (IPv4)
UDP Checksum Offload (IPv6)
aktivieren oder nicht? Wenn man 5 Seiten anschaut steht 6x was anderes als optimal drin.
Ich hab jetzt mal das ganze Offload zeug und flussteuerung deaktiviert und siehe da
D:\1>iperf3.exe -c 192.168.0.241
Connecting to host 192.168.0.241, port 5201
[ 4] local 192.168.0.103 port 1072 connected to 192.168.0.241 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 691 MBytes 5.80 Gbits/sec
[ 4] 1.00-2.00 sec 697 MBytes 5.85 Gbits/sec
[ 4] 2.00-3.00 sec 668 MBytes 5.60 Gbits/sec
[ 4] 3.00-4.00 sec 780 MBytes 6.54 Gbits/sec
[ 4] 4.00-5.00 sec 792 MBytes 6.64 Gbits/sec
[ 4] 5.00-6.00 sec 792 MBytes 6.64 Gbits/sec
[ 4] 6.00-7.00 sec 816 MBytes 6.85 Gbits/sec
[ 4] 7.00-8.00 sec 828 MBytes 6.95 Gbits/sec
[ 4] 8.00-9.00 sec 693 MBytes 5.82 Gbits/sec
[ 4] 9.00-10.00 sec 656 MBytes 5.49 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 7.24 GBytes 6.22 Gbits/sec sender
[ 4] 0.00-10.00 sec 7.24 GBytes 6.22 Gbits/sec receiver
iperf Done.Das kopieren von dem Raid0 SSD (SMB /Netzlaufwerk per TotalComander) geht mit ca 500-600 MB/sek einer einzelnen 11 GB Datei. Das Kopieren auf das Raid0 zum Server ca 700-800 MB/sek
Der erfolg der JumboFrames 2 PC kommen nicht mehr ins Netzwerk und bekommen auch keine DHCP Adresse mehr jupi
und diese onboard realtek netzwerkkarte bieten die option jumboframes nicht an.
das witzige ein baugleicher pc der an der Fritzbox hängt funktioniert noch ohne probleme
und diese onboard realtek netzwerkkarte bieten die option jumboframes nicht an.
das witzige ein baugleicher pc der an der Fritzbox hängt funktioniert noch ohne probleme
Flow Control gehört so oder so generel AUS im Netzwerk. 5Gbit ist aber trotzdem noch mickrig. Intel schafft mindestens 9 Gbit.
Was sagt denn der Linux Test ?
Was sagt denn der Linux Test ?
hab ich noch nicht von meinem pc aus gestartet da noch was läuft und ich das Ding noch nicht neustraten kann.
also endlich
von Knoppix PC zu Win2019 server ca 5,5-6,5 gb/sek
von Knoppix PC zu Knoppix Server 9,90 gb/sek
von Win PC zu Knoppix Server 8,09 gb/sek
knoppix hab ich auf MTU 9000 eingestellt
Tja bleibt die Frage was bremst?
ein "netsh winsock reset" auf dem Server hab ich ausgeführt aber keine besserung
hab zum test auch den MS treiber von 2016 installiert. weder verschlechterung noch verbesserung
von Knoppix PC zu Win2019 server ca 5,5-6,5 gb/sek
von Knoppix PC zu Knoppix Server 9,90 gb/sek
von Win PC zu Knoppix Server 8,09 gb/sek
knoppix hab ich auf MTU 9000 eingestellt
Tja bleibt die Frage was bremst?
ein "netsh winsock reset" auf dem Server hab ich ausgeführt aber keine besserung
hab zum test auch den MS treiber von 2016 installiert. weder verschlechterung noch verbesserung
Kleiner Erfolg:
nach deaktiveren von Interrupt-Drosselung und Interrupt-Drosselungsrate stieg iperf3 auf ca 8,5 gb/sek
Auf der anderen Seite stellt sich mir jetzt die Frage wieso das ganze Zeug aktiviert ist wenn es das ganze nur langsamer macht
beim kopieren einer 16 GB datei ging das am anfang mit ca 1000 MB/sek bis ca 50%
dann war SMB tot (also arbeitsplatz keine rückmeldung, angegebener netzwerkpfad nicht gefunden)
Ping zum Server ip4 geht noch und RDP ruckelt wie in Zeitlupe
die SMB freigaben der HyperV Server sind noch erreichbar
iperf zeigt nur noch
Connecting to host 192.168.0.241, port 5201
[ 4] local 192.168.0.103 port 1233 connected to 192.168.0.241 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.01 sec 256 KBytes 2.08 Mbits/sec
[ 4] 1.01-2.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 2.01-3.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 3.01-4.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 4.01-5.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 5.01-6.02 sec 0.00 Bytes 0.00 bits/sec
[ 4] 6.02-7.00 sec 0.00 Bytes 0.00 bits/sec
[ 4] 7.00-8.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 8.01-9.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 9.01-10.00 sec 0.00 Bytes 0.00 bits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 256 KBytes 210 Kbits/sec sender
[ 4] 0.00-10.00 sec 0.00 Bytes 0.00 bits/sec receiver
nach deaktiveren von Interrupt-Drosselung und Interrupt-Drosselungsrate stieg iperf3 auf ca 8,5 gb/sek
Auf der anderen Seite stellt sich mir jetzt die Frage wieso das ganze Zeug aktiviert ist wenn es das ganze nur langsamer macht
beim kopieren einer 16 GB datei ging das am anfang mit ca 1000 MB/sek bis ca 50%
dann war SMB tot (also arbeitsplatz keine rückmeldung, angegebener netzwerkpfad nicht gefunden)
Ping zum Server ip4 geht noch und RDP ruckelt wie in Zeitlupe
die SMB freigaben der HyperV Server sind noch erreichbar
iperf zeigt nur noch
Connecting to host 192.168.0.241, port 5201
[ 4] local 192.168.0.103 port 1233 connected to 192.168.0.241 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.01 sec 256 KBytes 2.08 Mbits/sec
[ 4] 1.01-2.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 2.01-3.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 3.01-4.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 4.01-5.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 5.01-6.02 sec 0.00 Bytes 0.00 bits/sec
[ 4] 6.02-7.00 sec 0.00 Bytes 0.00 bits/sec
[ 4] 7.00-8.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 8.01-9.01 sec 0.00 Bytes 0.00 bits/sec
[ 4] 9.01-10.00 sec 0.00 Bytes 0.00 bits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 256 KBytes 210 Kbits/sec sender
[ 4] 0.00-10.00 sec 0.00 Bytes 0.00 bits/sec receiver
von Knoppix PC zu Knoppix Server 9,90 gb/sek
Das spricht ja eine mehr als deutliche Sprache !!!Es liegt also NICHT per se an der Hardware, Verkabelung oder Infrastruktur sondern rein nur an Winblows, seinen Treibern und den "Verschlimmbesserungen".
9,9 Gig wäre auch der zu erwartende Wert bei Intel und Mellanox.
wieso das ganze Zeug aktiviert ist wenn es das ganze nur langsamer macht
Ist halt Winblows und das weiss wohl nur MS selber.
ich hab jetzt den Dienst "Server" neu gestartet aber die SMB freigaben sind immer noch tot
auch ein deaktiveren und aktiveren der NIC bleibt SMB tot
Scheibenkleister
nach reboot geht SMB immer noch nicht
RDP bricht nach "verbindung wird gesichert" ab
Mist auch nach aktiverung von Interrupt-Drosselung und Interrupt-Drosselungsrate bleibt SMB tot
also muste auch den PC neustarten damit es wieder geht.
Wenn ich Interrupt-Drosselungsrate von adaptiv (Standardwert) auf niedrig einstellle scheint es zu funktionieren. Konnte eine 16 GB datei ohne Probleme vom Server auf meinen PC kopieren.
in die andere richtung sieht es nicht so toll aus
aber deutlich besser als vor
Was ich alles gemacht habe:
Folgendes auf Disable:
Abtrennung von Headerdateien
Flusssteuerung
ipsec abladen
IPv4 Checksum Offload
Large Send Offload (IPv4)
Large Send Offload v2 (IPv4)
Large Send Offload v2 (IPv6)
Offload.Rx.Checksum
Offload.Tx.Checksum
Offload.Tx.LSO
TCP Checksum Offload (IPv4)
TCP Checksum Offload (IPv6)
UDP Checksum Offload (IPv4)
UDP Checksum Offload (IPv6)
und
Interrupt-Drosselungsrate auf niedrig
auch ein deaktiveren und aktiveren der NIC bleibt SMB tot
Scheibenkleister
nach reboot geht SMB immer noch nicht
RDP bricht nach "verbindung wird gesichert" ab
Mist auch nach aktiverung von Interrupt-Drosselung und Interrupt-Drosselungsrate bleibt SMB tot
also muste auch den PC neustarten damit es wieder geht.
Wenn ich Interrupt-Drosselungsrate von adaptiv (Standardwert) auf niedrig einstellle scheint es zu funktionieren. Konnte eine 16 GB datei ohne Probleme vom Server auf meinen PC kopieren.
aber deutlich besser als vor
Was ich alles gemacht habe:
Folgendes auf Disable:
Abtrennung von Headerdateien
Flusssteuerung
ipsec abladen
IPv4 Checksum Offload
Large Send Offload (IPv4)
Large Send Offload v2 (IPv4)
Large Send Offload v2 (IPv6)
Offload.Rx.Checksum
Offload.Tx.Checksum
Offload.Tx.LSO
TCP Checksum Offload (IPv4)
TCP Checksum Offload (IPv6)
UDP Checksum Offload (IPv4)
UDP Checksum Offload (IPv6)
und
Interrupt-Drosselungsrate auf niedrig
ich habe ebenfalls das selbe Problem.
Ich habe aber parallel dazu noch einen Failover cluster am laufen, und wenn ich da eine Live Migration mache - nutzt der konstant 9.9Gbs. das ist eine zwei port x550 karte, hab zum testen nur den einen port genutz. wenn ich jetzt aber eine Datei vom einem zum anderen Knoten kopiere, komme ich ebenfalls auf nur magere 3.3Gbs. Server 2019, aktueller Patchlevel. Identische Treibereinstellungen der beiden Ports.
ich habe in errinnerung, dass ich vor einigen jahren problemlos mit über 1GB/s daten kopiert habe...irgendwas hat entweder MS da ganz schön verbockt, oder aber intel mit den Treibern...
Ich habe aber parallel dazu noch einen Failover cluster am laufen, und wenn ich da eine Live Migration mache - nutzt der konstant 9.9Gbs. das ist eine zwei port x550 karte, hab zum testen nur den einen port genutz. wenn ich jetzt aber eine Datei vom einem zum anderen Knoten kopiere, komme ich ebenfalls auf nur magere 3.3Gbs. Server 2019, aktueller Patchlevel. Identische Treibereinstellungen der beiden Ports.
ich habe in errinnerung, dass ich vor einigen jahren problemlos mit über 1GB/s daten kopiert habe...irgendwas hat entweder MS da ganz schön verbockt, oder aber intel mit den Treibern...
zu meinen HyperV systemen hab ich z.Z auch nur ca 2,5 gb/sek (alle HyperV laufen auf der zweiten NIC)
bin da gerade dabei zu schauen
bin da gerade dabei zu schauen
interessannt wäre es jetzt zu wissen, ob das wiedermal nur intel netzwerkkarten betrifft, oder auch Mellanox oder andere...also um das mal einzugrenzen obs am Treiber liegt vom Hersteller, oder am Windows.
Weil Linux/Knoppix ist ja ein anderes OS und damit auch andere Treiber...aber gut zu wissen dass es durch den test sich auf die Software beschränkt
Weil Linux/Knoppix ist ja ein anderes OS und damit auch andere Treiber...aber gut zu wissen dass es durch den test sich auf die Software beschränkt
jetzt lief es eine Zeit lang ohne Probleme und selbes Problem wieder
es ist zwar nicht ganz so schlimm wie vor aber hmmm....
Edit:
Mist so wie es aussieht bricht die übertragung deutlich ein, wenn die TR CPU stark belastet wird.
es ist zwar nicht ganz so schlimm wie vor aber hmmm....
D:\iperf-3.1.3-win64>iperf3.exe -c 192.168.0.241
Connecting to host 192.168.0.241, port 5201
[ 4] local 192.168.0.103 port 32626 connected to 192.168.0.241 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 841 MBytes 7.05 Gbits/sec
[ 4] 1.00-2.00 sec 873 MBytes 7.32 Gbits/sec
[ 4] 2.00-3.00 sec 827 MBytes 6.94 Gbits/sec
[ 4] 3.00-4.00 sec 815 MBytes 6.84 Gbits/sec
[ 4] 4.00-5.00 sec 820 MBytes 6.88 Gbits/sec
[ 4] 5.00-6.00 sec 839 MBytes 7.04 Gbits/sec
[ 4] 6.00-7.00 sec 849 MBytes 7.12 Gbits/sec
[ 4] 7.00-8.00 sec 851 MBytes 7.14 Gbits/sec
[ 4] 8.00-9.00 sec 858 MBytes 7.20 Gbits/sec
[ 4] 9.00-10.00 sec 831 MBytes 6.97 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 8.21 GBytes 7.05 Gbits/sec sender
[ 4] 0.00-10.00 sec 8.21 GBytes 7.05 Gbits/sec receiver
iperf Done.Edit:
Mist so wie es aussieht bricht die übertragung deutlich ein, wenn die TR CPU stark belastet wird.
Hallo und danke für die Anregungen hier, lange nicht mehr nachgesehen im Netz und gleich schon was gefunden.
Und eine Bitte: könnt ihr das mit mehr Instanzen auch nochmal testen bsw: iperf3.exe -c 10.10.12.2 -w 1M -P 8
viele Grüsse
ulti
PS:
[SUM] 0.00-10.01 sec 10.6 GBytes 9.07 Gbits/sec sender
[SUM] 0.00-10.01 sec 10.6 GBytes 9.07 Gbits/sec receiver
sieht erstmal gut aus ist aber eine Connect x3 Karte mit Direkt Verbindung unter 40G und Server 2016,
Ist also auch zu langsam.
Und eine Bitte: könnt ihr das mit mehr Instanzen auch nochmal testen bsw: iperf3.exe -c 10.10.12.2 -w 1M -P 8
viele Grüsse
ulti
PS:
[SUM] 0.00-10.01 sec 10.6 GBytes 9.07 Gbits/sec sender
[SUM] 0.00-10.01 sec 10.6 GBytes 9.07 Gbits/sec receiver
sieht erstmal gut aus ist aber eine Connect x3 Karte mit Direkt Verbindung unter 40G und Server 2016,
Ist also auch zu langsam.
sieht bei mir so aus
[SUM] 0.00-10.00 sec 8.71 GBytes 7.48 Gbits/sec sender
[SUM] 0.00-10.00 sec 8.70 GBytes 7.48 Gbits/sec receiver
