mhard666
Goto Top

10GBit s SFP+ installiert, Übertragung max. 6GBit s

Hallo allerseits,

folgende Frage: Ich habe in meinem NAS (TrueNAS Core auf ASUS P10S WS mit Intel Celeron Prozessor) einen schicken SFP+ 10GBit/s Netwerkadapter vom Typ Solarflare SFL7122 installiert - läuft stabil und ohne Probleme. Gleiche NIC auf einem Lenovo M83 SFF unter Debian. Auch hier läuft alles stabil. In beiden Systemen habe ich einen (den) PCI-E x16 Steckplatz benutzt.
Verbunden habe ich beide Systeme mittels eines vorhandenen HP Procurve SFP+ 3m DirectAttach Kabels (J9283B).
Ein Test mit iperf3 kommt auf max 6GBit/s Durchsatz.

Auf der NAS hab ich iperf3 als Daemon gestartet:

iperf3 -s -D

Auf dem PC habe:

iperf3 -c <IP der NAS> -t 3600

Ergebnis:

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-3600.00 sec  2.44 TBytes  5.97 Gbits/sec    0             sender
[  5]   0.00-3600.03 sec  2.44 TBytes  5.97 Gbits/sec                  receiver

Kann es sein, dass der eher mäßige Duchsatz mit dem DirectAttach-Kabel zusammenhängt? Oder anders gefragt, kann es bezüglich der Performance sinnvoll sein, auf geeignete GBICs und Multimode Kabel zu setzen? Wenn ich dann auf 6,5GBit/s komme, würde ich mich schwertun, lande ich aber vielleicht bei 9GBit/s oder mehr, wäre die Investition durchaus überlegenswert.

Danke.

VG mhard666

Content-ID: 1496061859

Url: https://administrator.de/forum/10gbit-s-sfp-installiert-uebertragung-max-6gbit-s-1496061859.html

Ausgedruckt am: 22.12.2024 um 16:12 Uhr

LordGurke
LordGurke 11.11.2021 um 21:30:58 Uhr
Goto Top
Hast du Jumbo-Frames auf beiden Seiten aktiviert?
Wenn nicht, mache das einmal, um Soft-Interrupts als Flaschenhals auszuschließen.
chgorges
chgorges 11.11.2021 um 21:35:20 Uhr
Goto Top
Glaskugel sagt, dass du SATA-SSDs verwendest und die SATAIII-Schnittstelle endet nun mal bei 6GBit/s...
Im Ernst, man kann nicht einfach 10GBit/s einsetzen und denken, das läuft ohne Weiteres, gehört immer mehr dazu.

VG
Globetrotter
Globetrotter 11.11.2021 um 21:40:09 Uhr
Goto Top
Hi..
BTW...
Kann des Deine HW und die diversen Schnittstellen ?
10 GB sind eine Menge welche normale SSD's nicht packen wegen dem Anschluss an den BUS.

Grusss Globe
mhard666
mhard666 11.11.2021 um 22:09:00 Uhr
Goto Top
Bisher nicht. Hab die MTU jetzt aber auf beiden Systemen auf 9000 gesetzt. Der Durchsatz hat sich aber trotzdem nicht geändert. Außerdem auf beiden Systemen mittels lspci geschaut, ob auch tatsächlich 8 Lanes genutzt werden - das passt.

VG mhard666
shadynet
shadynet 11.11.2021 um 22:17:15 Uhr
Goto Top
Hi,

kann natürlich auch einfach sein, dass deine Hardware am Limit angekommen ist. Wenn ich auf meinem Xeon E3 v5 mit Premiere Pro ein Video rendere, was mir 97% Last gibt, dann bekomm ich auch nicht mehr wie 70Mbit durchs Netz. Bei mir ist natürlich auch kein Hardware-Offload aktiv, da WLAN, aber möglich, dass das auch bei dir der Fall ist. Schau mal auf die Auslastung vom Celeron bzw. deinem PC während der Übertragung.
149569
149569 11.11.2021 aktualisiert um 22:23:17 Uhr
Goto Top
Zitat von @chgorges:

Glaskugel sagt, dass du SATA-SSDs verwendest und die SATAIII-Schnittstelle endet nun mal bei 6GBit/s...

Zitat von @Globetrotter:
10 GB sind eine Menge welche normale SSD's nicht packen wegen dem Anschluss an den BUS.

Grusss Globe

Iperf nutzt kein Disk IO für die Bandwidth Tests, das geht alles übers RAM außer man verwendet den Parameter -F

Wat fürn' Celeron? Wat fürn' RAM?

Hast du mal mit parallelen Streams getestet?
mhard666
mhard666 11.11.2021 um 22:24:11 Uhr
Goto Top
@chgorges

iperf3 macht keinen Schreib/Lese Test auf die Festplatte. Es wird der reine Netzwerkdurchsatz getestet. Und der ist für 10GBit/s sackig.

@Globetrotter

Die NAS sollte es schon schaffen. Hier sind ein PCI-E x16 Port für den NIC und ein PCI-E x8 Port für den SAS-HBA in Verwendung.

VG mhard666
mhard666
mhard666 11.11.2021 um 22:28:42 Uhr
Goto Top
@149569

Käse, nix Celeron, sorry face-wink

NAS: Pentium G4520 @ 3,6GHz; 16GB DDR4 ECC PC4-2133

PC: Skylake Core-I5; 16GB

VG mhard666
mhard666
mhard666 11.11.2021 um 22:33:57 Uhr
Goto Top
@shadynet

Die CPUs langweilen sich voll face-wink
25 Prozent Last auf der NAS, 12GB RAM frei. Auf dem PC lässt sich der Unterschied zwischen nichts machen und Test nicht wirklich beziffern.

VG mhard666
149569
149569 11.11.2021 aktualisiert um 22:37:39 Uhr
Goto Top
Hast du mal mit parallelen Streams getestet?
mhard666
mhard666 11.11.2021 um 22:36:59 Uhr
Goto Top
@149569

Auch mit parallelen Streams ist bei max. 6GBit/s das Ende der Fahnenstange erreicht.

VG mhard666.
149569
149569 11.11.2021 aktualisiert um 22:39:40 Uhr
Goto Top
TCP-Window geprüft/angepasst?

Max. Throughput = TCP Window / RTT
mhard666
mhard666 11.11.2021 um 22:40:45 Uhr
Goto Top
@149569

nee, muss ich mir dann morgen mal anschauen.

@all

Vielen Dank erstmal für die Tipps.

VG mhard666
chgorges
Lösung chgorges 12.11.2021 um 07:08:35 Uhr
Goto Top
Zitat von @mhard666:

@chgorges

iperf3 macht keinen Schreib/Lese Test auf die Festplatte. Es wird der reine Netzwerkdurchsatz getestet. Und der ist für 10GBit/s sackig.

Selbst dann limitiert der PCIE-Bus.
Dein ASUS P10S WS Mainboard hat PCIE 3.0, AddOn-Netzwerkkarten nutzen zwischen 4 und max. 8 Lanes, je nachdem was das System rausgibt.
Heißt dein System "dümpelt" nach Spezifikation irgendwo zwischen 3,9 und 7,8 GBit/s brutto rum, mehr geht bei deinem Aufbau nicht.
Und dein Lenovo mit Asbach-Q85 Chipsatz kann nur PCIE2.0, da bleibst du im Idealfall schon bei 4GBit/s hängen, wobei der Chipsatz maximal 8 Lanes hat und sicherlich nicht alles der NIC zuordnet.

VG
149569
149569 12.11.2021 aktualisiert um 08:39:22 Uhr
Goto Top
Zitat von @chgorges:
Selbst dann limitiert der PCIE-Bus.
Dein ASUS P10S WS Mainboard hat PCIE 3.0, AddOn-Netzwerkkarten nutzen zwischen 4 und max. 8 Lanes, je nachdem was das System rausgibt.
Heißt dein System "dümpelt" nach Spezifikation irgendwo zwischen 3,9 und 7,8 GBit/s brutto rum, mehr geht bei deinem Aufbau nicht.
Nee, PCIe 3.0 bietet pro Lane 8GBits/s (1GB/s), bei x4 wären das also schon 32GBit/s Brutto, also völlig ausreichend.

Zitat von @chgorges:
Und dein Lenovo mit Asbach-Q85 Chipsatz kann nur PCIE2.0, da bleibst du im Idealfall schon bei 4GBit/s hängen, wobei der Chipsatz maximal 8 Lanes hat und sicherlich nicht alles der NIC zuordnet.
Selbst hier wären es bei x4 und 500MB/s pro Lane 2GB/s also auch weit über den Werten die eine 10GBits Karte erreicht.
mhard666
Lösung mhard666 12.11.2021 um 17:54:20 Uhr
Goto Top
Guten Abend.

So, habe heute mal einen Binär-Heizkörper - sprich einen Supermicro Server aus den 2010er Jahren mit ner 10GBit/s Emulex Karte ausgegraben und getestet. Der Flaschenhals ist in der Tat der Lenovo-PC. In der Kombi Server - NAS komme ich auf 9,9 GBit/s im Schnitt. Das ist beruhigend face-wink

Danke nochmal an alle.

VG. mhard666