mhard666
Goto Top

10GBit s SFP+ installiert, Übertragung max. 6GBit s

Hallo allerseits,

folgende Frage: Ich habe in meinem NAS (TrueNAS Core auf ASUS P10S WS mit Intel Celeron Prozessor) einen schicken SFP+ 10GBit/s Netwerkadapter vom Typ Solarflare SFL7122 installiert - läuft stabil und ohne Probleme. Gleiche NIC auf einem Lenovo M83 SFF unter Debian. Auch hier läuft alles stabil. In beiden Systemen habe ich einen (den) PCI-E x16 Steckplatz benutzt.
Verbunden habe ich beide Systeme mittels eines vorhandenen HP Procurve SFP+ 3m DirectAttach Kabels (J9283B).
Ein Test mit iperf3 kommt auf max 6GBit/s Durchsatz.

Auf der NAS hab ich iperf3 als Daemon gestartet:

iperf3 -s -D

Auf dem PC habe:

iperf3 -c <IP der NAS> -t 3600

Ergebnis:

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-3600.00 sec  2.44 TBytes  5.97 Gbits/sec    0             sender
[  5]   0.00-3600.03 sec  2.44 TBytes  5.97 Gbits/sec                  receiver

Kann es sein, dass der eher mäßige Duchsatz mit dem DirectAttach-Kabel zusammenhängt? Oder anders gefragt, kann es bezüglich der Performance sinnvoll sein, auf geeignete GBICs und Multimode Kabel zu setzen? Wenn ich dann auf 6,5GBit/s komme, würde ich mich schwertun, lande ich aber vielleicht bei 9GBit/s oder mehr, wäre die Investition durchaus überlegenswert.

Danke.

VG mhard666

Content-Key: 1496061859

Url: https://administrator.de/contentid/1496061859

Printed on: June 25, 2024 at 22:06 o'clock

Member: LordGurke
LordGurke Nov 11, 2021 at 20:30:58 (UTC)
Goto Top
Hast du Jumbo-Frames auf beiden Seiten aktiviert?
Wenn nicht, mache das einmal, um Soft-Interrupts als Flaschenhals auszuschließen.
Member: chgorges
chgorges Nov 11, 2021 at 20:35:20 (UTC)
Goto Top
Glaskugel sagt, dass du SATA-SSDs verwendest und die SATAIII-Schnittstelle endet nun mal bei 6GBit/s...
Im Ernst, man kann nicht einfach 10GBit/s einsetzen und denken, das läuft ohne Weiteres, gehört immer mehr dazu.

VG
Member: Globetrotter
Globetrotter Nov 11, 2021 at 20:40:09 (UTC)
Goto Top
Hi..
BTW...
Kann des Deine HW und die diversen Schnittstellen ?
10 GB sind eine Menge welche normale SSD's nicht packen wegen dem Anschluss an den BUS.

Grusss Globe
Member: mhard666
mhard666 Nov 11, 2021 at 21:09:00 (UTC)
Goto Top
Bisher nicht. Hab die MTU jetzt aber auf beiden Systemen auf 9000 gesetzt. Der Durchsatz hat sich aber trotzdem nicht geändert. Außerdem auf beiden Systemen mittels lspci geschaut, ob auch tatsächlich 8 Lanes genutzt werden - das passt.

VG mhard666
Member: shadynet
shadynet Nov 11, 2021 at 21:17:15 (UTC)
Goto Top
Hi,

kann natürlich auch einfach sein, dass deine Hardware am Limit angekommen ist. Wenn ich auf meinem Xeon E3 v5 mit Premiere Pro ein Video rendere, was mir 97% Last gibt, dann bekomm ich auch nicht mehr wie 70Mbit durchs Netz. Bei mir ist natürlich auch kein Hardware-Offload aktiv, da WLAN, aber möglich, dass das auch bei dir der Fall ist. Schau mal auf die Auslastung vom Celeron bzw. deinem PC während der Übertragung.
Mitglied: 149569
149569 Nov 11, 2021 updated at 21:23:17 (UTC)
Goto Top
Zitat von @chgorges:

Glaskugel sagt, dass du SATA-SSDs verwendest und die SATAIII-Schnittstelle endet nun mal bei 6GBit/s...

Zitat von @Globetrotter:
10 GB sind eine Menge welche normale SSD's nicht packen wegen dem Anschluss an den BUS.

Grusss Globe

Iperf nutzt kein Disk IO für die Bandwidth Tests, das geht alles übers RAM außer man verwendet den Parameter -F

Wat fürn' Celeron? Wat fürn' RAM?

Hast du mal mit parallelen Streams getestet?
Member: mhard666
mhard666 Nov 11, 2021 at 21:24:11 (UTC)
Goto Top
@chgorges

iperf3 macht keinen Schreib/Lese Test auf die Festplatte. Es wird der reine Netzwerkdurchsatz getestet. Und der ist für 10GBit/s sackig.

@Globetrotter

Die NAS sollte es schon schaffen. Hier sind ein PCI-E x16 Port für den NIC und ein PCI-E x8 Port für den SAS-HBA in Verwendung.

VG mhard666
Member: mhard666
mhard666 Nov 11, 2021 at 21:28:42 (UTC)
Goto Top
@149569

Käse, nix Celeron, sorry face-wink

NAS: Pentium G4520 @ 3,6GHz; 16GB DDR4 ECC PC4-2133

PC: Skylake Core-I5; 16GB

VG mhard666
Member: mhard666
mhard666 Nov 11, 2021 at 21:33:57 (UTC)
Goto Top
@shadynet

Die CPUs langweilen sich voll face-wink
25 Prozent Last auf der NAS, 12GB RAM frei. Auf dem PC lässt sich der Unterschied zwischen nichts machen und Test nicht wirklich beziffern.

VG mhard666
Mitglied: 149569
149569 Nov 11, 2021 updated at 21:37:39 (UTC)
Goto Top
Hast du mal mit parallelen Streams getestet?
Member: mhard666
mhard666 Nov 11, 2021 at 21:36:59 (UTC)
Goto Top
@149569

Auch mit parallelen Streams ist bei max. 6GBit/s das Ende der Fahnenstange erreicht.

VG mhard666.
Mitglied: 149569
149569 Nov 11, 2021 updated at 21:39:40 (UTC)
Goto Top
TCP-Window geprüft/angepasst?

Max. Throughput = TCP Window / RTT
Member: mhard666
mhard666 Nov 11, 2021 at 21:40:45 (UTC)
Goto Top
@149569

nee, muss ich mir dann morgen mal anschauen.

@all

Vielen Dank erstmal für die Tipps.

VG mhard666
Member: chgorges
Solution chgorges Nov 12, 2021 at 06:08:35 (UTC)
Goto Top
Zitat von @mhard666:

@chgorges

iperf3 macht keinen Schreib/Lese Test auf die Festplatte. Es wird der reine Netzwerkdurchsatz getestet. Und der ist für 10GBit/s sackig.

Selbst dann limitiert der PCIE-Bus.
Dein ASUS P10S WS Mainboard hat PCIE 3.0, AddOn-Netzwerkkarten nutzen zwischen 4 und max. 8 Lanes, je nachdem was das System rausgibt.
Heißt dein System "dümpelt" nach Spezifikation irgendwo zwischen 3,9 und 7,8 GBit/s brutto rum, mehr geht bei deinem Aufbau nicht.
Und dein Lenovo mit Asbach-Q85 Chipsatz kann nur PCIE2.0, da bleibst du im Idealfall schon bei 4GBit/s hängen, wobei der Chipsatz maximal 8 Lanes hat und sicherlich nicht alles der NIC zuordnet.

VG
Mitglied: 149569
149569 Nov 12, 2021 updated at 07:39:22 (UTC)
Goto Top
Zitat von @chgorges:
Selbst dann limitiert der PCIE-Bus.
Dein ASUS P10S WS Mainboard hat PCIE 3.0, AddOn-Netzwerkkarten nutzen zwischen 4 und max. 8 Lanes, je nachdem was das System rausgibt.
Heißt dein System "dümpelt" nach Spezifikation irgendwo zwischen 3,9 und 7,8 GBit/s brutto rum, mehr geht bei deinem Aufbau nicht.
Nee, PCIe 3.0 bietet pro Lane 8GBits/s (1GB/s), bei x4 wären das also schon 32GBit/s Brutto, also völlig ausreichend.

Zitat von @chgorges:
Und dein Lenovo mit Asbach-Q85 Chipsatz kann nur PCIE2.0, da bleibst du im Idealfall schon bei 4GBit/s hängen, wobei der Chipsatz maximal 8 Lanes hat und sicherlich nicht alles der NIC zuordnet.
Selbst hier wären es bei x4 und 500MB/s pro Lane 2GB/s also auch weit über den Werten die eine 10GBits Karte erreicht.
Member: mhard666
Solution mhard666 Nov 12, 2021 at 16:54:20 (UTC)
Goto Top
Guten Abend.

So, habe heute mal einen Binär-Heizkörper - sprich einen Supermicro Server aus den 2010er Jahren mit ner 10GBit/s Emulex Karte ausgegraben und getestet. Der Flaschenhals ist in der Tat der Lenovo-PC. In der Kombi Server - NAS komme ich auf 9,9 GBit/s im Schnitt. Das ist beruhigend face-wink

Danke nochmal an alle.

VG. mhard666