10 Gigabit Netzwerk plötzlich nur noch bei 3Gigabit. Wo liegt der Fehler ?

linuxuser27
Goto Top
Hallo an alle Netzwerk und Proxmox Experten, folgendes ist passiert:
Ich habe meinen Proxmox Home Server ein stromsparendes Upgrade gegönnt.
Nachdem ich diesen zusammengebaut hatte, die Mellanox Connect X2 Single Port Karte (Server) wieder mit meinem Hauptsystem Debian 11 Bullseye über ein SFP+ DAC Kabel ordnungsgemäß miteinander verbunden habe, zeigt er mir beim ersten Test mit iperf3 zwischen beiden 10,9 an, aktuell leider nur noch 3,7. Intern von VM zu Proxmox passt alles, aber das Hauptproblem besteht zwischen den beiden Systemen, die direkt ohne Switch verbunden sind. MTU habe ich auf beiden Systemen Standard eingestellt entspricht 1500 An welcher Einstellung kann es liegen ?
Freue mich über hilfreiche Vorschläge

Systemkomponenten Server:
CPU = Intel i3 6100
RAM = Kingston Fury DDR 4 8GB
MB = Gigabyte Q170M - D3H
System = Proxmox 7.2-7
Netzteil = Compat Power 550W
HDD = 2x 1TB NAS Platten
SSD: 2x Crucial MX 500GB und 1x Emtec X 150 120GB
Netzwerk: Mellanox Connect X2
Intel Gigabit LAN

Systemkomponenten Debian 11 (Bullseye Desktop Rechner:
CPU = Intel i5 7400
RAM = Kingston Fury DDR4 8GB
MB: = Asus Prime B250
Netzteil = Cooler Master 550W
GPU: Nvidia GTX 660ti
Netzwerk = Intel Gigabit Lan
Mellanox Connect X2

Content-Key: 3512943506

Url: https://administrator.de/contentid/3512943506

Ausgedruckt am: 18.08.2022 um 23:08 Uhr

Mitglied: Vision2015
Vision2015 01.08.2022 um 14:51:46 Uhr
Goto Top
Moin...

ich bezweifel das ein i3 dazu in der lage ist...
abgesehen davon, deine 1TB NAS Platten, Crucial MX und Emtec X 150 haben nicht mal leistung für 5 GBit, also sind deine 3,5 GBit schon OK.

Frank
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 aktualisiert um 15:02:06 Uhr
Goto Top
Hallo Frank,
komischerweise hatte ich am Anfang trotzdem 10,9 nach Iperf3 Messung, bei gleicher Hardware.
Kann es am Kabel liegen oder sind DAC Sfp+ Kabel nicht so empfindlich ?
Mitglied: kaiand1
kaiand1 01.08.2022 um 15:31:21 Uhr
Goto Top
Zitat von @Linuxuser27:

Hallo Frank,
komischerweise hatte ich am Anfang trotzdem 10,9 nach Iperf3 Messung, bei gleicher Hardware.
Kann es am Kabel liegen oder sind DAC Sfp+ Kabel nicht so empfindlich ?

Hi
Wird eher sein das der Ram/Cache mit den Daten Gefüllt wurde und du daher auf eine Höhere Geschwindigkeitsanzeige gekommen bist.
Als der Voll war ist die Reale Geschwindigkeit Angezeigt worden.
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 um 15:33:42 Uhr
Goto Top
Ok klingt logisch, wie bekomme ich den Cache denn dann wieder frei, habe es mit Neustart versucht aber gleiches Ergebnis
Mitglied: Vision2015
Vision2015 01.08.2022 um 15:38:45 Uhr
Goto Top
Moin...
Zitat von @Linuxuser27:

Hallo Frank,
komischerweise hatte ich am Anfang trotzdem 10,9 nach Iperf3 Messung, bei gleicher Hardware.
kann ich mir kaum vorstellen... du hast nicht ein medium was nur ansatzweise 1280 MB in der sekunde Übertragen könnte! auch wenn wir mal 5 gerade sein lassen, und du nur 1000 MB in der sekunde übertragen würdest, machen deine Festplatten nicht mal ansatzweise mit, deine SSDs machen mit cache max 550 MB in der sekunde!
mit einer RAM disk wäre das möglich... aber nicht mit dem was du so verbaut hast!
Kann es am Kabel liegen oder sind DAC Sfp+ Kabel nicht so empfindlich ?
glaube ich eher weniger!

Frank
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 um 15:47:05 Uhr
Goto Top
Ok das habe ich verstanden, habe noch eine NVME Platte hier rum liegen, wenn ich die einbaue müsste es gehen face-smile
Wollte ich eh noch testen.

Anbei noch Bilder zur aktuellen Konfiguration
screenshot 2022-08-01 at 15-41-54 pve - proxmox virtual environment
screenshot 2022-08-01 at 15-43-00 pve - proxmox console
Mitglied: Lochkartenstanzer
Lochkartenstanzer 01.08.2022 um 16:16:37 Uhr
Goto Top
Moin,

iirc hat iperf nichts mit den Datenträgern am Hut. Das mißt nur den Netzwerkdurchsatz und die Latenz.

Also bei der Netzwerkkarte, den Kabeln und auch den Netzwerkeinstellungen (JumboFrames!) suchen.

lks
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 um 16:22:34 Uhr
Goto Top
Guter Einwand, also NVME läuft. Werde das mit den Jumbo Frames gleich mal testen
Mitglied: Lochkartenstanzer
Lochkartenstanzer 01.08.2022 um 16:42:20 Uhr
Goto Top
Zufälliger Netzfund: Testing 10G network with iperf
Mitglied: silent-daniel
silent-daniel 01.08.2022 um 16:51:24 Uhr
Goto Top
Versuche mal die Jumbo Frames.

Aber ist doch egal ob du theoretisch 10 oder 3 GB/s hast.
Du muss die Daten her bekommen und wieder verarbeiten.
Da Sehe ich bei deiner Hardware eher das Problem.
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 aktualisiert um 17:19:57 Uhr
Goto Top
Ne da hat sich irgendwas anderes verstellt mit Jumbo Frames trotzdem keine 10,9 wie am Anfang.
Hier ein Bild mit Jumbo Frames:

Vllt. doch das Kabel ?

Von Nvme auf SSD erreicht er 380 Mbit, da ich aber eine Samsung SSD drin habe sollten 500Mbit drin sein.
Was habe ich nur festellt ??????

PS: Intern von Proxmox zur VM ist alles 1A siehe zweites Bild
screenshot 2022-08-01 at 16-43-50 pve - proxmox console
intern proxmox und vm
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 um 17:33:09 Uhr
Goto Top
Zitat von @silent-daniel:

Versuche mal die Jumbo Frames.

Aber ist doch egal ob du theoretisch 10 oder 3 GB/s hast.
Du muss die Daten her bekommen und wieder verarbeiten.
Da Sehe ich bei deiner Hardware eher das Problem.

Nun ich will lediglich einen stromsparenden Home Server bauen, mit bissl Streaming über jellyfin
Mitglied: Fazar88
Fazar88 01.08.2022 um 17:48:30 Uhr
Goto Top
ein stromsparendes Upgrade gegönnt



Das wirds sein.

Stromsparend und volle Leistung is nich!
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 um 18:30:29 Uhr
Goto Top
Zitat von @Fazar88:

ein stromsparendes Upgrade gegönnt



Das wirds sein.

Stromsparend und volle Leistung is nich!

Ergibt leider keinen Sinn, da es beim ersten Test nachdem Zusammenbau einwandfrei mit 10,9 lief über Iperf3
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 aktualisiert um 18:52:08 Uhr
Goto Top
Werde mir mal anderes Kabel zum testen bestellen um dieses als Fehler ausschließen zu können. Ist unterwegs laut Amazon.
CPU Auslastung nicht mal 15% während IPerf3
Sieht für mich eher nach Einstellungssache aus, nur welche ???
Mitglied: Fazar88
Fazar88 01.08.2022 um 19:04:08 Uhr
Goto Top
Sorry, da hab ich wohl was falsch interpretiert...
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 um 19:05:07 Uhr
Goto Top
Ok läuft mit Hyper Threading und bis zu 4 Cores
Mitglied: SeaStorm
SeaStorm 01.08.2022 um 22:05:51 Uhr
Goto Top
Hi

wenn du iperf laufen hast, ist dann zufällig der Prozess virtio_pci am Anschlag?
Wenn ja, dann hast du wahrscheinlich die Hardwarebeschleunigung der NIC nicht eingeschaltet oder die Karte unterstützt das nicht (bzw dir fehlt der richtige Treiber)
Mitglied: Linuxuser27
Linuxuser27 01.08.2022 um 22:32:39 Uhr
Goto Top
Zitat von @SeaStorm:

Hi

wenn du iperf laufen hast, ist dann zufällig der Prozess virtio_pci am Anschlag?
Wenn ja, dann hast du wahrscheinlich die Hardwarebeschleunigung der NIC nicht eingeschaltet oder die Karte unterstützt das nicht (bzw dir fehlt der richtige Treiber)

Ich verwende unter Proxmox den Kernel Treiber drivers/net/ethernet/mellanox/mlx4/
sowie unter Debian 11
Mitglied: Lochkartenstanzer
Lochkartenstanzer 03.08.2022 um 19:23:39 Uhr
Goto Top
Zitat von @Linuxuser27:

Was kann ich jetzt noch tun?

Boote beide Kisten mit einem USB-OS (z.B. knoppix, windows2go, ct-notfallwindows, debian-llive, etc.) und schau, ob sich da Änderungen ergeben.

lks
Mitglied: Linuxuser27
Linuxuser27 03.08.2022 um 19:24:00 Uhr
Goto Top
So heute kamm das Kabel von Amazon, leider keine Besserung. Damit kann das Kabel auch ausgeschlossen werden. Habe nun beide Interface das auf Proxmox und auf Debian 11 auf 9000 MTU gestellt, trotzdem erreiche ich nur schlappe 4,16 Gbytes, wo vorher 10,9 Gbytes waren. Beide Karten starten ganz normal ping läuft auch!
Bios Reset auf Default leider keine Besserung. Beide Karten werden als x8 erkannt und stecken beide jeweils im oberen x16 Slot.

Kleiner Auszug vom letzten iperf3 Test:

jens@gamingnode:~$ iperf3 -c 192.168.5.1
Connecting to host 192.168.5.1, port 5201
[ 5] local 192.168.5.2 port 42716 connected to 192.168.5.1 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 429 MBytes 3.60 Gbits/sec 2 848 KBytes
[ 5] 1.00-2.00 sec 426 MBytes 3.58 Gbits/sec 1 918 KBytes
[ 5] 2.00-3.00 sec 426 MBytes 3.58 Gbits/sec 1 900 KBytes
[ 5] 3.00-4.00 sec 426 MBytes 3.57 Gbits/sec 0 900 KBytes
[ 5] 4.00-5.00 sec 426 MBytes 3.57 Gbits/sec 1 883 KBytes
[ 5] 5.00-6.00 sec 425 MBytes 3.57 Gbits/sec 0 891 KBytes
[ 5] 6.00-7.00 sec 426 MBytes 3.58 Gbits/sec 0 918 KBytes
[ 5] 7.00-8.00 sec 426 MBytes 3.58 Gbits/sec 2 891 KBytes
[ 5] 8.00-9.00 sec 426 MBytes 3.58 Gbits/sec 1 918 KBytes
[ 5] 9.00-10.00 sec 425 MBytes 3.57 Gbits/sec 0 918 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 4.16 GBytes 3.58 Gbits/sec 8 sender
[ 5] 0.00-10.00 sec 4.16 GBytes 3.57 Gbits/sec receiver

Im normalen Iperf ohne 3 bekomme ich das selbe Ergebnis:

root@pve:~# iperf -s
Server listening on TCP port 5001
TCP window size: 128 KByte (default)
[ 4] local 192.168.5.1 port 5001 connected with 192.168.5.2 port 49750
[ ID] Interval Transfer Bandwidth
[ 4] 0.0000-10.0054 sec 4.16 GBytes 3.57 Gbits/sec






Was kann ich jetzt noch tun?
Mitglied: Linuxuser27
Linuxuser27 03.08.2022 um 20:40:04 Uhr
Goto Top
Live USB Linux Mint zu UsB Live Linux Mint auf beiden Kisten = selbes Ergebnis 😥was nun ?. Bin mit meinem Latein am Ende.
Mitglied: Lochkartenstanzer
Lochkartenstanzer 03.08.2022 um 22:24:30 Uhr
Goto Top
Mit Jumboframes?
Mitglied: Linuxuser27
Linuxuser27 03.08.2022 um 23:09:40 Uhr
Goto Top
Japp beide auf 9000 eingestellt aber wieder nur 4,16. Woran liegt das denn nur verdammt??!?
Mitglied: Lochkartenstanzer
Lochkartenstanzer 03.08.2022 um 23:17:29 Uhr
Goto Top
Zitat von @Linuxuser27:

Japp beide auf 9000 eingestellt aber wieder nur 4,16. Woran liegt das denn nur verdammt??!?

Hast Du einen swicth, den Du dazwischenklemmen könntest.

lks
Mitglied: Linuxuser27
Linuxuser27 03.08.2022 aktualisiert um 23:37:03 Uhr
Goto Top
Nein habe keinen, habe bisher immer direkt verbunden also Karte mit DAC von Cisco zum anderen Rechner ebenfalls die selbe Karte
ethtool ergibt Link Speed 10000baseT.
Könnte es am Interface in Proxmox liegen bzw. nochmal neu anlegen??
Mitglied: Lochkartenstanzer
Lochkartenstanzer 03.08.2022 um 23:42:26 Uhr
Goto Top
Zitat von @Linuxuser27:

Nein habe keinen, habe bisher immer direkt verbunden also Karte mit DAC von Cisco zum anderen Rechner ebenfalls die selbe Karte
ethtool ergibt Link Speed 10000baseT.
Könnte es am Interface in Proxmox liegen bzw. nochmal neu anlegen??

Ich denke, Du hast das live-linux direkt auf der hardware gebootet und nicht unter proxmox.

lks
Mitglied: Linuxuser27
Linuxuser27 03.08.2022 um 23:57:26 Uhr
Goto Top
Japp habe ich trotzdem immer noch gleiches Ergebnis leider 🥲
Mitglied: Lochkartenstanzer
Lochkartenstanzer 04.08.2022 um 00:01:54 Uhr
Goto Top
Zitat von @Linuxuser27:

Japp habe ich trotzdem immer noch gleiches Ergebnis leider 🥲

Da weiß meine Kristallkugel im Moment keinen Rat mehr. Sorry,

lks
Mitglied: Linuxuser27
Linuxuser27 04.08.2022 aktualisiert um 10:02:00 Uhr
Goto Top
Ich kann's auch nicht verstehen.
CPU hat 16 Landes im ersten Slot, also müsste es normalerweise funktionieren.
Ist außerdem ein PCIE 3.0.
Bleibt mir wohl nur eine Neuinstallation
Mitglied: Lochkartenstanzer
Lochkartenstanzer 04.08.2022 um 10:32:04 Uhr
Goto Top
Zitat von @Linuxuser27:

Ich kann's auch nicht verstehen.
CPU hat 16 Landes im ersten Slot, also müsste es normalerweise funktionieren.
Ist außerdem ein PCIE 3.0.
Bleibt mir wohl nur eine Neuinstallation

Wenn Du tatsächlich von USBStick gestartet hast (also kein Proxmox, sondern das live-linux) und das auf beiden PCs, wird eine Neuinstallation nicht unbedingt helfen. Du solltest testweise auch mal einen andere Live-Linux-Distribution, vorzugsweise knoppix, probieren.

lks
Mitglied: Linuxuser27
Linuxuser27 04.08.2022 aktualisiert um 10:51:09 Uhr
Goto Top
Ok, werde es nochmal mit knoppix versuchen.
So eben Knoppix 9.1 auf beide Sticks kopieren und dann mal schauen
Mitglied: Lochkartenstanzer
Lochkartenstanzer 04.08.2022 um 10:51:47 Uhr
Goto Top
Zitat von @Linuxuser27:

Ok, werde es nochmal mit knoppix versuchen

Um den Test vollstängig zu machen, würde ich auch noch ein Windows2Go dazunehmen.

lks
Mitglied: Linuxuser27
Linuxuser27 04.08.2022 aktualisiert um 13:13:28 Uhr
Goto Top
Ok, HBCD ist vorhanden, dann bin ich jetzt mal testen
habe nun einen Stick mit knoppix und einen mit ventoy.
So ein Mist leider keine Besserung, siehe Bilder.

https://ibb.co/BydFM4B
https://ibb.co/tzjwrXC
https://ibb.co/8NG7f5Y
https://ibb.co/r0LQByj
https://ibb.co/b7hS0dP
https://ibb.co/5kBTxhY
https://ibb.co/Z2S3rLc
https://ibb.co/dcTVc0B
https://ibb.co/j6h51Lk
https://ibb.co/gDhT9BR
https://ibb.co/8NwcXW9

Beide Rechner haben insgesamt 4 Kerne
Mitglied: Linuxuser27
Linuxuser27 04.08.2022 um 19:06:01 Uhr
Goto Top
Mitglied: Linuxuser27
Linuxuser27 04.08.2022 um 19:40:12 Uhr
Goto Top
Mitglied: Vision2015
Vision2015 04.08.2022 um 20:25:19 Uhr
Goto Top

bitte lade doch die bilder im forum hoch, externe liks tut sich keiner gerne an

Frank
Mitglied: Linuxuser27
Linuxuser27 04.08.2022 aktualisiert um 21:38:05 Uhr
Goto Top
Geht nicht !!
Mitglied: Vision2015
Vision2015 05.08.2022 aktualisiert um 06:26:48 Uhr
Goto Top
Moin,
Zitat von @Linuxuser27:

Geht nicht !!
doch... geht
booster
Mitglied: silent-daniel
silent-daniel 05.08.2022 um 07:21:34 Uhr
Goto Top
kannst du iperf mal umgekehrt versuchen. von 192.168.5.2 zu 192.168.5.1
Mitglied: Linuxuser27
Linuxuser27 05.08.2022 um 08:46:31 Uhr
Goto Top
OK wird gemacht.
Wenn ich ein Bild hochladen will kommt immer undefined?
Mitglied: Linuxuser27
Linuxuser27 05.08.2022 um 11:14:03 Uhr
Goto Top
So Iperf3 Test mit 192.168.5.2 als Server, aber keine Änderung ace-sad"
screenshot 2022-08-05 at 11-01-40 pve - proxmox console
Mitglied: Vision2015
Vision2015 05.08.2022 um 11:21:15 Uhr
Goto Top
Moin..
Zitat von @Linuxuser27:

So Iperf3 Test mit 192.168.5.2 als Server, aber keine Änderung ace-sad"

und ich bleibe dabei, deine Hardware kann nicht mehr!

Frank
Mitglied: Linuxuser27
Linuxuser27 05.08.2022 aktualisiert um 18:34:48 Uhr
Goto Top
Also an der CPU kann es nicht liegen, habe in einem anderen Forum gesehen das es mit dieser Cpu läuft.
Hier ein Auszug des Beitrages:

Aus dem Forum hardwareluxx:

CPU: Intel Core i3-6100
RAM: 2x 16GB Crucial DDR4 ECC UDIMM
Mainboard: Fujitsu D3402-B11 GS3
HDD: 4x WD White Label 6TB 5400RPM 3.5"
SATA SSD: 1x 128GB Hynix SSD + 1x 1TB SanDisk SSD
NVMe SSD: 1x Sabrent PCIe 3.0 1TB SSD, 1x Crucial P1 2TB SSD (eine direkt am Mainboard via M.2 angeschlossen, die andere mit einem PCIe-Adapter
Netzwerkkarte: Mellanox ConnectX-3

Lüfter: 3x Noctua NF-A12x25, 1x Noctua NF-A9
Netzteil: Corsair SF450 Platinum
OS: Ubuntu 22.04 LTS Server

Ich versuche es mal mit einer älteren Proxmox Version, nicht das am Ende ein Update Schuld ist.
Mitglied: incisor2k
incisor2k 06.08.2022 um 19:34:30 Uhr
Goto Top
Servus.
Habe eine ähnliche Systemkonfiguration wie du. Nutze allerdings kein Proxmox, sondern TrueNAS auf der Kiste.
Wenn ich iperf bei einfacher Übertragung laufen lasse, erhalte ich ebenfalls nur Ergebnisse zwischen 4 und 6 GBit/s.
Nutze mal den zusätzlichen Parameter "-P 3" Damit werden 3 gleichzeitige Übertragungen erzeugt.
Was kommt dann raus?
Mitglied: Linuxuser27
Linuxuser27 07.08.2022 um 10:51:23 Uhr
Goto Top
Ok werde ich versuchen, mit einer alten Proxmox bzw. vorherigen 7.1 gleiches Ergebnis, glaube nun doch an die CPU als Bottleneck, hatte vorher Xeon E5 2630v1