heimerdinger1000
Goto Top

Verbindung 10GB mit Switch

Hallo,
ich habe ein merkwürdiges Problem, welches ich mir nicht erklären kann.

Ausgangssituation:

Ich habe 2 Rechner mit 10GB-Netzwerkkarten über einen 10GB-Switch angebunden. Kopiere ich Dateien zwischen den Rechnern, oder mache eine Sicherung darüber, erreiche ich im Schnitt im höchsten Fall ca. 2GBits- Datendurchsatz.

Auf der einen Seite ist eine ASUS XG-C100C, auf der anderen Seite eine Mellanox 3 und ein Netgear 10GB-Switch.

In beiden Rechnern kopiert er auf eine NVME, sodass dies keine Beschränkung sein dürfte. Auch habe ich das Betriebssystem neu installiert und die aktuellesten Treiber eingesetzt.

Lasse ich aber das Programm Iperf3, sowohl auf dem Server und dem Client gleichzeitig laufen, also ich teste die Geschwindigkeit neben dem Kopieren, dann erreiche ich solange der Test läuft knapp unter 10 Gbits im Datendurchsatz beim Kopieren von Daten oder der Datensicherung.

Das bedeutet ja, dass in diesem Fall die maximal mögliche Geschwindigkeit des 10GB-Netzwerkes ausgereizt wird. Sobald ich aber iperf3 stoppe bricht es sofort auf 2 Gbits wieder ein.

Kann mir jemand einen Tipp geben?

Danke

Content-Key: 658842

Url: https://administrator.de/contentid/658842

Printed on: April 28, 2024 at 08:04 o'clock

Member: aqui
aqui Mar 04, 2021 updated at 18:37:50 (UTC)
Goto Top
Ich habe 2 Rechner mit 10GB-Netzwerkkarten über einen 10GB-Switch angebunden.
Wie denn ??
  • 10G Base T ?
  • LWL mit SFP+ Optik ?
  • DAC/Twinax Kabel ?
dann erreiche ich solange der Test läuft knapp unter 10 Gbits
Was ja zu erwarten wäre... face-wink
Das liegt am Protokoll...vermutlich. Leider teilst du uns das ja nicht mit . face-sad
Geraten vermuten wir aber mal das du das mit SMB/CIFS machst was Protokoll technisch eine sehr schleche Performance hat da es nur sehr sehr kleine Pakete nutzt.
Dazu kommt das Billigswitches wie du sie (vermutlich) verwendest sehr schwachbrüstige und fast immer überbuchte Port ASICs verwenden, die bei vielen kleinen Paketen bekanntlich sehr in die Knie gehen.
Zudem wirst du (auch geraten) sicherlich vergessen haben generell Jumbo Framing auf dem Switch aktiviert zu haben was bei 10G oder 40G Switches generell Pflicht sein sollte.
Diese 3 Parameter, ineffizentes Protokoll, schlechte Switch Hardware, kein Jumbo Framing führen dann zu dem Ergebnis. Sehr wahrscheinlich spielt dann dazu auch schlechte Plattenperformance, Treiber, Betreibssystem usw. zusätzlich noch dazu ohne das du es gemessen hast.
Das es an der Infrastruktur an sich ja nicht liegt zeigt der iPerf3 Test eindeutig, denn der sendet direkt im Layer 2 auf den Netzwerk Adapter ohne Protokoll Overhead, Plattenperformance dazwischen.
Sollte es eine 10G Base T Vernetzung sein kommt dazu das 10G Base T eine Negotiation Technologie ist. 10G erreicht man nur auf kurzen Kabellängen und mit absolut einwandfreien Kabeln. Ein Knick oder schlechte Stecker Verbindung oder zu kleiner Biege Radius usw. und es ist aus mit den 10G und nur 8, 6 oder weniger. Genau deshalb verwendet man auch nie 10G Base T bei der Server Vernetzung sondern immer DAC/Twinax oder LWL. Base T nur auf sehr kurzen Strecken mit entsprechendem Cat7 oder besserem Kabel.
Member: Heimerdinger1000
Heimerdinger1000 Mar 04, 2021 at 18:47:53 (UTC)
Goto Top
Mal danke für die ersten Infos:

Hier noch ein paar Ergänzungen: (damit man es besser einschätzen kann):

1 Fall: Ich sichere mittels Veeam den Rechner 1 komplett auf den Rechner 2. Alles NVMEs.

> maximal 2 Gbits-Datendurchsatz

2 Fall: wie Fall1, jedoch starte ich am Server (Rechner 2) iperf3 als Server und am Rechner 1 iperf3 als Client und messe dauerhaft den Durchsatz.

> erreiche dauerhaft knapp unter 10 GBits-Datendurchsatz

Warum muss ich nur iperf laufen lassen und die Sicherung mit Veeam läuft mit maximaler Geschwindigkeit? Den Overhead etc ist doch in beiden Fällen identisch,
Member: erikro
erikro Mar 04, 2021 at 19:20:27 (UTC)
Goto Top
Moin,

Zitat von @Heimerdinger1000:
1 Fall: Ich sichere mittels Veeam den Rechner 1 komplett auf den Rechner 2. Alles NVMEs.

> maximal 2 Gbits-Datendurchsatz

Das misst Du wie?

2 Fall: wie Fall1, jedoch starte ich am Server (Rechner 2) iperf3 als Server und am Rechner 1 iperf3 als Client und messe dauerhaft den Durchsatz.

> erreiche dauerhaft knapp unter 10 GBits-Datendurchsatz

Und das misst Du wie?

Warum muss ich nur iperf laufen lassen und die Sicherung mit Veeam läuft mit maximaler Geschwindigkeit?

Und dauert die Sicherung, die vorher eine Stunde gedauert hat, dann auch nur zwölf Minuten oder misst Du nur den höheren Datendurchsatz? Wenn das tatsächlich so ist, dass die Sicherung nur noch ein Fünftel der Zeit braucht, dann ist das ein Heisenbergsches Phänomen. Aber daran kann ich nicht wirklich glauben. Warum hat @aqui schon erklärt.

Liebe Grüße

Erik
Member: IT-Spezi
IT-Spezi Mar 04, 2021 updated at 19:32:55 (UTC)
Goto Top
Zitat von @Heimerdinger1000:

Hier noch ein paar Ergänzungen: (damit man es besser einschätzen kann):
2. Alles NVMEs.
Was denn für NVMes? Da gibt es RIESEN Unterschiede.
----> maximal 2 Gbits-Datendurchsatz
Wie gemessen? Wo steht der Wert?

Sind Jumbo-Frames überall aktiviert? (An beiden Karten und im Switch?)
Da Du hier 10GBase-T (Asus) mit QSFP+ einer Connectx-3 verbindest, was ist dazwischen? Was für ein Tranceiver? DAC? Was für ein Switch?

Gruß

its