cupra56
Goto Top

10gig Karte aber nur 10mbits

Hallo zusammen,
Ich benutze zwei Cluster auf Linux Basis. Beide Server sind identisch.
Es handelt sich um eine Hochverfügbarkeitslösung. Während auf einem der Beiden Server die vm läuft, pausiert sie auf dem anderen. Auf einem der beiden nodes ist der Netzwerktraffic allerdings sehr langsam. Es handelt sich um die selbe Vm die ich entweder auf Node 0 oder 1 laufen lassen kann. Also kann es nicht an einer Einstellung der Vm liegen. Beide Server sind mit 10gig Karten ausgestattet. Die Server sind an identischen switchen angeschlossen. Ports und Kabel habe ich bereits getauscht, benutzt werden Cat 6 sstp Kabel. Nun meine Frage kann irgend eine BIOS Einstellung den Netzwerk traffic begrenzen? Ich weiß nicht wo der Fehler sein kann. Ich bedanke mich schonmal für eventuelle Lösungsvorschläge.

Content-Key: 549226

Url: https://administrator.de/contentid/549226

Printed on: March 1, 2024 at 17:03 o'clock

Member: SeaStorm
SeaStorm Feb 19, 2020 at 19:21:43 (UTC)
Goto Top
Hi

also deine Frage lässt aber auch mal JEGLICHES Detail vermissen ...
Welche Server?
Welche Netzwerkkarten?
Welcher "Cluster auf Linux Basis"?
Welcher Hypervisor?
Welche Switche?


kann irgend eine BIOS Einstellung den Netzwerk traffic begrenzen
Fällt mir jetzt spontan keine ein, kommt aber natürlich auf das BIOS und die dort verfügbaren Settings an
Member: CUPRA56
CUPRA56 Feb 19, 2020 at 19:28:57 (UTC)
Goto Top
Hallo, danke für die schnelle Rückmeldung.
Die fehlenden Informationen trage ich morgen nach.
Mitglied: 142583
142583 Feb 19, 2020 at 19:47:06 (UTC)
Goto Top
Ja, eine Einstellung in BIOS könnte der Grund sein.
Member: CUPRA56
CUPRA56 Feb 19, 2020 at 20:00:37 (UTC)
Goto Top
Ich könnte die entsprechenden Informationen jetzt schon zusammen tragen.
Welcher Server? Tarox Parx r2082i G6
Welche Netzwerkkarten? 2x Intel nic 10GiG/ 1xIntel Nic 10 Gigabit Dual Port x550 T2
Welcher Cluster? Stratus Everrun Cent Os
Hypervisor? KVM
Welche switche? Netgear 12 Port 10GB smart managed pro
Member: CUPRA56
CUPRA56 Feb 19, 2020 at 20:02:51 (UTC)
Goto Top
Hallo IT-Prof, ist Ihnen bekannt wie dieses Setting heißt?
Mitglied: 142583
142583 Feb 19, 2020 at 20:10:46 (UTC)
Goto Top
Nicht ausm Hut, weil ich weder mit Tarox noch mit Intel NICs viel zu tun habe.

Das könnte man aber auch einfach prüfen, ob es so ist.
Ist es möglich, den Server mit einem anderen OS zu booten?
Mitglied: 142583
142583 Feb 19, 2020 at 20:14:25 (UTC)
Goto Top
Die genannte Karte kann diese Speeds laut Intel:

• 10 Gb/s, 10GBASE-T mode
• 5 Gb/s, NBASE-T mode
• 2.5 Gb/s, NBASE-T mode
• 1 Gb/s, 1000BASE-T mode
• 100 Mb/s, 100BASE-TX mode
Member: CUPRA56
CUPRA56 Feb 19, 2020 at 20:26:17 (UTC)
Goto Top
Momentan nicht möglich.
Member: SeaStorm
SeaStorm Feb 19, 2020 at 20:49:53 (UTC)
Goto Top
OK und tritt das Problem nur aus der VM heraus aus, oder auch am CentOS ?
Kannst du mal auf beiden mit iperf oÄ testen?
Member: Spirit-of-Eli
Spirit-of-Eli Feb 19, 2020 at 21:23:50 (UTC)
Goto Top
Moin,

lass erstmal einen iperf von dem einen Node zum anderen laufen. Danach sehen wir weiter.

Gruß
Spirit
Member: NetzwerkDude
NetzwerkDude Feb 19, 2020 at 22:24:17 (UTC)
Goto Top
Nimm mal etwas traffic auf (okay bei 10Gbit nicht so einfach) - schau dir vor allem die SYNs an und prüf ob die TCP Flags (z.B. SACK) gleich aussehen. Oder ist gibt auf Layer2 ein problem weil jemand behauptet Jumboframes zu unterstützen, es aber doch nicht tut.

In so >1Gbit Umgebungen kommt es auch gerne vor das Themen wie Offloading nicht korrekt an den Hypervisor weitergegeben werden - daher spasshalber TCP offload in der VM abschalten (wird zwar die CPU Last hochtreiben, aber als Test ob es besser wird)
Member: maretz
maretz Feb 20, 2020 at 03:55:20 (UTC)
Goto Top
Ok - WO siehst du das es 10 mbit sind? Siehst du das am Switch-Port? An der Netzwerkkarte? Oder ist das der Traffic den du siehst - z.B. beim Dateikopieren? Sind es ALLE Maschinen auf dem Server oder nur die VMs?

Die BIOS-Einstellung wird da nix begrenzen - warum auch, das hat an der Stelle nix mehr zu melden. Deine Kiste ist gebootet, deine Netzwerkkarte sollte wenn nen eigenes Bios haben (und da kann man ne 10 Gig-Karte nich auf 10 mBit schalten da die das idR nicht mal mehr supportet, die können meist nur 1 GBit als minimum). Aber dein Bios wird der 10 GBit-Karte keine Vorgaben machen... Ich vermute mal entweder du hast murks in deinen VMs eingestellt (doppelte IP z.B. so das du ständig in Konflikte rennst) ODER du hast in deinen Switches unsinn gemacht. Dafür müsste aber erst mal klar sein wie du auf die 10 mBit kommst und ob es eben am Draht ist oder ob es aus der VM raus ist... Ggf. hast du auch z.B. die MTUs hochgedreht aber vergessen dem Switch das auch zu erklären...
Member: CUPRA56
CUPRA56 Feb 20, 2020 at 13:09:11 (UTC)
Goto Top
Danke für die Tipps, ich werde iperf ausprobieren.
Zu Maretz: An der Vm kann es nicht liegen wenn ich die auf den anderen Node Move dann ist die Übertragungsrate angemessen.
An den switchen wurde ebenfalls nichts gemacht, ausserdem habe ich beim Tausch der switche das selbe Problem. Ich habe eine Software benutzt komme gerade nicht auf den Namen die Test Pakete über IP verschickt. Dort wird mir ein max Wert von 10 mbits angezeigt und bei einfachem kopieren über eine Netzwerkfreigabe überschreiten ich die 10mbits auch kaum. Ist die Vm auf dem anderen Node läuft alles normal. Ich folge erstmal den hier vorgeschlagenen Aktionen und melde mich danach zurück.
Member: Grinskeks
Grinskeks Feb 20, 2020 at 13:52:12 (UTC)
Goto Top
Hi,

tausche doch mal die Netzwerkkarten.

Wenn das Problem mit der Netzwerkkarte wandert, ist diese ursächlich für das Verhalten. Wenn nach dem Tausch keine Probleme mehr auftreten, war ein Fremdkörper in der Buchse der Karte face-wink


Gruß
Grinskeks
Member: Fr4nky
Fr4nky Feb 20, 2020 updated at 19:31:09 (UTC)
Goto Top
Um das auch noch auszuschließen würde ich mal die eingesetzten Kabel tauschen.

Hast du mal nen anderen port am Switch probiert?

Sind VLans auf dem Switch eingerichtet?

Welche Netzwerkgeschwindigkeit wird am Netgear für den Port angezeigt?

Hast du die VirtIO Treiber von Stratus auf beiden Hosts bzw. Nodes aktualisiert. Ich weiß nicht mehr genau, ob das nur bei Windows VMs nötig war...
Member: CUPRA56
CUPRA56 Feb 24, 2020 at 19:15:54 (UTC)
Goto Top
Hallo zusammen, virto Treiber alle aktuell.
Ports und Kabel bereits getauscht mit iperf ebenfalls getestet vom Cent Os und von der Vm beide male das gleich schlechte Ergebnis.
TCP offload ebenfalls abgeschaltet und auch kein Unterschied. Ich werde morgen noch die MTUs am Switch anpassen.
Member: NetzwerkDude
NetzwerkDude Feb 24, 2020 at 20:11:53 (UTC)
Goto Top
Kannst du den Netzwerkverkehr über einen mirror port am Switch auszeichnen? (im zweifel direkt am server via tcpdump) , einmal gut und einmal schlecht, dann die pcap zur Verfügung stellen - Ich würds mir anschaun, vielleicht finden wir was.
Member: CUPRA56
CUPRA56 Feb 29, 2020 at 13:06:49 (UTC)
Goto Top
Hallo zusammen, ich habe das Problem lösen können. Danke an alle für die Hilfe.
Member: SeaStorm
SeaStorm Feb 29, 2020 at 13:48:29 (UTC)
Goto Top
Freut uns. Und was war die Lösung? Vielleicht stolpert ja mal jemand anderes über das Problem und würde sich über eine Lösung freuen ....