10gig Karte aber nur 10mbits

Hallo zusammen,
Ich benutze zwei Cluster auf Linux Basis. Beide Server sind identisch.
Es handelt sich um eine Hochverfügbarkeitslösung. Während auf einem der Beiden Server die vm läuft, pausiert sie auf dem anderen. Auf einem der beiden nodes ist der Netzwerktraffic allerdings sehr langsam. Es handelt sich um die selbe Vm die ich entweder auf Node 0 oder 1 laufen lassen kann. Also kann es nicht an einer Einstellung der Vm liegen. Beide Server sind mit 10gig Karten ausgestattet. Die Server sind an identischen switchen angeschlossen. Ports und Kabel habe ich bereits getauscht, benutzt werden Cat 6 sstp Kabel. Nun meine Frage kann irgend eine BIOS Einstellung den Netzwerk traffic begrenzen? Ich weiß nicht wo der Fehler sein kann. Ich bedanke mich schonmal für eventuelle Lösungsvorschläge.

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 549226

Url: https://administrator.de/contentid/549226

Ausgedruckt am: 21.11.2024 um 18:11 Uhr

19 Kommentare

Neuester Kommentar

Hi

also deine Frage lässt aber auch mal JEGLICHES Detail vermissen ...
Welche Server?
Welche Netzwerkkarten?
Welcher "Cluster auf Linux Basis"?
Welcher Hypervisor?
Welche Switche?

kann irgend eine BIOS Einstellung den Netzwerk traffic begrenzen

Fällt mir jetzt spontan keine ein, kommt aber natürlich auf das BIOS und die dort verfügbaren Settings an

Hallo, danke für die schnelle Rückmeldung.
Die fehlenden Informationen trage ich morgen nach.

Ja, eine Einstellung in BIOS könnte der Grund sein.

Ich könnte die entsprechenden Informationen jetzt schon zusammen tragen.
Welcher Server? Tarox Parx r2082i G6
Welche Netzwerkkarten? 2x Intel nic 10GiG/ 1xIntel Nic 10 Gigabit Dual Port x550 T2
Welcher Cluster? Stratus Everrun Cent Os
Hypervisor? KVM
Welche switche? Netgear 12 Port 10GB smart managed pro

Hallo IT-Prof, ist Ihnen bekannt wie dieses Setting heißt?

Nicht ausm Hut, weil ich weder mit Tarox noch mit Intel NICs viel zu tun habe.

Das könnte man aber auch einfach prüfen, ob es so ist.
Ist es möglich, den Server mit einem anderen OS zu booten?

Die genannte Karte kann diese Speeds laut Intel:

• 10 Gb/s, 10GBASE-T mode
• 5 Gb/s, NBASE-T mode
• 2.5 Gb/s, NBASE-T mode
• 1 Gb/s, 1000BASE-T mode
• 100 Mb/s, 100BASE-TX mode

Momentan nicht möglich.

OK und tritt das Problem nur aus der VM heraus aus, oder auch am CentOS ?
Kannst du mal auf beiden mit iperf oÄ testen?

Moin,

lass erstmal einen iperf von dem einen Node zum anderen laufen. Danach sehen wir weiter.

Gruß
Spirit

Nimm mal etwas traffic auf (okay bei 10Gbit nicht so einfach) - schau dir vor allem die SYNs an und prüf ob die TCP Flags (z.B. SACK) gleich aussehen. Oder ist gibt auf Layer2 ein problem weil jemand behauptet Jumboframes zu unterstützen, es aber doch nicht tut.

In so >1Gbit Umgebungen kommt es auch gerne vor das Themen wie Offloading nicht korrekt an den Hypervisor weitergegeben werden - daher spasshalber TCP offload in der VM abschalten (wird zwar die CPU Last hochtreiben, aber als Test ob es besser wird)

Ok - WO siehst du das es 10 mbit sind? Siehst du das am Switch-Port? An der Netzwerkkarte? Oder ist das der Traffic den du siehst - z.B. beim Dateikopieren? Sind es ALLE Maschinen auf dem Server oder nur die VMs?

Die BIOS-Einstellung wird da nix begrenzen - warum auch, das hat an der Stelle nix mehr zu melden. Deine Kiste ist gebootet, deine Netzwerkkarte sollte wenn nen eigenes Bios haben (und da kann man ne 10 Gig-Karte nich auf 10 mBit schalten da die das idR nicht mal mehr supportet, die können meist nur 1 GBit als minimum). Aber dein Bios wird der 10 GBit-Karte keine Vorgaben machen... Ich vermute mal entweder du hast murks in deinen VMs eingestellt (doppelte IP z.B. so das du ständig in Konflikte rennst) ODER du hast in deinen Switches unsinn gemacht. Dafür müsste aber erst mal klar sein wie du auf die 10 mBit kommst und ob es eben am Draht ist oder ob es aus der VM raus ist... Ggf. hast du auch z.B. die MTUs hochgedreht aber vergessen dem Switch das auch zu erklären...

Danke für die Tipps, ich werde iperf ausprobieren.
Zu Maretz: An der Vm kann es nicht liegen wenn ich die auf den anderen Node Move dann ist die Übertragungsrate angemessen.
An den switchen wurde ebenfalls nichts gemacht, ausserdem habe ich beim Tausch der switche das selbe Problem. Ich habe eine Software benutzt komme gerade nicht auf den Namen die Test Pakete über IP verschickt. Dort wird mir ein max Wert von 10 mbits angezeigt und bei einfachem kopieren über eine Netzwerkfreigabe überschreiten ich die 10mbits auch kaum. Ist die Vm auf dem anderen Node läuft alles normal. Ich folge erstmal den hier vorgeschlagenen Aktionen und melde mich danach zurück.

Hi,

tausche doch mal die Netzwerkkarten.

Wenn das Problem mit der Netzwerkkarte wandert, ist diese ursächlich für das Verhalten. Wenn nach dem Tausch keine Probleme mehr auftreten, war ein Fremdkörper in der Buchse der Karte

Gruß
Grinskeks

Um das auch noch auszuschließen würde ich mal die eingesetzten Kabel tauschen.

Hast du mal nen anderen port am Switch probiert?

Sind VLans auf dem Switch eingerichtet?

Welche Netzwerkgeschwindigkeit wird am Netgear für den Port angezeigt?

Hast du die VirtIO Treiber von Stratus auf beiden Hosts bzw. Nodes aktualisiert. Ich weiß nicht mehr genau, ob das nur bei Windows VMs nötig war...

Hallo zusammen, virto Treiber alle aktuell.
Ports und Kabel bereits getauscht mit iperf ebenfalls getestet vom Cent Os und von der Vm beide male das gleich schlechte Ergebnis.
TCP offload ebenfalls abgeschaltet und auch kein Unterschied. Ich werde morgen noch die MTUs am Switch anpassen.

Kannst du den Netzwerkverkehr über einen mirror port am Switch auszeichnen? (im zweifel direkt am server via tcpdump) , einmal gut und einmal schlecht, dann die pcap zur Verfügung stellen - Ich würds mir anschaun, vielleicht finden wir was.