17
SG500XG-8F8T Port Flapping + zu heiß?
Hallo !
ich habe nach ca. 1 Jahr Betrieb ein wenig Probleme mit port flapping auf meinen 10Gbe RJ45 Kupfer Ports (nicht bei den SFP+). Wenn ich einmal mit der Hand "sanft die Kabel streichel", flattern mir hier direkt die passenden vcenter Alerts dazu rein. Äußert sich im Logging dementsprechend auch so:
2147483156 2018-May-15 16:15:44 Warning %STP-W-PORTSTATUS: te2/1: STP status Forwarding
2147483157 2018-May-15 16:15:39 Informational %LINK-I-Up: te2/1
2147483158 2018-May-15 16:15:33 Warning %STP-W-PORTSTATUS: te2/4: STP status Forwarding
2147483159 2018-May-15 16:15:28 Warning %LINK-W-Down: te2/1
2147483160 2018-May-15 16:15:28 Informational %LINK-I-Up: te2/4, aggregated (1)
2147483161 2018-May-15 16:15:27 Warning %STP-W-PORTSTATUS: te2/2: STP status Forwarding, aggregated (2)
2147483162 2018-May-15 16:15:22 Informational %LINK-I-Up: te2/2, aggregated (1)
2147483163 2018-May-15 16:15:22 Warning %LINK-W-Down: te2/2, aggregated (1)
2147483164 2018-May-15 16:15:22 Warning %LINK-W-Down: te2/4, aggregated (1)
Die SFP+ Ports sind teilweise auch mit 10G LWL und 10G DAC belegt. Da habe ich keine Probleme. An 6 Rj45 Buchsen hängen 3m Cat 6a Kabel und 3 Dell PowerEdge R730 Hosts. Mein Fallback Switch fängt das natürlich auf aber ein stabiler Betrieb sieht irgendwie anders aus. Also zum Verständnis: die drei Hosts haben insgesamt 6 10G Kupfer Ports, welche in den besagten Switch laufen. Weitere 6 laufen in einen anderen Switch auf 1G. Die flappen nicht.
Wenn ich an die Unterseite des Gerätes packe ist der trotz Klima so warm, dass ich mir fast die Hand verbrenne. Ist das normal? Switch sagt, seine Temperatur ist okay. Habe leider kein baugleiches Gerät zum Vergleich. Meine anderen Geräte aus der SG Serie sind kein Vergleich (viel weniger bis gar kein 10G). Ein erster Kabeltausch führte auch zu keiner Veränderung (was mich stutzig macht).
Firmware Version (Active Image): 1.4.7.6
Das ist wahrscheinlich nicht die neuste, wenn ich eine Downtime genehmigt krieg, kann ich das aber auch mal updaten. Die Port Statistiken sehen gut aus. Ich denke mal die 1 bis 10 kaputten Pakete kommen vom Flapping gerade. Logs wurden erst kürzlich geleert.
Bin für jeden Tipp dankbar.
ich habe nach ca. 1 Jahr Betrieb ein wenig Probleme mit port flapping auf meinen 10Gbe RJ45 Kupfer Ports (nicht bei den SFP+). Wenn ich einmal mit der Hand "sanft die Kabel streichel", flattern mir hier direkt die passenden vcenter Alerts dazu rein. Äußert sich im Logging dementsprechend auch so:
2147483156 2018-May-15 16:15:44 Warning %STP-W-PORTSTATUS: te2/1: STP status Forwarding
2147483157 2018-May-15 16:15:39 Informational %LINK-I-Up: te2/1
2147483158 2018-May-15 16:15:33 Warning %STP-W-PORTSTATUS: te2/4: STP status Forwarding
2147483159 2018-May-15 16:15:28 Warning %LINK-W-Down: te2/1
2147483160 2018-May-15 16:15:28 Informational %LINK-I-Up: te2/4, aggregated (1)
2147483161 2018-May-15 16:15:27 Warning %STP-W-PORTSTATUS: te2/2: STP status Forwarding, aggregated (2)
2147483162 2018-May-15 16:15:22 Informational %LINK-I-Up: te2/2, aggregated (1)
2147483163 2018-May-15 16:15:22 Warning %LINK-W-Down: te2/2, aggregated (1)
2147483164 2018-May-15 16:15:22 Warning %LINK-W-Down: te2/4, aggregated (1)
Die SFP+ Ports sind teilweise auch mit 10G LWL und 10G DAC belegt. Da habe ich keine Probleme. An 6 Rj45 Buchsen hängen 3m Cat 6a Kabel und 3 Dell PowerEdge R730 Hosts. Mein Fallback Switch fängt das natürlich auf aber ein stabiler Betrieb sieht irgendwie anders aus. Also zum Verständnis: die drei Hosts haben insgesamt 6 10G Kupfer Ports, welche in den besagten Switch laufen. Weitere 6 laufen in einen anderen Switch auf 1G. Die flappen nicht.
Wenn ich an die Unterseite des Gerätes packe ist der trotz Klima so warm, dass ich mir fast die Hand verbrenne. Ist das normal? Switch sagt, seine Temperatur ist okay. Habe leider kein baugleiches Gerät zum Vergleich. Meine anderen Geräte aus der SG Serie sind kein Vergleich (viel weniger bis gar kein 10G). Ein erster Kabeltausch führte auch zu keiner Veränderung (was mich stutzig macht).
Firmware Version (Active Image): 1.4.7.6
Das ist wahrscheinlich nicht die neuste, wenn ich eine Downtime genehmigt krieg, kann ich das aber auch mal updaten. Die Port Statistiken sehen gut aus. Ich denke mal die 1 bis 10 kaputten Pakete kommen vom Flapping gerade. Logs wurden erst kürzlich geleert.
Bin für jeden Tipp dankbar.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 373953
Url: https://administrator.de/contentid/373953
Printed on: April 19, 2024 at 05:04 o'clock
17 Comments
Latest comment
Bevor wir weitermachen erstmal auf die aktuellste Firmware updaten. Alles andere wäre Kaffeesatz Leserei.
Aktuell ist 1.4.8.06
https://www.cisco.com/c/en/us/support/switches/sg500xg-8f8t-16-port-10-g ...
Klar ist das die Kupfer PHYs auf 10G irre viel Strom ziehen und damit natürlich auch eine entsprechende Abwärme haben die man unbedingt abführen muss.
Genau deshalb ist 10G über Cat eigentlich nichts für ein RZ. Schon allein aus dem Grund nicht das die 10G über Cat/RJ-45 nicht garantiert sind, denn dort arbeitet ein Negotiation Verfahren. Eine Knickstelle und schon kommen nur noch 7Gig an.
Das aber nur nebenbei.
Verandwortungsvolle Netzwerker und Planer arbeiten genau deshalb im RZ nur mit LWL oder DAC Kabeln.
Bei 60 Grad max. 65 Grad ist ein Switch schon überhitzt und sollte eigentlich eine Autoabschaltung aktivieren. Die Schmerzgrenze für den Menschen liegt bei ca. 60Grad. Wenn du das also schon an der Außenhülle spürst will man nicht wirklich wissen wie heiss es im Inneren ist.
Was immer kontraproduktiv ist wenn du Cat Ports nutzt die direkt nebeneinander liegen. Durch die Erhitzung der auch nebeneinanderliegenden PHYs ist die Erhitzung umso größer.
Sinnvoller ist es die 10G Ports zu verteilen wenn das möglich ist mit 1G oder Leerports dazwischen. Das mindert etwas das Hitzeaufkommen.
Normal ist aber solche Hitze nicht. Kommt dort auch genügend Kaltluft an und hast du einen entsprechend großen Spalt dazwischen im Rack ?
Aktuell ist 1.4.8.06
https://www.cisco.com/c/en/us/support/switches/sg500xg-8f8t-16-port-10-g ...
Klar ist das die Kupfer PHYs auf 10G irre viel Strom ziehen und damit natürlich auch eine entsprechende Abwärme haben die man unbedingt abführen muss.
Genau deshalb ist 10G über Cat eigentlich nichts für ein RZ. Schon allein aus dem Grund nicht das die 10G über Cat/RJ-45 nicht garantiert sind, denn dort arbeitet ein Negotiation Verfahren. Eine Knickstelle und schon kommen nur noch 7Gig an.
Das aber nur nebenbei.
Verandwortungsvolle Netzwerker und Planer arbeiten genau deshalb im RZ nur mit LWL oder DAC Kabeln.
Bei 60 Grad max. 65 Grad ist ein Switch schon überhitzt und sollte eigentlich eine Autoabschaltung aktivieren. Die Schmerzgrenze für den Menschen liegt bei ca. 60Grad. Wenn du das also schon an der Außenhülle spürst will man nicht wirklich wissen wie heiss es im Inneren ist.
Was immer kontraproduktiv ist wenn du Cat Ports nutzt die direkt nebeneinander liegen. Durch die Erhitzung der auch nebeneinanderliegenden PHYs ist die Erhitzung umso größer.
Sinnvoller ist es die 10G Ports zu verteilen wenn das möglich ist mit 1G oder Leerports dazwischen. Das mindert etwas das Hitzeaufkommen.
Normal ist aber solche Hitze nicht. Kommt dort auch genügend Kaltluft an und hast du einen entsprechend großen Spalt dazwischen im Rack ?
Guten Morgen aqui,
vielen dank für die Tipps. Ich habe gestern Abend noch die neue FW draufgeschossen. Gefühlt ist er auch nach dem Reboot etwas kälter, aber ich kann mich auch täuschen. Ich habe nach oben und unten jeweils mind. 2HE Luft. Ich beobachte das Thema heute aufjedenfall nochmal genau. Könnte es nicht auch theoretisch ein Thema bei den Dell NICs sein? Ich hätte nicht gedacht, dass 10G auf der kurzen Distanz zum Problem werden könnte. "Short Reach" ist übrigens an (falls das überhaupt was bringt).
vielen dank für die Tipps. Ich habe gestern Abend noch die neue FW draufgeschossen. Gefühlt ist er auch nach dem Reboot etwas kälter, aber ich kann mich auch täuschen. Ich habe nach oben und unten jeweils mind. 2HE Luft. Ich beobachte das Thema heute aufjedenfall nochmal genau. Könnte es nicht auch theoretisch ein Thema bei den Dell NICs sein? Ich hätte nicht gedacht, dass 10G auf der kurzen Distanz zum Problem werden könnte. "Short Reach" ist übrigens an (falls das überhaupt was bringt).
Ich hätte nicht gedacht, dass 10G auf der kurzen Distanz zum Problem werden könnte.
Bei 10G über Cat/RJ-45 leider doch. Über dessen Nachteile sollte man sich immer bewusst sein.Mit 2 HE Luft ist das aber OK was den Abstand in Bezug auf Kühlung anbetrifft.
Der Short Reach Standard bei 10G Kupfer ist recht neu. Möglich das dort noch weitere Fixes in der Firmware enthalten sind. (Release Notes !)
Wenn deine Längen unter 20m sind dann ist Short Reach auf alle Fälle Pflicht. Ohne das können die PHYs bis zu 15 Watt pro Port verbraten.
Den Firmware Fix solltest du natürlich auf allen Seiten die 10G über Kupfer bedienen einspielen !
Habe mir mal die Rls Notes angeschaut. Verändert wurde diesbezüglich nichts. Da die Gegenseite die Dell Hosts sind müsste ich mir die ESX Dell NIC Treiber mal ansehen. Danke für den Hinweis.
Kabellänge ist 3m.
Kabellänge ist 3m.
Ja, das ist wichtig. Beide Seiten müssen den Standard supporten, sonst wird er nicht aktiviert !
https://www.adckcl.com/in/en/library/White_Papers/Enterprise/401263IN.pd ...
https://www.adckcl.com/in/en/library/White_Papers/Enterprise/401263IN.pd ...
so also der Switch reagiert definitiv auf physische Belastung an den Kabeln. Ein leichtes Wackeln und ich krieg Post. Würd hier ein Downgrade im Switch auf 1G helfen, bis ich meine ESX'er geupdatet habe?
Ja, vermutlich ! Musst du probieren. 1G ist natürlich viel robuster in der Beziehung wenn du mit der mickrigen Bandbreite dann leben kannst erstmal.
Langfristig solltest du besser alles auf 10G DAC Kabel migrieren. Das wäre die beste Lösung.
Langfristig solltest du besser alles auf 10G DAC Kabel migrieren. Das wäre die beste Lösung.
Gute Idee. Kabel habe ich noch. Die Frage ist, ob ich die Dells von RJ45 auf DAC umrüsten kann. Müsste ich mal klären. Ich befürchte aber irgendwie nicht.
Ich befürchte aber irgendwie nicht.
Das wäre natürlich blöd 
Was du nochmal machen kannst ist auf einem Testport den Short Reach Mode mal abschalten und checken ob du dann auch noch dieses instabile Verhalten hast auf dem Port ?!
Du hast ja jetzt das Problem das der Switch das zwar kann aber das Ende, die Dells, ja (vermutlich) nicht.
Okay dann werde ich die jetzt einfach mal bei der nächsten Gelegenheit auf 1G drosseln. Wenn dann alles deutlich stabiler wird, habe ich ja zumindest schon mal die Sache eingegrenzt. Short Reach kann ich ja dann auch mal zum Testen abschalten.
Auf der Gegenseite sind übrigens Broadcom Qlogic 57800 am Werk. Mit 2*1G und 2*10G. Gibts auch mit SFP+ seh ich gerade
Auf der Gegenseite sind übrigens Broadcom Qlogic 57800 am Werk. Mit 2*1G und 2*10G. Gibts auch mit SFP+ seh ich gerade
Aber warum den traurigen Smiley ?? SFP+ wäre ja genau das was du brauchst für DAC Kabel ?!
Weil es zum Zeitpunkt des Kaufes sicher auch diese Karte als Option gab ;)
kurzes Zwischenupdate: Die Ports flappen jetzt nicht mehr von selbst. Und der Switch ist eiskalt.
Was habe ich getan? Einen Ventilator vors Rack gestellt :D Packt man die Kabel an flappen die Ports allerdings noch. Naja.
Was habe ich getan? Einen Ventilator vors Rack gestellt :D Packt man die Kabel an flappen die Ports allerdings noch. Naja.
Mmmhhh, vielleicht mal einen anderen Patchkabel Hersteller verwenden. Das ist leider immer der Fluch von 10G über RJ-45. Besser ist da langfristig immer DAC oder Glasfaser.
Aber wenigstens ist das Wärmeproblem gefixt.
Aber wenigstens ist das Wärmeproblem gefixt.
Update:
Ich habe alle Firmwares auf den Dell Kisten aktualisiert. Esxi hat auch ein Update auf 6.5 gekriegt. Ergebnis: Ports flimmern auf einmal noch krasser als sonst.
Kannst du mir gute Patchkabel für solche Zwecke empfehlen? Ich habe zwar Cat.6a aber die waren gefühlt doch ein bisschen sehr günstig :D
Ich habe alle Firmwares auf den Dell Kisten aktualisiert. Esxi hat auch ein Update auf 6.5 gekriegt. Ergebnis: Ports flimmern auf einmal noch krasser als sonst.
Kannst du mir gute Patchkabel für solche Zwecke empfehlen? Ich habe zwar Cat.6a aber die waren gefühlt doch ein bisschen sehr günstig :D
Du solltest KEIN Catx mehr bei 10G Serververnetzung verwenden. Das ist der grundsätzliche Fehler.
Immer DAC/Twinax verwenden !
Viellecht dann gleich eine Option die gruseligen Dell Teile loszuwerden ?!
Immer DAC/Twinax verwenden !
Viellecht dann gleich eine Option die gruseligen Dell Teile loszuwerden ?!
Das ist aber nunmal der IST Zustand. Daher auch die Frage nach den Kabeln. Das ist jetzt spontan einfach erstmal günstiger.
Was hast du gegen Dell? Das sind absolute Standard Hosts. Die wirft man nicht einfach so komplett raus nur wegen RJ45 ;) Ich kam noch nicht dazu zu klären, ob man die NICs tauschen kann. (R730)
Was hast du gegen Dell? Das sind absolute Standard Hosts. Die wirft man nicht einfach so komplett raus nur wegen RJ45 ;) Ich kam noch nicht dazu zu klären, ob man die NICs tauschen kann. (R730)
