fenris14
Goto Top

ICX7550 Probleme mit SFP+

Hallo,

ich wollte mal in die Runde fragen ob jemand ähnliche Probleme hat. Vorgeschichte:

Für einen neuen Standort einen ICX7550-24F als Core bestellt. Eingebaut und festgestellt das die ersten 12 SFP+-Anschlüsse nicht korrekt funktionieren. Nach Einstecken vom DAC bleiben die Lampen aus, aber auf der CLI erscheint der Hinweis das etwas eingesteckt wurde. Folgedessen, kommt aber auch keine Kommunikation zustande. Am anderen Ende, ist ein ICX7150 dran:

interface ethernet 1/1/1
 speed-duplex 10G-full

Mit "sh media" wird alles korrekt erkannt. Aber "show lldp neighbors" zeigt gar nichts. Stecke ich das DAC hingegen auf den Port 13 z.B. dann funktioniert dieser ohne Probleme. Firmware-Version ist 08095d.

Also Ruckus Support kontaktiert. Nach einem Webmeeting und elendig langem Troubleshooting kam auch der Techniker zu dem Ergebnis, das die Ports defekt sind. Also kam Ersatz, leider in Form eines 7550-48F. Der zwar wunderbar funktionierte, aber wieder zurück müsste, weil falsch geliefert. Also kam vor paar Tagen der neue 24F, der heute auch gleich eingebaut wurde.

Der hat genau den gleichen Fehler wie der Erste. Kann man soviel Pech haben?

Mich würde interessieren, ob andere ein ähnliches Problem haben, oder ob es sich hier vielleicht um ein Feature handelt?

Gruß

Content-Key: 2103525352

Url: https://administrator.de/contentid/2103525352

Printed on: July 27, 2024 at 12:07 o'clock

Member: DerNixWusste
DerNixWusste Mar 10, 2022 at 07:03:41 (UTC)
Goto Top
Moin,

falsche GBics benutzt, die der Ruckus nicht akzeptiert ?
Member: aqui
aqui Mar 10, 2022 updated at 09:35:06 (UTC)
Goto Top
Ist aus 2 Gründen Unsinn...
  • Ruckus macht kein Vendor Checking bei SFPs und DAC
  • Mit dem 48F des 7550ers haben die Kabel fehlerlos funktioniert
Hilfreich wäre noch zu erfahren ob die DAC Kabel Passive Kabel oder Active Kabel sind also mit oder ohne integrierten Verstärker und welche Länge die haben ?
https://blog.fluxlight.com/2017/06/06/active-vs-passive-direct-attach-ca ...
DAC Kabel mit Längen über 1m sollte man immer in der Active Variante beschaffen. Letztlich aber auch nicht der Fehler, denn die ICX Modelle supporten generell beide Versionen von DAC Kabeln. Der funktionierende 48F zeigt das ja letztlich auch eindeutig.
Billige, passive DAC Kabel haben sehr oft eine schlechte Verarbeitung was massiven Einfluss auf die Signalqualität hat die Längen über 1m bei passiven Kabel oft noch weiter verschlimmern so das eine Link Negotiation scheitert.
In jedem Falle solltest du bevor du einen weiteren RMA veranlasst das aktuelle F Patch Relase der 08095 nochmal einspielen denn laut Relase Notes gab es dort einige Änderungen am PHY Handling der Firmware.
Member: Fenris14
Fenris14 Mar 13, 2022 at 16:20:08 (UTC)
Goto Top
Es sind 5m passive DAC und die werden am 24F als auch am 48F fehlerlos erkannt. Beim 24F gehen auch nur die Ports von 1/1/1 bis 1/1/12 nicht. Aber 1/1/13 bis 1/1/24 funktionieren hingegen ohne Probleme.

Ich muss jetzt warten was Ruckus sagt, aber es ist schon komisch das jeweils mit dem ersten als auch mit dem Austausch 24F jeweils das gleiche Problem auftritt.

Derzeit warte ich auch noch drauf das mit ein Satz Lüfter und Netzteile mitgeschickt werden, damit ich parallel testen kann. Dann werde ich mal 08095f probieren.

Alles sehr komisch das ganze.
Member: sk
sk Mar 14, 2022 at 03:10:37 (UTC)
Goto Top
Hi,

bist Du sicher, dass Du wirklich einen anderen 24F erhalten hast?
Ich hab schon zweimal erlebt, dass im Rahmen des RMA-Prozesses zurückgegebene Geräte unrepariert wieder ausgeliefert wurden.
In einem Fall tauchte eine Firewall eines Kollegen bei einem Forenkontakt auf (die Welt ist klein...) und im anderen Fall erhielten wir in einem zweiten RMA-Case das interaktive Display wieder zurück, welches in einem ersten RMA-Case bei uns abgeholt worden war.
Wie gesagt, in beiden Fällen wiesen die Geräte weiterhin den problemlos reproduzierbaren Fehler auf, weshalb sie ursprünglich an den Hersteller zurück gingen. Sie wurden also völlig ungeprüft wieder rausgeschickt...

Gruß
sk
Member: Fenris14
Fenris14 Mar 15, 2022 at 13:50:24 (UTC)
Goto Top
Ja, irgendwas geht gerade bei Ruckus drunter und drüber.

Nicht nur das ich als Austausch als erstes einen 48F bekommen habe, sondern jetzt eben wie gesagt den 24F mit den gleichen Symptomen. Zumindest ist die Seriennummer unterschiedlich. Aber gut möglich das es ebenfalls ein RMA-Rückläufer ist.

Zumindest kommt Ruckus gerade nicht mehr so richtig klar... die fragen mich jetzt schon welche UPS Sendungsnummern vorliegen. Da scheint irgendwas gehörig falsch zu laufen.
Member: clSchak
clSchak Apr 13, 2022 at 11:27:12 (UTC)
Goto Top
Hi

auch wenn der Thread schon etwas älter ist: das scheint eher ein Problem mit der Firmware 8.0.9xx zu sein, wir haben ähnliche Probleme mit den 7550 (48 x 1G + 2 x 40G + 4 x 10G), das Ports auf einmal nicht mehr online gehen und der Portstatus auf "BLOCKING" stehen bleibt - egal ob man die Module tauscht, das Gerät rebootet, auf einen anderen Port steckt. Das gleiche bei anderen Modellen aus der ICX7xxx Serie.

@aqui: in der Version funktionieren Custom SFP+ auch nicht mehr zuverlässig, wir haben einige IXC7750 im Einsatz und mit jeder 8.0.9x er Version machen die SFPs von FS.COM Probleme, wir sind jetzt auf 8.0.80d zurück und alles funktioniert Problemlos, allerdings gibt es die Version wohl nicht für den 7550 :/ - und auf Version 9 gehen wir erst einmal nicht face-wink.
Member: Fenris14
Fenris14 Apr 13, 2022 at 11:49:24 (UTC)
Goto Top
Das Problem ist äußerst komisch.

Ich habe weiter dran gearbeitet. Nach etlichen Hin und Her mit diversen Technikern bei Ruckus/Commscope endete es in einer Tauschorgie. Mit dem Ergebnis das es scheinbar ein Firmware-Problem oder ein Feature ist.

Ich hatte hier einen völlig neuen 7550-24F und habe diesen mit einem neuen 3m DAC von FS.com bestückt, bin dann der Reihe nach alle Ports abgegangen. Alles funktionierte. Dann beim Einbau drei Geräte mit DAC angesteckt, gebootet, ging nicht mehr. Ein weiterer Reboot und anschließendes Deaktivieren/Aktivieren der Ports brachte nichts. Da die DAC prinzipiell kein Auto-Sensing beherrschen, habe ich diese fest auf 10g-full eingestellt.

Lustigerweise funktionierten auf diesen Ports anschließend Glasfaser SFP+ Optiken ohne Probleme und deshalb sind wir nun dazu übergegangen alle DAC rauszuwerfen und auf LWL umzusteigen. Auch wenn die Verbindungen innerhalb des Racks sind.

Ob ich jetzt aber die Optiken von FS.com nochmal nehme oder lieber bei einem anderen Lieferanten bestelle... da hadere ich gerade.
Member: clSchak
clSchak Apr 13, 2022 updated at 12:09:49 (UTC)
Goto Top
ist nicht nur mit FS.COM, wir haben den Effekt auch mit Finisar, nur "originale" von Ruckus laufen, sieht mir nach einem "Soft-Vendorlock" in der FW Version aus, aus dem Grund sind wir auch nicht auf der Version ... außer bei den 7550er, wobei wir davon nicht so viele im Einsatz haben (4 St).

Wenn das aber die zukünftige Politik von Ruckus sein sollte, werden wir wohl wechseln, bei unserem letzten Infrastruktur-Update war das ein Preisunterschied von ~75k€ bei den Glasfasermodulen, das summiert sich dann mal ganz schnell.

Edit / Add:
wir nutzen mittlerweile keine DAC/TWINAX Kabel mehr, überall SR Module mit Patchkabeln, ist zwar ein wenig teurer, lässt sich aber besser verlegen im Schrank ... Optik ist alles face-smile. Rack zu Rack machen wir mit MTP Kassetten und MTP Kabel
Member: aqui
aqui Apr 13, 2022 at 12:48:02 (UTC)
Goto Top
Mmmhhh. Habe hier FS SFP+ und QSFP Optiken und DAC Kabel und konnte das nicht reproduzieren mit der FW Version 08.0.95f. Allerdings rennen die Switches nicht unter Last nur im Test.
Die Optiken sind alle "Brocade" gebranded von FS, da sollte man besser drauf achten, denn mit Brocade Branding gabs nie Probleme. face-wink
Bei DACs muss man etwas aufpassen ob active oder passive. Alles was über einen Meter ist sollte man immer active nehmen also mit aktiven Verstärkern in den SFPs oder QSFPs.
Member: Fenris14
Fenris14 Apr 13, 2022 updated at 13:10:15 (UTC)
Goto Top
Meine DAC und Optiken sind alle nicht original aber von FS.COM/Fiber24 codiert auf Brocade.

Der Witz ist: Ich hatte ein Meeting wegen diesem Problem mit einem Techniker aus den USA und ich habe ihm vorher gesagt das es keine originalen Kabel seien. Er hat darin kein Problem gesehen. Er konnte sich den Fehler auch nicht erklären, hat mich alle möglichen Kombinationen stecken lassen und verschiedene Commands abgefeuert.

Er kam zum Schluss das der Switch defekt ist. Denn: Ganz klar funktionierten nur die 12 ersten Ports nicht und die anderen wieder tadellos. Unerklärlich. Da geht man auch nicht von einem Vendorlock aus.

Wenn der eigene Techniker nicht über solche Funktionalitäten weiß, gehe ich eher davon aus das es sich um "Feature" in Form eines Bugs handelt.

Ich hatte jetzt aber auch schon Cisco SFP+ Optiken auf dem 7550 installiert. Funktionieren auch tadellos.
Member: aqui
aqui Apr 13, 2022 at 13:18:58 (UTC)
Goto Top
Denn: Ganz klar funktionierten nur die 12 ersten Ports nicht und die anderen wieder tadellos.
Nein, da hat er Recht, das ist kein Lock, denn der wäre ja immer nur auf Einzelports bezogen. Da ist was anderes defekt....
auch schon Cisco SFP+ Optiken auf dem 7550 installiert. Funktionieren auch tadellos.
Jepp, hier auch. Fehlerfrei... face-wink
Member: clSchak
clSchak Apr 13, 2022 at 13:39:38 (UTC)
Goto Top
wir haben mit der 8.0.95x Probleme in Verbindung mit 3.Anbieter Modulen, im ICX7750 laufen plötzlich die 40G LR Module nicht mehr, erst nach erneuten Stecken der Module gehen die wieder an, das tritt bei gleicher Hardware auf FW Version 8.0.60d nicht auf.

Der ältere FW Stand stört und jetztz nicht, wir nutzen keine der neuen Features / Funktionen der aktuelleren Firmware, die Geräte kommen ja auch nicht ins Internet und sind auch aus dem normalen internen Netz nicht erreichbar und alle custom Module funktionieren anstandslos face-smile
Member: Fenris14
Fenris14 Apr 13, 2022 at 13:44:26 (UTC)
Goto Top
Zitat von @aqui:

Denn: Ganz klar funktionierten nur die 12 ersten Ports nicht und die anderen wieder tadellos.
Nein, da hat er Recht, das ist kein Lock, denn der wäre ja immer nur auf Einzelports bezogen. Da ist was anderes defekt....
auch schon Cisco SFP+ Optiken auf dem 7550 installiert. Funktionieren auch tadellos.
Jepp, hier auch. Fehlerfrei... face-wink

Das Problem ist aqui... Genau dieses Verhalten habe ich beim zweiten Austausch-Gerät ebenfalls 1zu1. Die ersten Ports funktionieren nicht, die letzten 12 funktionieren wieder. Dann mal wieder, wenn nur ein Kabel gesteckt ist, funktionieren alle. So richtig reproduzierbar ist es nicht. Denn nach einem Reboot kann es dann auch schon wieder anders aussehen.
Member: aqui
aqui Apr 13, 2022 at 16:25:28 (UTC)
Goto Top
Das ist aber wirklich nicht normal. Solange RMAen bist du eine verlässlich funktionierende HW hast ! face-wink
das tritt bei gleicher Hardware auf FW Version 8.0.60d nicht auf.
@clSchak
Arbeitest du mit dem aktuellen UFI Image ? Bzw. beim 8.0.60er dann auch mit dem UFI Bootloader ?
Member: clSchak
clSchak Apr 14, 2022 at 07:44:43 (UTC)
Goto Top
@aqui nein, ich habe keine 8.0.60d mit UFI, ich habe hier nur Standardversionen (SW(X)08060.bin) mit Bootloader swz10109.bin, da ist noch keine UFI Version verfügbar. Die 8.0.80er hat UFI Versionen (8.0.70er habe ich keine vorliegen).

Wir haben bei der 8.0.9x aber auch beide Version UFI & nonUFI ausprobiert. Wir bekommen in ein paar Wochen noch weitere 7750er, dann wollte ich das mal mit der 9.xxxx probieren. Aktuell läuft ja alles ohne Probleme und zu den eingesetzten Versionen habe ich keinerlei CVE Einträge gefunden, sollte somit kein Problem sein.
Member: aqui
aqui Apr 14, 2022 at 09:05:17 (UTC)
Goto Top
da ist noch keine UFI Version verfügbar.
Das ist klar, ich meinte nur ob du ggf. schon den aktuellen UFI Bootloader nutzt. Der UFI Bootloader bootet ja auch non UFI Images. Sorry, war etwas missverständlich ausgedrückt.
dann wollte ich das mal mit der 9.xxxx probieren.
Hab ich hier im Secondary Flash und konnte es damit auch nicht reproduzieren. Aber wie gesagt..Labor und kein Live Betrieb. Das mag ein Unterschied sein.
Übrigens das neue WebGUI der 9er ist eine Pracht. Für die, die es benutzen... face-wink
Member: Fenris14
Fenris14 Apr 14, 2022 updated at 09:14:23 (UTC)
Goto Top
In der Version 09000a war das Problem übrigens noch schlimmer. Dort ist das Problem über alle Ports nach jedem Reboot gewandert. So konnte es z.B. sein, das vorher die 1/1/10 einwandfrei funktionierte, dann aber nach Reboot nicht mehr, dafür aber die 1/1/11 wieder funktionierte. Auch beim Ersatz-Gerät.

Der Techniker meinte dann, das ich dem Upgrade Patch Summary folgen soll, den das würde die Fehler erklären. Da ist für den 7550 die Version 08095d vorgeschlagen. Das habe ich dann entsprechend gemacht.

Welche von der neuen Version gilt den jetzt als "stable"? 09010a?
Member: aqui
aqui Apr 14, 2022 at 09:56:54 (UTC)
Goto Top
Da ist für den 7550 die Version 08095d vorgeschlagen.
Das ist richtig aber wenn dann sollte man auch immer die latest Minor Patch Version nehmen. Bei der 8.0.95er ist das aktuell der "f" Patch.
Welche von der neuen Version gilt den jetzt als "stable"? 09010a?
face-smile ...gute Frage ?! Als Admin weisst du ja das die stablen Patches erst ab "c" und höher anfangen. face-wink
Member: clSchak
clSchak Apr 14, 2022 at 11:14:41 (UTC)
Goto Top
@fenris: es gibt in dem Paket immer 2 Images, einmal das UFI und das "alte" Format, zumindest in den 08.xxxxx Versionen, du musst ggf. den Bootloader auch updaten damit die Images funktionieren (sollte er bei dem UFI Image eigentlich mit machen).

Und ja, Versionen mit Stand "a" sollte man grundsätzlich nicht verwenden face-smile
Member: aqui
aqui Jul 07, 2022 at 18:09:08 (UTC)
Goto Top
Wird auch langsam mal Zeit den Thread dann als erledigt zu schliessen!