10
100G Switch
Hallo,
ich bin auf der Suche nach einem Layer-3-Switch mit kombinierten 10/25Gbit und 100Gbit Port-Kapazitäten und will nochmal in die Runde fragen ob vielleicht jemand noch einen Tipp hat.
Ziel ist es ein kleines Datacenter im gemieteten Rack anzubinden. In erster Linie sollen zwei Router mit 10Gbit, ein Standalone-Backupserver 10Gbit und drei Proxmox Nodes angebunden werden. Ausfallsicher. Die drei Proxmox-Nodes bilden ein Ceph-Cluster, die sollen ebenfalls über die Switches laufen mit 100Gbit.
Grob zusammengefasst:
Bin schon seit zwei Tagen intensiv damit beschäftigt nachzulesen und Angebote einzuholen. Aber vieles ist weit außerhalb des Budgets oder einfach völliger Overkill.
Ersetzt werden in erster Linie zwei Mikrotik CRS326, bei denen leider ein Bug im MLAG festgestellt wurde. Der Bug ist im Mikrotik-Forum bekannt, leider damals zu Anschaffung war er dies noch nicht. Es sieht auch so aus, als würde dieser nicht in absehbarer Zeit behoben. Deshalb sind die Teile für uns Unbrauchbar geworden.
Bei Ceph-Cluster haben wir bisher ein Full-Mesh Netzwerk gefahren, das wollen wir aber ebenfalls auflösen um in Zukunft besser skalieren zu können.
Jetzt sind mir wieder die FS.com Switches unter die Nase gekommen und mittlerweile fallen mir immer weniger Gegenargumente ein:
https://www.fs.com/de/products/110478.html
Im Endeffekt Broadcom-Technik. Asic ist auch nicht überbucht, laut Hersteller kann der bis zu 80x25Gbit oder 48x25Gbit und 8x100Gbit.
https://www.broadcom.com/products/ethernet-connectivity/switching/strata ...
Die Frage der Qualität von der Firmware ist hier entscheidend und der Knackpunkt. Wir haben bisher einen einzigen FS.com Switch als Access-Switch mit PoE im Einsatz von denen. Aber der wird einfach nur plump im Layer 2 betrieben und da gab es keine Probleme.
Ruckus ICX7850-48F ist geil, aber 12k€ das Stück. Dann ein Nvidia Spectrum 2410 gebraucht für 17k pro Stück, einfach purer Overkill. Dann hatte ich hier noch einen Arista 7280SR3 da wollte man 22k pro Stück, da war ich dann endgültig raus.
Hat jemand noch andere Vorschläge?
Grüße
ich bin auf der Suche nach einem Layer-3-Switch mit kombinierten 10/25Gbit und 100Gbit Port-Kapazitäten und will nochmal in die Runde fragen ob vielleicht jemand noch einen Tipp hat.
Ziel ist es ein kleines Datacenter im gemieteten Rack anzubinden. In erster Linie sollen zwei Router mit 10Gbit, ein Standalone-Backupserver 10Gbit und drei Proxmox Nodes angebunden werden. Ausfallsicher. Die drei Proxmox-Nodes bilden ein Ceph-Cluster, die sollen ebenfalls über die Switches laufen mit 100Gbit.
Grob zusammengefasst:
- redundante Netzteile
- Zwei Stück für Stacking
- min. 24x 10/25Gbit SFP+ Ports
- min. 8x 100Gbit QSFP56
- Layer 3 Funktionen (OSFP, BGP, VRF, etc)
- max 14k für beide
Bin schon seit zwei Tagen intensiv damit beschäftigt nachzulesen und Angebote einzuholen. Aber vieles ist weit außerhalb des Budgets oder einfach völliger Overkill.
Ersetzt werden in erster Linie zwei Mikrotik CRS326, bei denen leider ein Bug im MLAG festgestellt wurde. Der Bug ist im Mikrotik-Forum bekannt, leider damals zu Anschaffung war er dies noch nicht. Es sieht auch so aus, als würde dieser nicht in absehbarer Zeit behoben. Deshalb sind die Teile für uns Unbrauchbar geworden.
Bei Ceph-Cluster haben wir bisher ein Full-Mesh Netzwerk gefahren, das wollen wir aber ebenfalls auflösen um in Zukunft besser skalieren zu können.
Jetzt sind mir wieder die FS.com Switches unter die Nase gekommen und mittlerweile fallen mir immer weniger Gegenargumente ein:
https://www.fs.com/de/products/110478.html
Im Endeffekt Broadcom-Technik. Asic ist auch nicht überbucht, laut Hersteller kann der bis zu 80x25Gbit oder 48x25Gbit und 8x100Gbit.
https://www.broadcom.com/products/ethernet-connectivity/switching/strata ...
Die Frage der Qualität von der Firmware ist hier entscheidend und der Knackpunkt. Wir haben bisher einen einzigen FS.com Switch als Access-Switch mit PoE im Einsatz von denen. Aber der wird einfach nur plump im Layer 2 betrieben und da gab es keine Probleme.
Ruckus ICX7850-48F ist geil, aber 12k€ das Stück. Dann ein Nvidia Spectrum 2410 gebraucht für 17k pro Stück, einfach purer Overkill. Dann hatte ich hier noch einen Arista 7280SR3 da wollte man 22k pro Stück, da war ich dann endgültig raus.
Hat jemand noch andere Vorschläge?
Grüße
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 42464673531
Url: https://administrator.de/contentid/42464673531
Printed on: April 27, 2024 at 23:04 o'clock
10 Comments
Latest comment
Wenn du für Ceph wirklich nur 3 Nodes planst, würde ich auf Full Mesh Simple Routed gehen anstatt Switch Anbindung. Für zukünftige weitere Nodes kannst du dann auf Switched umstellen. Wenn 100gbit dedizierte für Ceph wäre, dann ist vllt auch das hier eine Option: MikroTik CRS504-4XQ-IN
FS soll Preis leistungstechnisch gut sein, die bieten im Unternehmensbereich an, Testgeräte zuzu schicken, sodass man die vorher testen und konfigurieren kann.
FS soll Preis leistungstechnisch gut sein, die bieten im Unternehmensbereich an, Testgeräte zuzu schicken, sodass man die vorher testen und konfigurieren kann.
Moin,
Die Anforderungen sind ja nicht ohne.
Wenn du 100G brauchst, muss ja auch eine ordentliche Switchingleistung vorhanden sein… und das kostet.
Würde neben FS auch mal bei Huawei schauen. Preise/ Modelle hab ich in der Dimension keine zur Hand.
Alternativ mal nach gebrauchter Hardware schauen? Gibt ja Händler, die z.B. Leasingrückläufer verkaufen (inkl. Support)
Die Anforderungen sind ja nicht ohne.
Wenn du 100G brauchst, muss ja auch eine ordentliche Switchingleistung vorhanden sein… und das kostet.
Würde neben FS auch mal bei Huawei schauen. Preise/ Modelle hab ich in der Dimension keine zur Hand.
Alternativ mal nach gebrauchter Hardware schauen? Gibt ja Händler, die z.B. Leasingrückläufer verkaufen (inkl. Support)
Falls du auf den S5860-48SC spekulieren solltest kann ich dir sagen das der die spliport funktion für 100G auf 4x25G DAC NUR in der FW Version 1.0 funktioniert. Sobald du ein update durchführst funktioniert der 100G Port als 100G und splitport geht nicht mehr. Deine 25G Karten sowie die teuren Kabel kannst dann wegwerfen 8(
Also 14k wird nix bei den Cisco und Co.
Ich kann bis jetzt nichts negatives über FS Switches sagen. Wir haben von denen mittlerweile im Corebereich 6 Stück 10G im Einsatz. Läuft. Routing und co klappt auch ohne Probleme. Und billiger als Cisco. Die CLI ist Cisco like aber hier gibts hier und da einige ausnahmen so das nicht alle Cisco Befehle 1 zu 1 übernommen werden können aber die CLI ist dir da behilflich mit der TAB Taste.
Du musst aber bei den FS mittlerweile aufpassen denn die Verkaufen auch Switches OHNE Betriebssystem welche dann noch ein Cummulus Linux oder ähnlich als OS benötigen.
Steht aber meistens dabei wenn nicht den Support anschreiben. Die sind sehr sehr fähig
Kann bisher wie gesagt nix netaives sagen
Ich kann bis jetzt nichts negatives über FS Switches sagen. Wir haben von denen mittlerweile im Corebereich 6 Stück 10G im Einsatz. Läuft. Routing und co klappt auch ohne Probleme. Und billiger als Cisco. Die CLI ist Cisco like aber hier gibts hier und da einige ausnahmen so das nicht alle Cisco Befehle 1 zu 1 übernommen werden können aber die CLI ist dir da behilflich mit der TAB Taste.
Du musst aber bei den FS mittlerweile aufpassen denn die Verkaufen auch Switches OHNE Betriebssystem welche dann noch ein Cummulus Linux oder ähnlich als OS benötigen.
Steht aber meistens dabei wenn nicht den Support anschreiben. Die sind sehr sehr fähig
Kann bisher wie gesagt nix netaives sagen
Hast du mal bei Mikrotik geschaut ?
Zitat von @user217:
Falls du auf den S5860-48SC spekulieren solltest kann ich dir sagen das der die spliport funktion für 100G auf 4x25G DAC NUR in der FW Version 1.0 funktioniert. Sobald du ein update durchführst funktioniert der 100G Port als 100G und splitport geht nicht mehr. Deine 25G Karten sowie die teuren Kabel kannst dann wegwerfen 8(
Falls du auf den S5860-48SC spekulieren solltest kann ich dir sagen das der die spliport funktion für 100G auf 4x25G DAC NUR in der FW Version 1.0 funktioniert. Sobald du ein update durchführst funktioniert der 100G Port als 100G und splitport geht nicht mehr. Deine 25G Karten sowie die teuren Kabel kannst dann wegwerfen 8(
Du meinst wenn man Breakout-Kabel an den 100G einsetzen will? Hätte ich sowieso nicht vor. Ich will da Mellanox ConnectX-6 direct mit QSFP56 betreiben. Für den Rest würden mit die 10G Ports reichen, auch wenn die Broadcom P225P die wir einsetzen, mehr könnten.
Du musst aber bei den FS mittlerweile aufpassen denn die Verkaufen auch Switches OHNE Betriebssystem welche dann noch ein Cummulus Linux oder ähnlich als OS benötigen.
Steht aber meistens dabei wenn nicht den Support anschreiben. Die sind sehr sehr fähig
Steht aber meistens dabei wenn nicht den Support anschreiben. Die sind sehr sehr fähig
Ja, das sind die Modelle mit richtigen x86-CPUs mit an Board. Sowas wie Intel Atom oder Xeon D. Die unterstützen aber nur MLag, was für mich kein Problem wäre, aber ich muss auch bisschen an meine Kollegen denken. Die waren eher für Stack, was deutlich einfacher ist.
Hast du mal bei Mikrotik geschaut ?
Mikrotik kommt mir vorerst nicht mehr ins Haus. Mehr als enttäuscht über deren MLAG-Implementierung. Völlig verbuggt und leider scheint es keinen zu interessieren. Wir wollen die raushauen, deshalb bin ich auf der Suche. Ich brauche etwas redundantes mit schneller Ausfallsicherheit. Die Mikrotiks vergessen ihre System-ID nachdem Neustart oder gehen in einen STP Loop mit Packetloss über 75%. Kann man alles im Forum von denen nachlesen. Das Problem wurde auch in den aktuellen Versionen nicht behoben. Somit völlig untauglich für den Einsatzzweck. Mit RSTP oder MSTP fange ich gar nicht erst an.
Alternativ mal nach gebrauchter Hardware schauen?
Da habe ich auch schon den ein oder anderen Anbieter angeschrieben, leider war nicht so das richtige dabei. Es gibt viele Geräte mit QSFP+ bis 40G, auch wirklich solide Teile mit denen ich vertraut bin. Aber nichts im 100G-Bereich.
Ich habe jetzt noch einen Cisco Nexus gebraucht angeboten bekommen. Der würde sogar günstiger als die Option von FS.com sein.
Modell N9K-C9336C-FX2
Das ist ein Gerät das nur QSFP56 mit jeweils 100Gbit bereitstellt. Man könnte da dann mit Breakout-Kabeln arbeiten und die 10Gbit-Geräte anschließen.
Hat jemand mit dem Gerät Erfahrung? Wie sieht das da mit dem Licensing aus?
Es ist schon eine Weile her als ich zuletzt mit einem Catalyst gearbeitet habe und weiß nicht ob das zwischenzeitlich mit den Lizenzen schlimmer oder besser geworden ist.
Modell N9K-C9336C-FX2
Das ist ein Gerät das nur QSFP56 mit jeweils 100Gbit bereitstellt. Man könnte da dann mit Breakout-Kabeln arbeiten und die 10Gbit-Geräte anschließen.
Hat jemand mit dem Gerät Erfahrung? Wie sieht das da mit dem Licensing aus?
Es ist schon eine Weile her als ich zuletzt mit einem Catalyst gearbeitet habe und weiß nicht ob das zwischenzeitlich mit den Lizenzen schlimmer oder besser geworden ist.
Die Idee hatte ich auch mit den Mellanox ConnectX-6 direct mit QSFP56 bis mir die Tante aus China nach einem Jahr sagte das die Lieferzeit jetzt auf unbestimmt gesetzt wurde 
dann INtel 700er Serie für doppeltes Geld und alte Technik.. Ich kann auch nix negatives zu FS sagen außer das manche Switche bereits mehr kosten als Cisco wenn man genau hinschaut und das es min. 3 Oberflächen/CLI's dafür gibt UND wenn man snmp vollumfänglich abfragen will man z.B. Probleme bei der einbindung von 802.1x Templates hat weil die keiner norm entsprechen.
dann INtel 700er Serie für doppeltes Geld und alte Technik.. Ich kann auch nix negatives zu FS sagen außer das manche Switche bereits mehr kosten als Cisco wenn man genau hinschaut und das es min. 3 Oberflächen/CLI's dafür gibt UND wenn man snmp vollumfänglich abfragen will man z.B. Probleme bei der einbindung von 802.1x Templates hat weil die keiner norm entsprechen.
Moin,
Gruß,
Dani
Hat jemand mit dem Gerät Erfahrung? Wie sieht das da mit dem Licensing aus?
kann ich leider nichts dazu sagen.Es ist schon eine Weile her als ich zuletzt mit einem Catalyst gearbeitet habe und weiß nicht ob das zwischenzeitlich mit den Lizenzen schlimmer oder besser geworden ist.
Aber es gibt noch den Cisco NX-OS Licensing Options Guide. Somit kannst du dir einen Überblick verschaffen.Gruß,
Dani
Nach ewigen Hin und Her. Paar Recherchen und Diskussionen. Haben wir uns für den soliden Weg entschieden. Es wird jetzt Brocade/Commscope. Zwei ICX7850-48F sollen es richten. Auch wenn der Preis exorbitant im Vergleich ist.
Die FS.com wären jetzt in der Kürze der Zeit ein Experiment gewesen. Wir wollen aber was, worauf wir jetzt schon für 10 Jahre zu 99.999% Vertrauen und Erfahrung haben. Das war dann auch das Hauptargument. Wäre es weniger wichtig gewesen, wäre es sicherlich FS.com geworden.
Die FS.com wären jetzt in der Kürze der Zeit ein Experiment gewesen. Wir wollen aber was, worauf wir jetzt schon für 10 Jahre zu 99.999% Vertrauen und Erfahrung haben. Das war dann auch das Hauptargument. Wäre es weniger wichtig gewesen, wäre es sicherlich FS.com geworden.