11.01.2023, aktualisiert am 12.01.2023

3569

Business-Switch mit MLAG (oder vergleichbarer Funktion) gesucht

Hallo Netzwerkgemeinde,

unser Netzwerk braucht in einem Teilbereich so langsam eine Frischzellenkur und da möchte ich für die Planung auf eure Expertise zurückgreifen. Der bisheriger Netzwerkwerkausrüster stellt in seinen aktuellen Produktlinien einige für uns essentielle Features nicht mehr zur Verfügung, so dass wir über den Tellerrand schauen müssen. Sorry, Netgear.

Unser sowohl im Kupfer- als auch LWL-Bereich 10G-basiertes Netzwerk hat eine Spine-Leaf-artige Architektur mit zwei zentralen Core-Switches, die im MLAG (Multi-Chassis Link Aggregation) konfiguriert sind und somit ähnlich wie ein Stack für die via Link Aggregation (LACP) angeschlossen Switches "als ein Switch" erscheinen.

vereinfachte Netzwerkdarstellung

Die Core-Switches haben je 24 Ports, womit wir aktuell an eine Ausbaugrenze gestoßen sind. Wichtig ist für uns, dass die Core-Switches einzeln bootbar sind und somit permanent eine aktive Netzwerkverbindung zu den anderen Switches vorhanden ist. Daher hatten wir uns damals für MLAG und gegen einen Stack entschieden, da bei den mir bekannten Stacks z. B. bei einem Firmware-Upgrade gleich alle Stack-Member durchbooten.

Anforderungen an den Switch

must have

mehr als 24-Ports SFP+ für 10G-LWL, ggf. auch auch SFP+ und RJ45-Ports gemischt (SFP+ sollte überwiegen)
Business-Switch/fully managed Switch (Console-Port, keine Cloud-Pflicht - da bin ich "old-school")
MLAG oder vergleichbare Features (zwei Switches sollen nach außen wie einer erscheinen, aber so unabhängig wie möglich und einzeln bootbar sein)
zwei Netzteile/redundante Stromversorgung

Fast noch ein "must have" wäre eine "Cisco-like" Kommandozeile (oder ein Dialekt davon). Insbesondere den "switchport mode trunk/access"-Befehl habe ich schätzen gelernt, anstelle mit PVID und dem tagging jedes einzelnen VLANs herumzuhampeln.

Zur Not bin ich aber auch gewillt, mir eine neue Syntax aneignen.

nice to have

MACsec
SPB oder TRILL (ist eher perspektivisch; im Moment kommen wir sehr gut mit der Kombination (R)STP und LAG aus)
Features auf IEEE-Standards basierend, keine oder wenige proprietären Features

Als selbstverständlich sehe ich diese Standard-Features an

VLAN
LAG (LACP)
STP, RSTP, MSTP
SNMP, LLDP
Multicast, IPv6 Multicast
QoS/Priorisierung
BPDU Filter, Root Guard, TCN Guard, L2 Loop Protection
Storm control, IGMP snooping, DHCP(v6) snooping
Server Logs, Port Mirroring, sFlow/NetFlow

Mit unserem Netzwerk sind wir auf Switch-Ebene überwiegend auf Layer 2 unterwegs, denn das Routing wird (natürlich redundant) über die Firewall abgewickelt. Dennoch sollte auch Features wie DHCP-Relay vorhanden sein.

Zu dem, "was ein Switch kosten darf", möchte ich erst mal keine Vorgaben machen, denn mir ist klar, dass in dieser Klasse ein mittlerer vierstelliger Betrag und höher aufgerufen wird. Das muss ich dann mit meinem Chef aushandeln (wenn es nicht gerade "Champagner-Preise" sind).

Die Kirsche auf der Torte wäre es dann noch, wenn der Hersteller 40/100G bzw. 25/50G auf seiner Roadmap hat. Das ist für uns aktuell noch kein Thema, aber perspektivisch wird das in einigen Jahren auf uns zu kommen.

Auf eure Tipps, Vorschläge oder auch Anregungen freue ich mich jetzt schon.

Viele Grüße
Twisted Air

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 5277644912

Url: https://administrator.de/contentid/5277644912

Ausgedruckt am: 23.11.2024 um 20:11 Uhr

14 Kommentare

Neuester Kommentar

Nabend,

wir haben aktuell im Core bereich insgesamt 10 HPE OfficeConnect switche die in 3 Servereäumen verteilt per LWL im Ring verbunden sind. Diese sind per IRF (Intelligent Resilient Framework) zu einem Virtuellen switch gebündelt die bis aktuell zuverlässig arbeiten.

Da die OfficeConnect 1950 12x 10G Ports davon 4x LWL (Comeware Switch) aktuell Discontinued sind würde ich dir HPE FlexNetwork oder HPE FlexFabric switche empfehlen je nach wie du die einsetzen wirst...

Zitat von @O.Gensch:

wir haben aktuell im Core bereich insgesamt 10 HPE OfficeConnect switche die in 3 Servereäumen verteilt per LWL im Ring verbunden sind. Diese sind per IRF (Intelligent Resilient Framework) zu einem Virtuellen switch gebündelt die bis aktuell zuverlässig arbeiten.

Hallo O. Gensch,

danke für dein Feedback. Kannst du mir aus deiner Praxis schildern, wie ihr ein Firmware-Update durchführt (genauer, was dabei passiert)?

Auf einer Website wird der Vorgang wie folgt beschrieben:

When you get the TFTP server up and running and copy the firmware file to it, perform an upgrade:

tftp 10.10.10.20 get 5700-CMW710-R2432P03.ipe
boot-loader file flash:/5700-CMW710-R2432P03.ipe slot 1 main
boot-loader file flash:/5700-CMW710-R2432P03.ipe slot 2 main
irf auto-update enable
reboot

Da habe ich die Befürchtung, dass mit dem reboot alle Member des IRFs gleichzeitig booten. Kannst du das bestätigen oder widerlegen?

Viele Grüße
TA

Websmart Sektor Cisco CBS 350X
https://www.cisco.com/c/en/us/products/switches/business-350-series-mana ...
Besser wären aus Performance und Feature Sicht für den Core sicher der etwas gehobenere Bereich. Ruckus ICX 5150, 7250 oder 7550 wären da eine gangbare Alternative. Mit "Netgear Budget" aber vermutlich dann nicht in deinem Horizont. Leider nennst du kein Budget.

Im Gegensatz zum Cisco, der nur Full Stacking und kein MLAG kann, kann der Ruckus beides und das ausfallsicher.
MLAG ist heute aber durch das Full Stacking und horizontal Stacking Optionen etwas in den Hintergrund geraten, da du bei den meisten (besseren) Herstellern auch die Stack Units mit Erhalt der L3 Forwardings immer auch einzeln booten kannst.

Zitat von @aqui:

Besser wären aus Performance und Feature Sicht für den Core sicher der etwas gehobenere Bereich. Ruckus ICX 5150, 7250 oder 7550 wären da eine gangbare Alternative. Mit "Netgear Budget" aber vermutlich dann nicht in deinem Horizont. Leider nennst du kein Budget.

Hallo aqui,

um das Budget habe ich mich ein wenig gedrückt - aber mir ist bewusst, dass gute Leistung auch bezahlt werden muss und man sich mit Billigheimern hinterher mehr rumärgert als mit Businessgeräten. Daher meine Aussage, dass ich bei den Kosten in erster Linie meinen Chef überzeugen muss - da richtet sich das Budget tendenziell eher nach dem Gerät als dass das Budget die Auswahl des Switches einschränkt.
Wenn du mich auf einen Preis festnageln möchtest: ausgehend davon, was wir bisher für einen fully-managed Switch mit 48 10G-Ports bezahlt haben, sollte ich bis etwa 7K € pro Switch keine Argumentationsprobleme haben. Alles was über 10 K liegt ist raus - und dazwischen ist Überzeugungsarbeit angesagt.

Zitat von @TwistedAir:

Ich habe die letzten Monate mit vielen Distributoren verbracht und da musst du vermutlich dein Budget deutlich nach oben korrigieren wenn du Premium-Hersteller und mehr als 10Gbit willst: Wir haben im September letzten Jahres pro ICX 7550-24F (Dual-NT, 2x100Gbit QSFP, 24x 10Gbit) um die 7500€ bezahlt. Da du hier auch nur kleine Mengen abnimmst, wird dein Preis nicht besser werden. Vor allem bei Core-Switches und Festures 40/100Gbit wird es schnell knackig.

Leider ist die Liefersituation seit 2 Jahren mehr als bescheiden und eine Besserung ist nicht wirklich in Sicht.

Mittlerweile ist die Wahl zwischen Stack und MLAG eher eine Glaubensfrage. Vorteil bei MLAG war immer das man separat upgraden kann. Da haben die Hersteller beim Stacking aber mittlerweile nachgezogen, z.B. Commscope/Ruckus bei den ICX mit ISSU. Man kann also ohne Unterbrechung upgraden.

Es ist halt weniger die Frage was man will, sondern in erster Linie was man noch bekommt.

Ich habe ein ähnliches Konzept auch schon mit Mikrotik CRS326-24S+2Q+RM als Core im MLAG realisiert. Als MLAG-Link wurden dafür QSFP mit 40Gbit verwendet. Geht also auch, vor allem wenn man das Teil nicht auslastet. Allerdings ist die Verarbeitungsqualität jetzt nicht unbedingt mit Ruckus vergleichbar. Das sollte klar sein. Aber die Teile sind günstig - im Gegensatz zu anderen Herstellern und dem Rest vom Portfolio von Mikrotik - auch noch gut lieferbar. Wenn so ein Teil abraucht, dann werden die knapp 700€ in die Hand genommen und getauscht, da verzichtet man sogar auf die Garantie. In die selbe Kategorie wie Mikrotik würde ich dann mittlerweile auch die Geräte von FS.com einordnen. Speziell da stellt sich dann aber die Frage ob man überhaupt wechseln muss, da kann man auch bei Netgear bleiben und greift eine Sparte höher: M4300, sogar mit M4300-96X ein voll-modulares System, das man sich dann selbst konfiguriert und man maximal flexibel ist.

Ansonsten wäre noch ein Blick in Richtung Mellanox/Nvidia empfehlenswert. Die Preise sind gesalzen, aber die Verfügbarkeit mittlerweile besser als bei so manch alten Netzwerk-Hasen. Speziell SN2000-Serie, da bekommt man 100GbE-Switch schon ab 8000€ als Produktrückläufer mit 3 Jahre Garantie und Vorabtausch. Aber auch hier gibt es Abstufungen sogar mit 10/25Gbit Switches im Bereich bis 4k€. Vorteil bei diesen Switches: OS frei wählbar, selbst das Cumulus Linux als Basis ist eigentlich schon ein Alleinstellungsmerkmal und ein echter Vorteil. Qualität teilweise sogar besser als das bekannte Premium-Segment.

Oder wie @aqui es schrieb: WebSmart-Sparte und dann z.B. den CBS350-24XS für um die 3k und hoffen das dieser irgendwo verfügbar ist. Ist dann aber auch nicht besser als Netgear M4300 oder Aruba CX6000er. Dürfte sich sogar preislich in ähnlichen Rahmen bewegen.

Für SPB und Trill, da muss man zu Cisco Catalyst oder Nexus, Commscope/Ruckus ICX7750, Juniper QFX.

Hallo @Fenris14 ,

muss erst mal ein kurzes Statement loswerden: wow, ich immer wieder begeistert, welche Qualität dieses Forum hervor bringt. Ihr seid top!

Die Cisco CBS350-Reihe habe ich mir auf @aqui s Empfehlung angesehen. Der CBS350-24XS stellt von seinen Leistungsdaten (Portgeschwindigkeit, -anzahl) das obere Ende dieser Serie dar. Nun suche ich einen 10G-Switch mit mehr als 24 Ports, da wir mit 24 Ports schon unsere Ausbaugrenze erreicht haben. Option wäre dann wirklich ein Stack aus drei oder vier Switchen und dann die Verbindungen zur nächsten Switch-Ebene entsprechend zu verteilen. Werde ich mir durch den Kopf gehen lassen.
Wo bei Cisco dann meine Augen zu leuchten anfingen, waren die 9300er-Catalysten: Da passten die technischen Daten. Bis ich die aufgerufenen Preise gesehen habe und zwei mal schlucken musste. Das kriege ich schwer vermittelt.

Die Ruckus-Switches "mit der 7 vorne" stehen nun auf der Liste der intensiver zu prüfenden Geräte. Da muss ich schauen, ob ich das vielleicht ins Budget für 2024 reinbekomme. Bei den jetzigen Lieferschwierigkeiten vielleicht kein ganz so unsinniger Gedanke.

Die Mikrotik-Klasse fällt für mich raus: ja, sie haben auf jeden Fall ihre Berechtigung im privatem Bereich oder der Anbindung von Usern (aus rein netzwerktechnischer Sicht stehen die User für mich ganz weit hinten; da ist ein Ausfall zu verschmerzen), aber nicht für das skizzierte Projekt, wo auf zweiter Ebene die Virtualisierungsserver und der Storage dranhängt. Die Switches haben wir übrigens mit den von dir angesprochenen M4300 umgesetzt und sind mit denen soweit zufrieden. Machen was sie sollen, wenn man nicht zu ausgefallene Konzepte umsetzen möchte.

Mellanox hatte ich noch gar nicht auf dem Schirm, da muss ich mal recherchieren. Und danke für den Tipp mit Produktrückläufern, das könnte eine Option sein.

Viele Grüße
Twisted Air

Nun suche ich einen 10G-Switch mit mehr als 24 Ports

Wenn dich die Cisco Preise schocken bis du deutlich besser bei den Ruckus ICX 7650-48F aufgehoben
https://www.commscope.com/globalassets/digizuite/61732-ds-icx-7650.pdf
Allerdings hat der nur 24 10G SFP Ports und du müsstest dann 4 Stück in einen Stack bringen um an beiden MLAG Standorten volle 48 Port 10G zu haben. (Je 2 Stück pro Standort mit 2x40G DAC/Twinax stacken und den 2ten Standort über 2mal 40G Fiber)
Alternativ dann auf den ICX 7850-48FS gehen aber dann hast du gleich schon ein großes Eisen mit optionalen 100G.
https://www.commscope.com/globalassets/digizuite/61734-ds-icx-7850.pdf
Bleibst aber preislich unter den Catalysten.
Bei dieser Leistungsklasse jenseits der 24 und mehr Ports mit 10G solltest du eh die Finger von den Billigheimern ala Mikrotik und Co. lassen. In der Region haben die alle ausnahmslos heillos überbuchte ASICS.

Bei 48 Port und mindestens alle 10Gbit, da wird es eng und die Auswahl ist sehr übersichtlich. Bei Commscope/Ruckus gibt es da auch nicht viele Optionen: ICX7650-48F(12x 10Gbit), ICX7750-48F, ICX7850-48F, ICX7850-48FS und der neue ICX7550-48F (12x 10Gbit).

Modelle mit 10Gbit RJ45 und only QSFP+ 100Gbit, habe ich jetzt mal kategorisch ausgeschlossen. Ersterer ist von der Anschlussart her für dein Vorhaben uninteressant und letzterer weit außerhalb deines Budgets.

Letzterer wird vermutlich der günstigste sein, aber da beliebt, sind die Lager vermutlich leer. Aber bei jeder Option oben muss man mit Listenpreis über 10k rechnen. Mal davon abgesehen, das du vermutlich sowieso ein individuelles Angebot anforderst, orientieren sich bei der Liefersituation die Distributoren gern an der Liste. Leider selbst oft erlebt.

Aus diesem Grund habe ich auch bei Ruckus oft zu Gebrauchthardware mit Garantie gegriffen. Als Beispiel: Habe vor einiger Zeit zwei 7750-48F für 3500€ pro Stück mit 5 Jahren Garantie gekauft, haben Gebrauchtspuren die aber vernachlässigbar sind. Neu, hätte ich weit über 12.000€ pro Stück bezahlt.

Bei den Mellanox/Nvidia kannst du dir speziell SN2410, SN2100 und SN2010 ansehen. Am besten auch auf der Nvidia-Seite mal die Anwendungsbeispiele und Fallstudien durcharbeiten.

ICX7650-48F(12x 10Gbit)

Das ist leider nicht richtig!!
Der 48F hat wie oben schon geschrieben 24 Ports mit 10G!! (Siehe hier!)
Man kann ihn über das optionale ICX7650-4X10GF mit zusätzlichen 4 SFP+ Ports auf maximal 28mal 10 Gig Ports erweitern.
Alternativ wären mit dem 2fach QSFP Modul via Breakout auch 8 zusätzliche 10G Ports auf dann insgesamt 32mal 10Gig Ports möglich. Wer 8 Ports mit Breakout nicht scheut.
Wenn dann auch technisch korrekt...! 😉

Das mit ersterer und letzterer oben ist leider sehr verwirrend weil du das verwechselst. 🤔
Wenn der TO mehr als 24mal 10G Ports benötigt ist der 7550 mit seinen 12 Ports da keine Option.

orientieren sich bei der Liefersituation die Distributoren gern an der Liste.

Das ist auch nicht ganz richtig, denn Endkunden können, wie bei allen Premium Herstellern generell, nicht direkt bei der Distribution kaufen. Die Preise die die zertifizierten Partner bei der Distribution zahlen hängen vom Partner Status ab, haben aber mit den Listenpreisen nichts zu tun. 😉

Der 7750 refurbished ist natürlich eine gute und preiswerte Alternative sofern sowas in Frage kommt. Das Mehr an 24mal 10G Ports müsste man hier dann aber auch über QSFP Breakout lösen und max. ist dann 32. Gegen Refurbished Preise für Premium Hardware kommt man aber bei Neuware niemals gegenan und das ist dann auch etwas Äpfel mit Birnen...
Da gehts dann auch mal 3stellig für 48 Ports 10G wenn Leute etwas verkaufen was sie nicht kennen:
https://www.ebay.de/itm/334533199439?epid=22054284549&hash=item4de3b ...
Oder etwas realistischer:
https://www.ebay.de/itm/333667182756
Beides sind 48 Port 10Gig Fabric Switches mit Full Layer 3
https://documentation.extremenetworks.com/networkos/HW/vdx6740-technical ...

Hey, jetzt streitet doch nicht.

Im Ernst, ich find's gut, wenn generell auch die Details beachtet werden, denn die Hersteller schweigen sich ja gerne mal über die Stolpersteinchen ihrer Produkte aus.

Man kann ihn über das optionale ICX7650-4X10GF mit zusätzlichen 4 SFP+ Ports auf maximal 28mal 10 Gig Ports erweitern.

Das wäre eine überlegenswerte Variante, um vom derzeitigen status quo noch ein ein wenig Luft (4 Ports oder in meinem Fall zwei weitere verbundene Switches) für zukünftige Entwicklungen zu haben.

Alternativ wären mit dem 2fach QSFP Modul via Breakout auch 8 zusätzliche 10G Ports auf dann insgesamt 32mal 10Gig Ports möglich. Wer 8 Ports mit Breakout nicht scheut.

In meiner Wahrnehmung ein single-point-of-failure (auf QSFP-Seite), gefällt mir nicht. Aber technisch ok.

Allerdings hat der nur 24 10G SFP Ports und du müsstest dann 4 Stück in einen Stack bringen um an beiden MLAG Standorten volle 48 Port 10G zu haben. (Je 2 Stück pro Standort mit 2x40G DAC/Twinax stacken und den 2ten Standort über 2mal 40G Fiber)

Das Stacking via DAC ist im selben Serverraum eine erprobte Lösung, ~~zum entfernten Standort ist für die 40G bestimmt eine MPO/MTP-Verbindung angesagt~~. edit: 40G geht noch via LC, bei 100G kommt man um MPO nicht herum. Müsste dann auch noch auf den Bestellzettel, wir haben derzeit nur LC zwischen den Serverräumen. Das wäre dann ein schöner Pilot, um sich mit der neuen Technik vertraut zu machen, auch wenn wir bestimmt die nächsten drei-vier Jahre mit 10G auskommen würden.
Nebenbei, das ist ein schöner Ausgangspunkt für die Diskussion was nach 10G kommt - 25/50G oder 40/100G. Aber das sollte in einem eigenen Beitrag erörtert werden, nicht an dieser Stelle.

Da gehts dann auch mal 3stellig für 48 Ports 10G wenn Leute etwas verkaufen was sie nicht kennen:
- Link zu einem EMC-Switch -
Oder etwas realistischer:
- Link zu einem EMC-Switch -
Beides sind 48 Port 10Gig Fabric Switches mit Full Layer 3

Neben Extreme Networks fehlt ja fast nur noch Juniper, dann haben wir die meisten Hersteller durch (HPE/Aruba hat @O.Gensch schon ins Spiel gebracht). Bei Extreme Networks stößt mir das Geschäftsmodell mit den Subscriptionen ein wenig unangenehm auf, wie ich in deren WLAN-Sparte erfahren musste. Lieber wäre mir "buy-once", aber der Trend geht nun mal dorthin, wie man auch an Microsoft oder Adobe sieht.

Jedenfalls, danke @aqui und @Fenris14 für euren Input, der mir für die Planungen schon sehr geholfen hat. Ob Gebrauchtware überhaupt aufgrund von Ausschreibungsmodalitäten möglich ist, muss ich offen lassen. Die derzeitige Liefersituation könnte möglicherweise dafür sprechen.

Viele Grüße
TA

bei 100G kommt man um MPO nicht herum.

Das ist so nicht richtig. Gibts wie auch bei 40Gig alles auch mit LC. Siehe HIER.

auch wenn wir bestimmt die nächsten drei-vier Jahre mit 10G auskommen würden.

Wenn du 2 Switches mit mehr als 24mal 10Gig Ports sinnvoll verbinden willst??
Das solltest du nicht unter einen Stack Trunk mit mindestens 2mal 40Gig (80Gig) machen.

Der ICX7650 hat 4 davon (160Gig) zum Stacken auf der Rückseite.

was nach 10G kommt - 25/50G oder 40/100G

Beides, wobei es einen leichten Trend für 25/50/100 gibt weil das mit den PHYs einfacher ist.

Mit den ICX 7650-48F machst du nichts falsch wenn dir die Portzahlen reichen. Pluspunkt ist auch das es da keinen Vendor Check bei den Optiken gibt. Du kannst also alles vom freien Markt einsetzen und so auch bei den SFP+ und QSFP Optiken noch ne Menge Geld sparen. Im Hypervisor Umfeld supportet er VXLAN. Das CLI ist identisch zu Cisco (PVSTP+ kann er ebenso) und KlickiBunti GUI gibts natürlich auch. 😉

Zitat von @aqui:

Wenn du 2 Switches mit mehr als 24mal 10Gig Ports sinnvoll verbinden willst??
Das solltest du nicht unter einen Stack Trunk mit mindestens 2mal 40Gig (80Gig) machen.

Der ICX7650 hat 4 davon (160Gig) zum Stacken auf der Rückseite.

Mit den ICX 7650-48F machst du nichts falsch wenn dir die Portzahlen reichen.

Und mit dem ICX7650-4X10GF Port Module ständen mir 28 10G-Ports zur Verfügung, unter der Bedingung, dass die Rear-Ports zum Stacking verwendet werden. Dann nimmt ISSU dem Firmware-Upgrade im Stack den Schrecken (auch wenn dass lt. Ruckus nur innerhalb Minor-Releases gilt).

Pluspunkt ist auch das es da keinen Vendor Check bei den Optiken gibt. Du kannst also alles vom freien Markt einsetzen und so auch bei den SFP+ und QSFP Optiken noch ne Menge Geld sparen.

Das wird unseren Controller freuen. Und mit Glück lassen sich die vorhanden Optiken aus den bestehenden Switches nutzen (Argumentation Investitionsschutz).

Kurz zusammengefasst: Für mich ein gaaaanz heißer Kandidat. Danke für eure Tipps.