33
Bezahlbarer 10Gbit SFP+ Switch für RoCE gesucht
Servus miteinander,
ist euch ad hoc ein bezahlbarer 10Gbit SFP+ Switch bekannt der DCB (Data Center Bridging) und PFC (Priority Flow Control) unterstützt? An Ports würden mir 8 voll und ganz reichen, wobei >12 doch sympatischer sind.
ETS ist optional.
Als Hintergrund zur Anfrage:
Mir ist ein Paar Mellanox ConnectX-3 mit je einem SFP+ in die Hände gefallen.
Verbaut habe ich die beiden mit einander direkt verbundenen Karten in zwei Hyper-V 2012 R2 Servern um auf diese Weise die LiveMigration via DirectSMB testen zu können.
Hat überraschend gut funktioniert. Und weil das ganze so schön funktioniert hat würde ich jetzt gern noch weitere Systeme mit der Technik anbinden, bzw. allgemein einen 10G Backbone aufbauen.
Das Problem ist jetzt einfach dass RoCE, die von Mellanox eingesetzte RDMA Technik, von den beteiligten Switchen DBC und PFC verlangt.
RoCE stellt also ähnliche Anforderungen an den Switch wie FCoE, wobei mir zu FCoE einfach die Erfahrung fehlt.
Bin für jeden Vorschlag dankbar.
Grüße,
Philip
ist euch ad hoc ein bezahlbarer 10Gbit SFP+ Switch bekannt der DCB (Data Center Bridging) und PFC (Priority Flow Control) unterstützt? An Ports würden mir 8 voll und ganz reichen, wobei >12 doch sympatischer sind.
ETS ist optional.
Als Hintergrund zur Anfrage:
Mir ist ein Paar Mellanox ConnectX-3 mit je einem SFP+ in die Hände gefallen.
Verbaut habe ich die beiden mit einander direkt verbundenen Karten in zwei Hyper-V 2012 R2 Servern um auf diese Weise die LiveMigration via DirectSMB testen zu können.
Hat überraschend gut funktioniert. Und weil das ganze so schön funktioniert hat würde ich jetzt gern noch weitere Systeme mit der Technik anbinden, bzw. allgemein einen 10G Backbone aufbauen.
Das Problem ist jetzt einfach dass RoCE, die von Mellanox eingesetzte RDMA Technik, von den beteiligten Switchen DBC und PFC verlangt.
RoCE stellt also ähnliche Anforderungen an den Switch wie FCoE, wobei mir zu FCoE einfach die Erfahrung fehlt.
Bin für jeden Vorschlag dankbar.
Grüße,
Philip
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 241272
Url: https://administrator.de/contentid/241272
Ausgedruckt am: 24.11.2024 um 10:11 Uhr
33 Kommentare
Neuester Kommentar
Hallo Philip,
also wenn das so eine Karte ist wie sie hier zu sehen ist (Beispiel) dann würde ich auf jeden Fall versuchen einen SX6005 oder
SX6012 zu bekommen, denn damit sind dann 40 GBit/s bis 56 GBit/s
pro Port möglich!
Hier kann man sich die Switche mal anschauen:
Hamburgnet
- 8 Port Mellanox Switch IS5022
- 12 Port Mellanox Switch SX6005 (unmanaged)
- 12 Port Mellanox Switch SX60012 (managed)
Leistungsdaten das ist raus geschmissenes Geld.
Nicht-blockierende Switching-Kapazität : 960 Mbps
Bandbreite pro Port : 56 Gbit/s
Forward Error Correction
Port-to-Port-Latenzzeit : 170 ns
und ein paar kleine Switche die das auch können.
Wenn man GbE Switche dazu nimmt, spart man auch die
SFP+ Module und kann mittels CAT.6a Kabeln auch via LAG (LACP)
einiges heraus holen.
NETGEAR ProSafe Plus XS708E
Netgear XS712T
Netgear XSM7224
und wenn es denn SFP+ sein muss gibt es dafür auch günstigere
Switche die man zum "Syncen" benutzen kann
Netegar XSM7224sk
Aber für Deine SX-3 Karten sollte es schon ein Mellanox Switch sein
SX6005
SX6012
Wenn Dir aber Karte zu Karte reichen sollte!
Kannst Du auch hier einmal nach einem so genannten "Bucket price"
(Mengenrabat) nachfragen die handeln mit Mellanox PCIe 2.0 Karten
und geben Dir auch zu jeder ein Kabel (QSFP+ Patchkabel) mit QSFP+ Adaptern dazu. DDS
Gruß
Dobby
P.S.
Es ist natürlich auch ein unterschied ob Du an so eine Mellanox ConnectX-3 oder so eine Mellanox ConnectX-3 EN MCX311A-XCAT bzw. Mellanox ConnectX-3 gekommen bist! Die eine unterstützt 10 Gigabit LAN und InfiniBand 40 Gigabit LAN und die anderen "nur" 10 Gigabit LAN, FCoE.
also wenn das so eine Karte ist wie sie hier zu sehen ist (Beispiel) dann würde ich auf jeden Fall versuchen einen SX6005 oder
SX6012 zu bekommen, denn damit sind dann 40 GBit/s bis 56 GBit/s
pro Port möglich!
Hier kann man sich die Switche mal anschauen:
Hamburgnet
- 8 Port Mellanox Switch IS5022
- 12 Port Mellanox Switch SX6005 (unmanaged)
- 12 Port Mellanox Switch SX60012 (managed)
Das Problem ist jetzt einfach dass RoCE, die von Mellanox
eingesetzte RDMA Technik, von den beteiligten Switchen DBC
und PFC verlangt.
So etwas bekommst Du bestimmt, nur eben nicht mit deneingesetzte RDMA Technik, von den beteiligten Switchen DBC
und PFC verlangt.
Leistungsdaten das ist raus geschmissenes Geld.
Nicht-blockierende Switching-Kapazität : 960 Mbps
Bandbreite pro Port : 56 Gbit/s
Forward Error Correction
Port-to-Port-Latenzzeit : 170 ns
bzw. allgemein einen 10G Backbone aufbauen.
Dann nimm lieber nur eine "echte" SFP+ Karte bzw. 10 GbE Kartenund ein paar kleine Switche die das auch können.
Wenn man GbE Switche dazu nimmt, spart man auch die
SFP+ Module und kann mittels CAT.6a Kabeln auch via LAG (LACP)
einiges heraus holen.
NETGEAR ProSafe Plus XS708E
Netgear XS712T
Netgear XSM7224
und wenn es denn SFP+ sein muss gibt es dafür auch günstigere
Switche die man zum "Syncen" benutzen kann
Netegar XSM7224sk
Aber für Deine SX-3 Karten sollte es schon ein Mellanox Switch sein
SX6005
SX6012
Wenn Dir aber Karte zu Karte reichen sollte!
Kannst Du auch hier einmal nach einem so genannten "Bucket price"
(Mengenrabat) nachfragen die handeln mit Mellanox PCIe 2.0 Karten
und geben Dir auch zu jeder ein Kabel (QSFP+ Patchkabel) mit QSFP+ Adaptern dazu. DDS
Gruß
Dobby
P.S.
Es ist natürlich auch ein unterschied ob Du an so eine Mellanox ConnectX-3 oder so eine Mellanox ConnectX-3 EN MCX311A-XCAT bzw. Mellanox ConnectX-3 gekommen bist! Die eine unterstützt 10 Gigabit LAN und InfiniBand 40 Gigabit LAN und die anderen "nur" 10 Gigabit LAN, FCoE.
Danke dir schon mal für die Infos, Dobby.
Die KArte ist leider die kleinste im 3er Programm, sprich wirklich die mit einem SFP+ Port. Sind also nur die 10Gbit drin.
Die ConnectX-2 ist nett, die hatte ich auch schon angedacht als Anbindung für die "kleineren" Server bzw. non-Hyper-V Systeme. Problem ist eben nur dass es für die 2er keine Windowstreiber gibt die RDMA einer mit DirectSMB kompatiblen Form unterstützen würden.
Ein Umstieg auf iWARP als Basis fürs DirectSMB wäre natürlich auch eine Option, dann würde das ganze über ein 10GE Kupfernetz laufen. NICs wären hier von Chelsio und Intel. Luft nach oben aber eben nicht wirklich.
Für die RoCE-Variante mit Mellanox ist DCB und FPC wirklich nicht optional. Sonst gibt es Probleme bei der Verbindungsaushandlung bzw. Verbindungen werden am Ende als reguläre SMB3 Verbindung aufgebaut und belasten CPU und RAM, was ich ja gerade mit DirectSMB verhindern möchte.
Zu den SX6005/6012 Switchen: Die machen doch nur Infiniband und kein "normales" Ethernet, oder hab ich das falsch verstanden?
Grüße,
Philip
Die KArte ist leider die kleinste im 3er Programm, sprich wirklich die mit einem SFP+ Port. Sind also nur die 10Gbit drin.
Die ConnectX-2 ist nett, die hatte ich auch schon angedacht als Anbindung für die "kleineren" Server bzw. non-Hyper-V Systeme. Problem ist eben nur dass es für die 2er keine Windowstreiber gibt die RDMA einer mit DirectSMB kompatiblen Form unterstützen würden.
Ein Umstieg auf iWARP als Basis fürs DirectSMB wäre natürlich auch eine Option, dann würde das ganze über ein 10GE Kupfernetz laufen. NICs wären hier von Chelsio und Intel. Luft nach oben aber eben nicht wirklich.
Für die RoCE-Variante mit Mellanox ist DCB und FPC wirklich nicht optional. Sonst gibt es Probleme bei der Verbindungsaushandlung bzw. Verbindungen werden am Ende als reguläre SMB3 Verbindung aufgebaut und belasten CPU und RAM, was ich ja gerade mit DirectSMB verhindern möchte.
Zu den SX6005/6012 Switchen: Die machen doch nur Infiniband und kein "normales" Ethernet, oder hab ich das falsch verstanden?
Grüße,
Philip
Hallo nochmal,
FDR/QSFP+ Variante gedacht.
gedacht habe.
Gruß
Dobby
Die KArte ist leider die kleinste im 3er Programm, sprich
wirklich die mit einem SFP+ Port. Sind also nur die 10Gbit drin.
Ahh so das war nicht gleich ersichtlich für mich, denn Mellanox ConnectX-3 heißen sie ja alle und ich habe da wohl eher an diewirklich die mit einem SFP+ Port. Sind also nur die 10Gbit drin.
FDR/QSFP+ Variante gedacht.
Zu den SX6005/6012 Switchen: Die machen doch nur Infiniband
und kein "normales" Ethernet, oder hab ich das falsch verstanden?
Das war auch nur weil ich an die "große" Mellanox ConnectX-3und kein "normales" Ethernet, oder hab ich das falsch verstanden?
gedacht habe.
Gruß
Dobby
Nuja, wenn es die Karten für umme gibt, dann freut man sich und sieht zu wie sie sich einsetzen lassen 
Nuja, wenn es die Karten für umme gibt, dann freut man sich
und sieht zu wie sie sich einsetzen lassen
Logo wer würde das nicht machen!und sieht zu wie sie sich einsetzen lassen
Gruß
Dobby
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...
NetGear weiss noch nichtmal wie man DCB schreibt...
Zitat von @aqui:
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco
Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco
Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...
Danke dir aqui. Der Netgear ProSafe wäre auch nur dann eine Option wenn RDMA über iWARP und auf Kupferbasis läuft, also mit Intel oder Chelsio NICs. Intel bietet es mit passenden Treibern für DirectSMB derzeit afaik nur für die NetEffect Serie an. Wobei mir da noch nicht klar ist ob es irgendwelche Anforderungen an den Switch gibt.
Der Brocade VDX6720 sieht recht nett aus. Um Preis/Leistung muss man sich bei dem Laden ja zum Glück keine großen Sorgen machen.
Was würdest du zu der 8000er Serie sagen die Brocade für EMC, Dell, etc fertigt?
Der 8000er ist mausetot und längst abgekündigt (End of Life) ! Sollte auch auf deren Webseite irgendwo stehen !
Nachfolger sind eben die VDX Modelle ! Das sind allesamt hybride DCB Switches die in einer Spanning Tree freien Ethernet Fabric arbeiten.
NetGear kannst du in dem Umfeld komplett vergessen, wie im professionellen RZ Umfeld allgemein. Da haben die rein nix zu suchen mit ihren Produkten.
Nachfolger sind eben die VDX Modelle ! Das sind allesamt hybride DCB Switches die in einer Spanning Tree freien Ethernet Fabric arbeiten.
NetGear kannst du in dem Umfeld komplett vergessen, wie im professionellen RZ Umfeld allgemein. Da haben die rein nix zu suchen mit ihren Produkten.
Zitat von @aqui:
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco
Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+. Es gibt nicht viele Hersteller die kleine DCB fähige Switches haben. Cisco
Nexus noch aber mit Lizenzen kosten die ein vielfaches mehr. Andere wie HP etc. usw können schlicht kein DCB.
NetGear weiss noch nichtmal wie man DCB schreibt...
So, nochmal Danke für den Hinweis. Hatte mittlerweile Gelegenheit das Gerät in Aktion zu sehen und es gefällt doch schon recht gut.
Den Fred setze ich dann hiermit auf "Gelöst". Weitere Ideen und Kommentare sind natürlich wie immer auch weiterhin willkommen.
Zitat von @aqui:
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+.
Ein preiswerter Switch der DCB fähig ist und alle deine Anforderungen wie PFC etc. supportet ist z.B. ein Brocade
VDX6720-16-F mit 16 Ports 10 GiG Ethernet SFP+.
Hallo nochmal. Ist zwar eine Weile her, aber ich bin zu Potte gekommen. Seit heute werkelt in der Tat ein VDX 6720-60 als Core Switch für die Server. Der passt in der Funktion dann auch wunderbar in den Neubau - sobald der denn steht - und hat auch noch solide Port-Reserven was die Anbindung der Etagenswitche angeht.
Ganz nebenbei noch ein klasse Merkmal entdeckt: TRILL! Mal schaun ob sich noch Budget für Etagenswitche mit TRILL findet, oder ob es ohne gehen muss.
So schnell war das Netzwerk auf jeden Fall noch nie, und die User sind auch happy. Was will Admin mehr?
Grüße,
Philip
Fabric Switches sind schon was Feines.... 
Preiswerter bei den 10 Gig SFPs gehts nicht:
http://www.ebay.de/itm/161293213357?_trksid=p2060778.m2749.l2649&ss ...
Funktioniert fehlerfrei und wenn man sich beeilt bekommt man von den 91 noch welche ab
Binde deine Etagenswitches mit einem vLAG und LACP an den VDX an, dann brauchst du kein Trill, bist Spanning Tree frei und hast gleich doppelte Performance mit einem Failover. Das kann jeder x-belibige Etagenswitch.
Preiswerter bei den 10 Gig SFPs gehts nicht:
http://www.ebay.de/itm/161293213357?_trksid=p2060778.m2749.l2649&ss ...
Funktioniert fehlerfrei und wenn man sich beeilt bekommt man von den 91 noch welche ab
Binde deine Etagenswitches mit einem vLAG und LACP an den VDX an, dann brauchst du kein Trill, bist Spanning Tree frei und hast gleich doppelte Performance mit einem Failover. Das kann jeder x-belibige Etagenswitch.
Zitat von @aqui:
Binde deine Etagenswitches mit einem vLAG und LACP an den VDX an, dann brauchst du kein Trill, bist Spanning Tree frei und hast
gleich doppelte Performance mit einem Failover. Das kann jeder x-belibige Etagenswitch.
Binde deine Etagenswitches mit einem vLAG und LACP an den VDX an, dann brauchst du kein Trill, bist Spanning Tree frei und hast
gleich doppelte Performance mit einem Failover. Das kann jeder x-belibige Etagenswitch.
Das würde auf jeden Fall funktionieren. Der Vorteil von einer vollen TRILL Architektur wäre halt dass ich problemfrei Ringe bilden könnte. À la diesem hier:
/---------------Etage-------------\
/....................|..................\
COREpri ------------Etage----------COREsek
...|....\ ...................|................../....|
...|.....\----------------Etage------------/.....|
...|................................................|
...\-----------------------------------------------/ ....Back to the roots
Aber sei es drum, einen Tot muss man sterben. Lässt sich sicher auch auf anderem Wege und ohne TRILL vernünftig lösen.
Und danke für den Tip mit den Transceivern. Der Preis ist ja der Hammer...
Der Vorteil von einer vollen TRILL Architektur wäre halt dass ich problemfrei Ringe bilden könnte.
Da hast du absolut Recht !Setzt du sonst noch Brocade ein ??
Als Alternative zu STP gibt es dort MRP was Ringstrukturen beherrschbar macht.
Alternativ dann Horizontal Stacking (Long Distance Stacking mit Glasfaser) dort klappen auch Ringstrukturen.
Mit STP sind Ringe immer tödlich.
Der kleinste ist ein 6710T oder 6740T-1G und alls Accessswitches sind die jenseits von Gut und Böse preislich
Zitat von @aqui:
Setzt du sonst noch Brocade ein ??
Als Alternative zu STP gibt es dort MRP was Ringstrukturen beherrschbar macht.
Alternativ dann Horizontal Stacking (Long Distance Stacking mit Glasfaser) dort klappen auch Ringstrukturen.
Setzt du sonst noch Brocade ein ??
Als Alternative zu STP gibt es dort MRP was Ringstrukturen beherrschbar macht.
Alternativ dann Horizontal Stacking (Long Distance Stacking mit Glasfaser) dort klappen auch Ringstrukturen.
Die Etagenswitche werden wohl DGS-1510-28X, etvl auch -52X. Die Teile bieten 4 SFP+ Ports und bilden Stacks über bis zu 6 Geräte @ ~300€. Stacking Ring und redundanter Connect zum VDX wäre also kein Problem.
Preislich sind die Teile nicht übel, und mit der Vorgängerserie habe ich keine schlechten Erfahrungen gemacht.
Allerdings können die leider weder vLAG, noch MRP.
Mal schaun was sich auf dem Renew Markt tut.
vLAG ist auch nur ein Ausdruck im VDX Bereich weil du einen LACP LAG ja dort über mehrere Geräte ziehen kannst was ohne Fabric oder wenigstens eine Aggregation Virtualisierung ja nicht möglich ist.
Die Endgeräte sprechen also nur simplen reinen LACP LAG um auf den VDX Port zu kommen und der hat dort einen Etherchannel konfiguriert:
interface TenGigabitEthernet 1/0/10
description LACP Uplink zum DCS
no fabric isl enable
no fabric trunk enable
fabric neighbor-discovery disable
channel-group 100 mode active type standard
lacp timeout long
no shutdown
!
Interface PortChannel 100
description LAG zum DCS, Raum xyz
(speed 1000) --> Nur wenn du den DCS mit 1 GiG anbindest
switchport
switchport mode trunk
switchport trunk allowed vlan all
no switchport trunk tag native-vlan
no shutdown
!
Auf den DCS dann einen simplen Trunk mit LACP im GUI klicken.
Die Endgeräte sprechen also nur simplen reinen LACP LAG um auf den VDX Port zu kommen und der hat dort einen Etherchannel konfiguriert:
interface TenGigabitEthernet 1/0/10
description LACP Uplink zum DCS
no fabric isl enable
no fabric trunk enable
fabric neighbor-discovery disable
channel-group 100 mode active type standard
lacp timeout long
no shutdown
!
Interface PortChannel 100
description LAG zum DCS, Raum xyz
(speed 1000) --> Nur wenn du den DCS mit 1 GiG anbindest
switchport
switchport mode trunk
switchport trunk allowed vlan all
no switchport trunk tag native-vlan
no shutdown
!
Auf den DCS dann einen simplen Trunk mit LACP im GUI klicken.
Dank dir @aqui, werde mich da noch gut einlesen müssen.
Sollten noch Fragen oder offenen Punkte auftauchen werd ich einen neuen Fred aufmachen.
Wünsch dir noch ein schönes Wochenende,
Philip
Sollten noch Fragen oder offenen Punkte auftauchen werd ich einen neuen Fred aufmachen.
Wünsch dir noch ein schönes Wochenende,
Philip
werde mich da noch gut einlesen müssen.
...oder hier nachfragen
Hi!
Der Thread ist zwar schon recht alt, aber ich hantiere gerade mit der gleichen Hardware und hab dazu ein paar Fragen, die Ihr mir vielleicht beantworten könnt.
Ich würde gerne zwei Windows 2012/2016 Server mit zwei Connext X-3 EN Dual Port Karten und einem voll bestückten Brocade VDX6720-60 Switch verbinden. Traumvorstellung wäre jeweils einen Port direkt mit dem Port im anderen Server zu verbinden (also ohne Switch) und somit eine Punkt-zu-Punkt Verbindung zum Datenabgleich zu haben (40 GBit Ethernet?). Darüber sollen zu bestimmten Zeiten gezielt Spiegelungen laufen.
Die jeweils anderen Ports würde ich gerne jeweils mit einem QSFP auf Quad SFP+ Adapterkabel an den Brocade VDX6720-60 mit LACP anbinden, um so idealerweise auch bis zu 40 GBit Transferrate in Netzwerk und an die Workstations zu erzielen.
Nun meine Fragen dazu:
1. Kann ich eine Mellanox Connect 3-X EN mit so einem QSFP auf 4 SFP+ Adapterkabel auch mit 40 GBit an den Brocade VDX6720-60 anschließen und unterstützt das dann auch beidseits LACP?
Wenn ja, gibt es ein bestimmtes Adapterkabel (Hersteller...), von dem Ihr wisst "Das geht!"?
Brocade kann ja recht zickig sein. Links wären Ideal...
Ich dachte dabei an sowas:
Brocade QSFP auf Quad SFP+ Adapter Cable
Bislang hatte ich Dual oder Quad 10 GBit Karten (Emulex) mit LACP an dem Switch, aber die Connect X-3 EN Single/Dual sind derzeit echte Schnäppchen auf dem Gebrauchtmarkt. Mit älteren Connect X-2 Single Karten hatte ich an dem Brocade nie Probleme (sofern auf der Brocade Seite die Brocade SFP+ Module benutzt wurden).
2. Kann ich zwischen zwei Servern auch eine direkte Verbindung mit 40 GBit über eine Punkt-zu-Punkt Verbindung von zwei Connect X-3 EN aufbauen?
Geht das alles als Ethernet?
Gruß & Danke
Stromax
Der Thread ist zwar schon recht alt, aber ich hantiere gerade mit der gleichen Hardware und hab dazu ein paar Fragen, die Ihr mir vielleicht beantworten könnt.
Ich würde gerne zwei Windows 2012/2016 Server mit zwei Connext X-3 EN Dual Port Karten und einem voll bestückten Brocade VDX6720-60 Switch verbinden. Traumvorstellung wäre jeweils einen Port direkt mit dem Port im anderen Server zu verbinden (also ohne Switch) und somit eine Punkt-zu-Punkt Verbindung zum Datenabgleich zu haben (40 GBit Ethernet?). Darüber sollen zu bestimmten Zeiten gezielt Spiegelungen laufen.
Die jeweils anderen Ports würde ich gerne jeweils mit einem QSFP auf Quad SFP+ Adapterkabel an den Brocade VDX6720-60 mit LACP anbinden, um so idealerweise auch bis zu 40 GBit Transferrate in Netzwerk und an die Workstations zu erzielen.
Nun meine Fragen dazu:
1. Kann ich eine Mellanox Connect 3-X EN mit so einem QSFP auf 4 SFP+ Adapterkabel auch mit 40 GBit an den Brocade VDX6720-60 anschließen und unterstützt das dann auch beidseits LACP?
Wenn ja, gibt es ein bestimmtes Adapterkabel (Hersteller...), von dem Ihr wisst "Das geht!"?
Brocade kann ja recht zickig sein. Links wären Ideal...
Ich dachte dabei an sowas:
Brocade QSFP auf Quad SFP+ Adapter Cable
Bislang hatte ich Dual oder Quad 10 GBit Karten (Emulex) mit LACP an dem Switch, aber die Connect X-3 EN Single/Dual sind derzeit echte Schnäppchen auf dem Gebrauchtmarkt. Mit älteren Connect X-2 Single Karten hatte ich an dem Brocade nie Probleme (sofern auf der Brocade Seite die Brocade SFP+ Module benutzt wurden).
2. Kann ich zwischen zwei Servern auch eine direkte Verbindung mit 40 GBit über eine Punkt-zu-Punkt Verbindung von zwei Connect X-3 EN aufbauen?
Geht das alles als Ethernet?
Gruß & Danke
Stromax
und einem voll bestückten Brocade VDX6720-60 Switch verbinden.
Eine sehr gute Wahl !Traumvorstellung wäre jeweils einen Port direkt mit dem Port im anderen Server zu verbinden (also ohne Switch)
Warum ? Der Brocade Switch mach full Wirespeed mit 9µS Latenz ! Das ist KEIN doofer Store and Forward Switch wie HP, NetGear und Co, sondern ein moderner Fabric basierender Cut Through Switch mit TRILL Technik. Eine ganz andere Kategorie also und quasi völlig identisch zu einer direkten Port zu Port Wirespeed.Warum also dieser (eigentlich überflüssige) Einwand bei solch potenter Hardware ?
Die jeweils anderen Ports würde ich gerne jeweils mit einem QSFP auf Quad SFP+ Adapterkabel an den Brocade VDX6720-60 mit LACP anbinden
Auch das ist perfekt und die ideale Lösung !Kommen wir mal zu den Fragen...:
1.)
Ja !
Brocade macht kein Vendor Checking bei den SFP+ und QSFP Ports. Du kannst dort alles anschliessen was es auf dem freien Markt gibt.
Du kannst jegliche DAC bzw. Twinax Adapterkabel vom freien Markt verwenden. Der VDX supportet sowohl passive als auch aktive DAC bzw. Twinax Kabel. Wobei du bei Längen über 2m besser immer aktive Kabel verwenden solltest. Wie bereits gesagt der Brocade macht kein Vendor Checking und das klappt fehlerlos auch mit preiswerten NoName Kabeln wie diese hier:
https://www.reichelt.de/SFP-Twinax-Kabel/2/index.html?ACTION=2&LA=3& ...
sofern auf der Brocade Seite die Brocade SFP+ Module benutzt wurden
Auch die braucht es nicht zwingend. Es geht auch alles vom freien oder Gebrauchtmarkt fiber24.de usw. z.B.:https://www.ebay.de/itm/Finisar-FTLX8571D3BCL-SFP-GBIC-Modul-850nm-E6568 ...
2.)
Ja, auch das geht fehlerlos.
Kannst du doch auch bei 1Gig oder 10Gig so machen. Warum sollte es dann also bei 40Gig oder auch 100Gig nicht gehen ?
1
Hi Aqui,
Danke für die schnelle und vor allem aufbauende Antwort!
Hab gerade gesehen, das es von dem Mellanox Connect X-3 EN Dual auch ein "Pro" Version gibt.
Konnte allerdings auf die schnelle den genauen Unterschied nicht finden.
Oder ist das für diese Anwendung egal?
Vielleicht kann die ja besonders gutes TCP/IP Offloading?
Ach ja, benutzt ihr Jumbo Packets?
Braucht es dann ein seperates Ethernet, um auch den Weg ins Internet zu ermöglichen oder geht das über dieselben Switche?
Empfiehlt sich dafür ein eigenes VPN?
In der Anwendung geht es vor allem um die Bearbeitung großer Files, vorwiegend 4K Video und Bilddateien.
Gruß
Stromax
Danke für die schnelle und vor allem aufbauende Antwort!
Hab gerade gesehen, das es von dem Mellanox Connect X-3 EN Dual auch ein "Pro" Version gibt.
Konnte allerdings auf die schnelle den genauen Unterschied nicht finden.
Oder ist das für diese Anwendung egal?
Vielleicht kann die ja besonders gutes TCP/IP Offloading?
Ach ja, benutzt ihr Jumbo Packets?
Braucht es dann ein seperates Ethernet, um auch den Weg ins Internet zu ermöglichen oder geht das über dieselben Switche?
Empfiehlt sich dafür ein eigenes VPN?
In der Anwendung geht es vor allem um die Bearbeitung großer Files, vorwiegend 4K Video und Bilddateien.
Gruß
Stromax
Zitat von @aqui:
Warum also dieser (eigentlich überflüssige) Einwand bei solch potenter Hardware ?
Traumvorstellung wäre jeweils einen Port direkt mit dem Port im anderen Server zu verbinden (also ohne Switch)
Warum ? Der Brocade Switch mach full Wirespeed mit 9µS Latenz ! Das ist KEIN doofer Store and Forward Switch wie HP, NetGear und Co, sondern ein moderner Fabric basierender Cut Through Switch mit TRILL Technik. Eine ganz andere Kategorie also und quasi völlig identisch zu einer direkten Port zu Port Wirespeed.Warum also dieser (eigentlich überflüssige) Einwand bei solch potenter Hardware ?
Naja, falls der Switch aus irgendeinem Grund mal ausfällt, sehen sich zumindest die Server dann noch. Und so könnte ich den zweiten Port sinnvoll nutzen, ohne gleich wieder Adapterkabel auf den Brocade zu benötigen und weitere 8 Ports zu belegen. Aber andererseits könnte ich auch mit 80 GBit von Server zu Server... (ab dazu sind die RAIDs dann doch zu langsam und der SSD bzw. Optane 900P Cache zu lahm).
Aber danke für den Tipp. Das Ding habe ich ja schon seit ein paar Jahren im Einsatz und es hat mich nie im Stich gelassen. Heute bekommt man die Dinger förmlich nachgeworfen auf ebay.
Oder ist das für diese Anwendung egal?
Tja, ohne genau zu wissen was die Weltfirma Mellanox mit dem ominösen "Pro" genau meint ist das sehr schwierig. Manchmal sind das nur so banale Sachen das der Chiptakt minimal höher ist oder eben dieses Offloading oder oder....Das solltest du dann besser mal genau in Erfahrung bringen statt zu raten.
Ach ja, benutzt ihr Jumbo Packets?
Die Frage ist nicht dein Ernst oder ??Bei Speeds ab 10Gig und höher ist Jumbo Framing ein absolutes MUSS ! Das sollte man IMMER aktivieren auf Switch nd NIC Karten der Server, eigentlich auch schon bei 1 Gig.
Die Frage ist eher peinlich !
Braucht es dann ein seperates Ethernet, um auch den Weg ins Internet zu ermöglichen
Tja...wie soll man dir diese Frage zielführend beantworten ??Man kennt weder den Speed deiner Internet Anbindung noch die prozentuale Auslastung deiner Ports auf dem VDX bzw. im gesamten Netz um das einschätzen zu können.
Da bleibt, wie du dir sicher auch selber denken kannst, leider nur das Raten im freien Fall bzw. unsere beliebte Kristallkugel. Wenn dir das reicht...?!
Sagen wir mal so:
Ist deine Internet Speed nicht mehr als 1 Gig wird das der VDX sicher noch mit Links abfackeln. Auch wenn er Port Auslastungen sei es Dauer oder Burst von nicht mehr als 60% in Dauerlast hat.
Ist deine Internet Anbindung 10Gig und zu 70% ausgelastet ist das ein Volumen wo man dann beim Switch schon genauer hinsehen muss.
Dann hängt es aber ab von dessen Auslastung. Ist das Burst Traffic, ist der kontinuierlich usw. usw.
Sorry aber du siehst selber das du dafür viel zu wenig bis keine Angaben machst um dir diese Frage realistisch und belastbar beantworten zu können.
Empfiehlt sich dafür ein eigenes VPN?
Für WAS bitte ?? Den remoten Zugang oder die Kopplung an einen remoten Standort ?Was für einen Art von VPN ?? IPsec, SSL usw. ?
Der VDX supportet nur VxLAN als Tunneling Technologie. Wenn dein VPN also auf anderen Techniken basiert als VxLAN stellt sich die Frage jedenfalls für den VDX gar nicht.
Auch hier weiss man weder was du erreichen willst noch den tieferen Sinn der Frage, sorry ?!
Sers,
auch wenn ich an der Infrastruktur seit ~2J nicht mehr arbeite...
Mellanox Adapters - Comparison Table
Grüße,
Philip
auch wenn ich an der Infrastruktur seit ~2J nicht mehr arbeite...
Zitat von @Stromax:
Hi Aqui,
Danke für die schnelle und vor allem aufbauende Antwort!
Hab gerade gesehen, das es von dem Mellanox Connect X-3 EN Dual auch ein "Pro" Version gibt.
RoCE nur bei der Pro! (und damit SMBdirect, iSER)Hi Aqui,
Danke für die schnelle und vor allem aufbauende Antwort!
Hab gerade gesehen, das es von dem Mellanox Connect X-3 EN Dual auch ein "Pro" Version gibt.
Konnte allerdings auf die schnelle den genauen Unterschied nicht finden.
Wenn die Karten noch nicht da sind: Schau dir die ConnectX-4-LX an. Deutlich mehr Speed, VXLAN/NVGRE, und Offloading in Verbindung mit RoCE und SR-IOV. Preislich sind sie in der Anschaffung sehr ähnlich.Mellanox Adapters - Comparison Table
Oder ist das für diese Anwendung egal?
Vielleicht kann die ja besonders gutes TCP/IP Offloading?
Ach ja, benutzt ihr Jumbo Packets?
Ja, spart einiges an CPU Leistung. Allerdings nur nutzen, wenn ALLE aktiven Komponenten im Pfad des Datenpaketes für Jumboframes konfiguriert sind. Fragmentierung kostet auf den Switchen und NICs zu viel Leistung.Vielleicht kann die ja besonders gutes TCP/IP Offloading?
Ach ja, benutzt ihr Jumbo Packets?
Braucht es dann ein seperates Ethernet, um auch den Weg ins Internet zu ermöglichen oder geht das über dieselben Switche?
Ohne Worte. Hatte den Switch rein für L2 verwendet. Routing und Firewalling zwischen den internen Netzen und VLANs übernahm ein dicker Mikrotik CCR.Empfiehlt sich dafür ein eigenes VPN?
... erläuter das bitte weiter, warum/wie/wo du die Anwendung für ein VPN siehstIn der Anwendung geht es vor allem um die Bearbeitung großer Files, vorwiegend 4K Video und Bilddateien.
Gruß
Stromax
Gruß
Stromax
Grüße,
Philip
1Allerdings nur nutzen, wenn ALLE aktiven Komponenten im Pfad des Datenpaketes für Jumboframes konfiguriert sind. Fragmentierung kostet auf den Switchen und NICs zu viel Leistung.
Sorry, die Empfehlung oben war nur für den Layer 2 gedacht. Das hatte ich vergessen dazuzuschreiben, sorry nochmal. Fragmentierung gibt es im Layer 2 nicht !Endgeräte kaspern die optimale MTU immer zuvor mit MTU Path Discovery aus im L2:
https://de.wikipedia.org/wiki/Path_MTU_Discovery
Die Layer 3 MTU ist wieder eine andere Baustelle. Auf den Switch L3 Interfaces bleibt die meistens auch bei den klassischen 1500 Bytes. Die sollte man nur vergrößern wenn man weiss was man tut und solche Frames NICHT über WAN Verbindungen gehen sondern lediglich lokal geroutet werden und man da Fragemntierung ausschliessen kann. Da hat der Kollege @psannz absolut recht !
Die Empfehlung das Jumbo Framing zu aktivieren galt oben deshalb auch ausschliesslich für die Layer 2 Konfig !!
1
Ich meinte, ob der Weg ins Internet auch bei Jumbo Packets über diesen Switch erfolgen kann, oder ob es da eine separate Verbindung braucht?
In der Vergangenheit hatte ich schon mal Probleme mit Jumbo Packets und bekam zerhackte und somit unbrauchbare Datenpakete beim Weg ins Internet und in die Welt der Standartpaketgrößen. Ich hatte den Netgear ProSafe GS752TXS Switch oder den AVM Fritz!Box Router im Verdacht, aber konnte das Problem nicht lösen. Nach meinem Verständnis hätte der Netgear die Umsetzung der Paketgröße vom 10 GBit Uplink Port auf den 1 GBit Port zum Router machen müssen, aber das schien nicht zu funktionieren.
Ich meine VLAN, nicht VPN, sorry - hatte mich vertippt.
Gedanke dahinter: Das Internet via VLAN vom Netz zu trennen und selektiv Zugang zu ermöglichen. Aber die Paketgröße hat ja mit dem VLAN nichts zu tun, insofern erübrigt sich der Gedanke eher. VLAN macht aber im Zweifel dennoch sinn, um zur Sicherheit Rechner vom Netz trennen zu können.
Die Internetanbindung ist derzeit unter 1 GBit, soll aber ggf. auf 1 GBit oder sogar 10 GBit symmetrisch ausgebaut werden (keine 1000m Umkreis zum DeCIX Knoten, da liegt das doch auf der Hand..). Wobei der Traffic ins Internet nicht das Thema ist, mir geht es nur um die Frage, ob ein mit Jumbo Packet konfiguriertes internes Netzwerk noch problemlos aufs Internet zugreifen kann, wenn ich den Router ebenfalls (über einen Netgear Switch mit 10 GBit Uplink) an den Brocade anschließe?
Wie gesagt, ich hatte bei einer Installation damit mal Probleme und daher lief die Installation erstmal mit den Standartwerten. Auf den Server schreiben kann ich (laut ATTO und diversen anderen Benchmarks) dennoch mit knapp über 1000 MByte/s, da dürfte auch Jumbo Packet nicht mehr viel mehr bringen. Lesen ist allerdings mit 500-700 MByte/s merklich langsamer.
Auf der Server Seite verrichtet eine RAM/SSD Cache seine Dienste (PrimoCache) mit 128 GB RAM und 480 GB Optane 900P bzw. 2 TB SATA SSD RAID nur für den Cache. Da kommt selten was direkt von der Platte, das macht den Server merklich reaktiver. Das SAS RAID dahinter schaufelt etwa 1.800 MByte/s, wenn mal was anliegt. Jede Nacht wird der komplette Server vollständig defragmentiert. 48 TByte Volumes mit praktisch 0% Fragmentierung.
In der Vergangenheit hatte ich schon mal Probleme mit Jumbo Packets und bekam zerhackte und somit unbrauchbare Datenpakete beim Weg ins Internet und in die Welt der Standartpaketgrößen. Ich hatte den Netgear ProSafe GS752TXS Switch oder den AVM Fritz!Box Router im Verdacht, aber konnte das Problem nicht lösen. Nach meinem Verständnis hätte der Netgear die Umsetzung der Paketgröße vom 10 GBit Uplink Port auf den 1 GBit Port zum Router machen müssen, aber das schien nicht zu funktionieren.
Ich meine VLAN, nicht VPN, sorry - hatte mich vertippt.
Gedanke dahinter: Das Internet via VLAN vom Netz zu trennen und selektiv Zugang zu ermöglichen. Aber die Paketgröße hat ja mit dem VLAN nichts zu tun, insofern erübrigt sich der Gedanke eher. VLAN macht aber im Zweifel dennoch sinn, um zur Sicherheit Rechner vom Netz trennen zu können.
Die Internetanbindung ist derzeit unter 1 GBit, soll aber ggf. auf 1 GBit oder sogar 10 GBit symmetrisch ausgebaut werden (keine 1000m Umkreis zum DeCIX Knoten, da liegt das doch auf der Hand..). Wobei der Traffic ins Internet nicht das Thema ist, mir geht es nur um die Frage, ob ein mit Jumbo Packet konfiguriertes internes Netzwerk noch problemlos aufs Internet zugreifen kann, wenn ich den Router ebenfalls (über einen Netgear Switch mit 10 GBit Uplink) an den Brocade anschließe?
Wie gesagt, ich hatte bei einer Installation damit mal Probleme und daher lief die Installation erstmal mit den Standartwerten. Auf den Server schreiben kann ich (laut ATTO und diversen anderen Benchmarks) dennoch mit knapp über 1000 MByte/s, da dürfte auch Jumbo Packet nicht mehr viel mehr bringen. Lesen ist allerdings mit 500-700 MByte/s merklich langsamer.
Auf der Server Seite verrichtet eine RAM/SSD Cache seine Dienste (PrimoCache) mit 128 GB RAM und 480 GB Optane 900P bzw. 2 TB SATA SSD RAID nur für den Cache. Da kommt selten was direkt von der Platte, das macht den Server merklich reaktiver. Das SAS RAID dahinter schaufelt etwa 1.800 MByte/s, wenn mal was anliegt. Jede Nacht wird der komplette Server vollständig defragmentiert. 48 TByte Volumes mit praktisch 0% Fragmentierung.
Ich meinte, ob der Weg ins Internet auch bei Jumbo Packets über diesen Switch erfolgen kann
Eigentlich ja, denn die Path Discovery sollte dafür sorgen das es keine Fragmentierung gibt.Um sicher zu gehen kannst du am Router das DF Bit erzwingen und dann muss nicht der Router fragmentieren sondern die Endgeräte senden es passend.
und somit unbrauchbare Datenpakete beim Weg ins Internet
Technisch eigentlich nicht möglich, denn Fragemntierung ist letztendlich möglich, wenn auch nicht das Gelbe vom Ei und sollte man natürlich vermeiden solange man kann.Die Standard Layer 3 MTU im Internet ist immer 1500 !!
Ich hatte den Netgear Switch oder den AVM Fritz!Box Router im Verdacht
Kein Kommentar zu solchen Produkten in deinem Umfeld ! You get what you pay for...Ich meine VLAN, nicht VPN, sorry - hatte mich vertippt.
OK, dann kannst du das dazu Geschriebene oben natürlich komplett streichen !Das Internet via VLAN vom Netz zu trennen und selektiv Zugang zu ermöglichen.
Das machst du doch so oder so in einem vernünftigen Layer 3 Switching Design:Verständnissproblem Routing mit SG300-28
Dann greift wieder L3 MTU und Path Discovery...alles gut also.
ob ein mit Jumbo Packet konfiguriertes internes Netzwerk noch problemlos aufs Internet zugreifen kann
Klares JA wenn es im L2 ist. Aber auch L3 funktioniert mit entsprechendem Customizing.Wie gesagt, ich hatte bei einer Installation damit mal Probleme
Bei Verwendung von NetGear muss man sich da wohl auch nicht groß wundern. Normal ja nicht deren Spielwiese ! NetGear hat in solchen Umgebungen normal nix zu suchen.Hier hättest du besser auf Mikrotik setzen sollen. Mit deren CRS305 oder CRS309
https://www.varia-store.com/de/produkt/34143-mikrotik-crs309-1g-8s-in-cl ...
Mit den Produkten bekommst du da allemal was besseres an die Hand und das auch noch mit voller L3 Funktionalität ala Brocade VDX !! Falsche Hardware deinerseits gewählt !!
1Zitat von @psannz:
Sers,
auch wenn ich an der Infrastruktur seit ~2J nicht mehr arbeite...
Sers,
auch wenn ich an der Infrastruktur seit ~2J nicht mehr arbeite...
Hab gerade gesehen, das es von dem Mellanox Connect X-3 EN Dual auch ein "Pro" Version gibt.
RoCE nur bei der Pro! (und damit SMBdirect, iSER)Danke, Super Tipp!
Das hatte ich auf der Mellanox Seite bislang nicht heraus lesen können.
Wenn die Karten noch nicht da sind: Schau dir die ConnectX-4-LX an. Deutlich mehr Speed, VXLAN/NVGRE, und Offloading in Verbindung mit RoCE und SR-IOV. Preislich sind sie in der Anschaffung sehr ähnlich.
Mellanox Adapters - Comparison Table
Mellanox Adapters - Comparison Table
Nochmals Danke für den Tipp. Leider finde ich auf die schnelle keine preiswerten gebrauchten Dual Port Karten von der Connect X-4 LX, aber vielleicht taucht noch was auf. Vielleicht kann ich einen freien PCIe Slot opfern und zwei Single einbauen, hätte ja auch was von Redundanz.
Ist der Unterschied zur Connect X-3 denn auch schon bei 10 GBit/40 GBit Trunks so spür-/messbar?
Mehr kriege ich mit dem Brocade ja eh nicht hin.
Und geht die CPU Last so merklich runter?
Die CPUs haben beim Server für gewöhnlich eh keine große Auslastung. Ist ein Fileserver, fast keine VMs. Da dümpelt es meist um 5-8% Auslastung (Dual Hexacore Xeons).
auf die schnelle keine preiswerten gebrauchten Dual Port Karten
eBay ist doch voll von Mellanox Angeboten https://www.ebay.de/itm/HP-Mellanox-10G-SET-Connext-2-1Port-10GbE-inkl-S ...
Zitat von @aqui:
Um sicher zu gehen kannst du am Router das DF Bit erzwingen und dann muss nicht der Router fragmentieren sondern die Endgeräte senden es passend.
Ich meinte, ob der Weg ins Internet auch bei Jumbo Packets über diesen Switch erfolgen kann
Eigentlich ja, denn die Path Discovery sollte dafür sorgen das es keine Fragmentierung gibt.Um sicher zu gehen kannst du am Router das DF Bit erzwingen und dann muss nicht der Router fragmentieren sondern die Endgeräte senden es passend.
Mmmh, ob das mit der Fritz!Box geht? Die kann ja nicht mal VLAN...
Da werde ich mal forschen müssen.
und somit unbrauchbare Datenpakete beim Weg ins Internet
Technisch eigentlich nicht möglich, denn Fragemntierung ist letztendlich möglich, wenn auch nicht das Gelbe vom Ei und sollte man natürlich vermeiden solange man kann.Versuche ich ja, aber wenn Kisten nur per 10 GBit am Netz hängen, braucht es bei Zugriffen ins Internet irgendwo die Umsetzung.
Die Standard Layer 3 MTU im Internet ist immer 1500 !!
Klar.
Ich hatte den Netgear Switch oder den AVM Fritz!Box Router im Verdacht
Kein Kommentar zu solchen Produkten in deinem Umfeld ! You get what you pay for...Grrrr.
ob ein mit Jumbo Packet konfiguriertes internes Netzwerk noch problemlos aufs Internet zugreifen kann
Klares JA wenn es im L2 ist. Aber auch L3 funktioniert mit entsprechendem Customizing.Wie gesagt, ich hatte bei einer Installation damit mal Probleme
Bei Verwendung von NetGear muss man sich da wohl auch nicht groß wundern. Normal ja nicht deren Spielwiese ! NetGear hat in solchen Umgebungen normal nix zu suchen.Hier hättest du besser auf Mikrotik setzen sollen. Mit deren CRS305 oder CRS309
https://www.varia-store.com/de/produkt/34143-mikrotik-crs309-1g-8s-in-cl ...
Mit den Produkten bekommst du da allemal was besseres an die Hand und das auch noch mit voller L3 Funktionalität ala Brocade VDX !! Falsche Hardware deinerseits gewählt !!
Tja, wenn man das immer vorher wüsste. Aber Budgetgrenzen erlauben manchmal auch kaum was anderes.
Der Netgear ist ohnehin nur das Low End für alles, was nicht 10 GBit kann und hängt per Port Trunk am Brocade. Da vieles in die Cloud verlagert wurde, reduziert die Nutzung nach und nach, aber irgendeinen, der die 10 GBit auf 1 GBit runterkocht braucht es halt doch. Aber vielleicht bleibt irgendwo Luft für nen neuen Switch.
Zitat von @aqui:
https://www.ebay.de/itm/HP-Mellanox-10G-SET-Connext-2-1Port-10GbE-inkl-S ...
auf die schnelle keine preiswerten gebrauchten Dual Port Karten
eBay ist doch voll von Mellanox Angeboten https://www.ebay.de/itm/HP-Mellanox-10G-SET-Connext-2-1Port-10GbE-inkl-S ...
Naja, dann such mal die Connect X-4 LX Dual. Ich hab keine gefunden. Single ja.
Die Connect X-2 hab ich haufenweise rumliegen. Die gibts ab und an im 100er Pack nachgeworfen für unter 15 Euro das Stück. Ich glaube ich habe damals für meine keine 10 Euro bezahlt bei 20 Stück oder so. Ohne SFP. Die gabs für 10 Euro extra
Solange ich noch Windows 10 Treiber kriege, sind diese Karten in Workstations einfach super. Kaputt? Egal! Nimm ne neue aus dem Regal...
Aber vielleicht bleibt irgendwo Luft für nen neuen Switch.
Mikrotik hat dafür ja auch faire Preise Ich glaube ich habe damals für meine keine 10 Euro bezahlt bei 20 Stück oder so. Ohne SFP. Die gabs für 10 Euro extra
Da merkt man deutlich das 10Gig nun wirklich im Commodity Bereich angekommen ist ! Zitat von @Stromax:
Tja, wenn man das immer vorher wüsste. Aber Budgetgrenzen erlauben manchmal auch kaum was anderes.
Der Netgear ist ohnehin nur das Low End für alles, was nicht 10 GBit kann und hängt per Port Trunk am Brocade. Da vieles in die Cloud verlagert wurde, reduziert die Nutzung nach und nach, aber irgendeinen, der die 10 GBit auf 1 GBit runterkocht braucht es halt doch. Aber vielleicht bleibt irgendwo Luft für nen neuen Switch.
Tja, wenn man das immer vorher wüsste. Aber Budgetgrenzen erlauben manchmal auch kaum was anderes.
Der Netgear ist ohnehin nur das Low End für alles, was nicht 10 GBit kann und hängt per Port Trunk am Brocade. Da vieles in die Cloud verlagert wurde, reduziert die Nutzung nach und nach, aber irgendeinen, der die 10 GBit auf 1 GBit runterkocht braucht es halt doch. Aber vielleicht bleibt irgendwo Luft für nen neuen Switch.
Wenns schon in Richtung gebraucht geht, und auf ein Produkt, dass aus dem Support draussen ist, dann würde ich mir an deiner Stelle auch mal die Ruckus ICX 6650, oder die kleineren ICX 6610 anschauen. (Ehemals Brocade ICX, wurden von Ruckus aufgekauft).
Die haben dann auch ein Web Interface, und können L3 Routing von Haus aus. In der Bucht gibt es durchaus einige Geräte mit dem dicken Lizenzpaket (vollständig freigeschaltene 10G und 40G Ports).
Kleine Anmerkung zur o.a. guten Empfehlung...
Die ICX6xxx Modelle sind End of Sale. Die also nur wenn man sehr gute gebrauchte Hardware erwerben möchte oder damit leben kann.
Für neue Projekte mit Wartung nur noch die ICX-7xxx verwenden.
Erwähnenswert noch das die Maschinen ein Cisco CLI haben, sich also identisch wie Ciscos konfigurieren lassen und deren Stacking Optionen, besonders das horizontal Stacking über Distanzen ungeschlagen sind.
Die ICX6xxx Modelle sind End of Sale. Die also nur wenn man sehr gute gebrauchte Hardware erwerben möchte oder damit leben kann.
Für neue Projekte mit Wartung nur noch die ICX-7xxx verwenden.
Erwähnenswert noch das die Maschinen ein Cisco CLI haben, sich also identisch wie Ciscos konfigurieren lassen und deren Stacking Optionen, besonders das horizontal Stacking über Distanzen ungeschlagen sind.
