Collapsed-Core-Architektur und Storage Traffic

ueba3ba
Goto Top
Hallo allerseits.

Mich beschäftig eine Frage.

Im Labor ist eine Collapsed-Core Architektur vorhanden.

Am Core Switch(Ein Nexus 5548) sind alle HV und FileSrv Nodes angebunden. 3 HV Nodes und 2 FileSrv Nodes.

Da komme ich auf 10 Ports über die der Storage-Traffic mit RDMA drüber läuft.
Dann sind auf dem Core Switch auch noch 6 Ports für die Virtuellen Maschinen besetzt.

Meine Frage lautet: Ist es Sinnvoll, für den Storage Traffic einen separaten Switch zu verwenden um den Core zu entlasten?
Ist der Nexus dafür ausgelegt, Storage Traffic, Server und Client Traffic zu bewältigen?

Beispielsweise einen Mellanox Switch?


Grüße!

Content-Key: 3189345820

Url: https://administrator.de/contentid/3189345820

Ausgedruckt am: 09.08.2022 um 22:08 Uhr

Mitglied: unbelanglos
unbelanglos 27.06.2022 um 11:07:24 Uhr
Goto Top
Hätten die dedizierten Storages Switches denn Vorteile gegenüber dem Konvergierten?
Mitglied: Ueba3ba
Ueba3ba 27.06.2022 um 11:10:30 Uhr
Goto Top
Klar, beim Collapsed-Core ist keine Redundanz vorhanden.

Man könnte quasi den Storage-Traffic über 2 Mellanox Switche redundant aufbauen.

Der restliche Traffic für Server Anwendungen und Clients laufen weiterhin über den Collapsed-Core, der keine Redundanz besitzt.
Mitglied: unbelanglos
unbelanglos 27.06.2022 um 11:13:43 Uhr
Goto Top
Damit war jetzt nicht gemeint ob es redundante Pfade gibt, sondern ob die Hardware besondere Latenzen oder Protokolle bietet.

Das zwei Switches bessert sind als ein Switch liegt auf der Hand.
Mitglied: Ueba3ba
Ueba3ba 27.06.2022 um 11:15:50 Uhr
Goto Top
Dafür müsste ich die Datenblätter der Switche durchsehen. Das weis ich leider nicht.
Mitglied: ElmerAcmeee
ElmerAcmeee 27.06.2022 um 17:50:34 Uhr
Goto Top
Hallo,
wir betreiben an einem Nexus 5548 ein All-Flash Array per iSCSi,7 ESX Server mit ca 200 VMs, 6 XenServer mit 90 VDIs und ein paar Etagen Switche.
Durchsatz ist da absolut kein Problem! Das Ding ist jedoch nächstes Jahr EOL.
Laut WhitePaper schafft die Switch/Backplane 960 Gbps:
https://www.cisco.com/c/en/us/products/collateral/switches/nexus-5548p-s ...
Hast du Probleme festgestellt und tippst hier auf den Flaschenhals?
Gruß
Mitglied: Ueba3ba
Ueba3ba 28.06.2022 aktualisiert um 09:03:35 Uhr
Goto Top
@elmer

Danke für deinen Beitrag.

Ich hatte gestern Crystaldiskmark laufen lassen und bin bin dem Ergebnis nicht ganz zufrieden.
Crystadiskmark wurde auf einer VM ausgeführt.

Es ist ein 3 NodeHyperV Cluster und ein 2 Node S2D Cluster. Es laufen aktuell 4 VM's auf dem System.

Eventuell habe ich etwas falsch angeschlossen? Die Enclosure? Jeder Enclosure ist an einem Controller mit 2 SAS Kabeln am HBA angebunden. Müssen beide Controller vom Enclosure angeschlossen werden.

Eventuel meine QoS Config? Ich weis es leider nicht.
unbenannt
Mitglied: ElmerAcmeee
ElmerAcmeee 28.06.2022 um 13:09:53 Uhr
Goto Top
Hi,
ich betreue die Nexus im Rahmen meiner normalen IT-Tätigkeiten und bin kein Cisco/Netzwerk-Spezialist. Kann mich aber noch an die Implementation vor ca 8 Jahren erinnern, wo ähnliche Fragen aufkamen...
(Bitte dringend korrigieren falls nun hier Fehlinformationen entstehen!!!)
Sofern der Storage Traffic auf einem eigenen Port geswitched wird, spielt QoS keine Rolle.

Wir haben zudem noch eine Nexus 9300 mit gleichen Hosts / Systemen. Messbarer Durchsatz und Antwortzeiten sind absolut identisch. Ich kann mir nicht vorstellen, dass hier der Switch der Flaschenhals ist.
Falls doch, wird es am 10G liegen und nicht dem Modell. D.h. du müsstest zu 25G oder 40G greifen.
Viel Erfolg.
Gruß
Mitglied: Ueba3ba
Ueba3ba 28.06.2022 um 16:10:39 Uhr
Goto Top
Danke für deine Antwort.

Was müsste eigentlich mein System hergeben bei meiner jetzigen Config?

Alle Nodes sind mit zwei 10Gbit Leitungen je Node miteinander über den Nexus verbunden.

Alles über RDMA

Es sind 24*600GB 6Gbit SAS Platten je Enclosure.

Da sollte doch etwas mehr gehen!?

Sollte ich ich meine Windows und Nexus QoS Einstellungen posten?

Werde ich später nachreichen.
Mitglied: unbelanglos
unbelanglos 28.06.2022 um 23:24:08 Uhr
Goto Top
Untersuche das ganze Mal mit dem IOMeter Stück für Stück.
Queu Depth usw ist alles optimal?
Mitglied: Ueba3ba
Ueba3ba 29.06.2022 um 19:42:51 Uhr
Goto Top
Danke. Werde ich machen am Wochenende.