ueba3ba
Goto Top

Collapsed-Core-Architektur und Storage Traffic

Hallo allerseits.

Mich beschäftig eine Frage.

Im Labor ist eine Collapsed-Core Architektur vorhanden.

Am Core Switch(Ein Nexus 5548) sind alle HV und FileSrv Nodes angebunden. 3 HV Nodes und 2 FileSrv Nodes.

Da komme ich auf 10 Ports über die der Storage-Traffic mit RDMA drüber läuft.
Dann sind auf dem Core Switch auch noch 6 Ports für die Virtuellen Maschinen besetzt.

Meine Frage lautet: Ist es Sinnvoll, für den Storage Traffic einen separaten Switch zu verwenden um den Core zu entlasten?
Ist der Nexus dafür ausgelegt, Storage Traffic, Server und Client Traffic zu bewältigen?

Beispielsweise einen Mellanox Switch?


Grüße!

Content-Key: 3189345820

Url: https://administrator.de/contentid/3189345820

Printed on: April 20, 2024 at 00:04 o'clock

Mitglied: 2423392070
2423392070 Jun 27, 2022 at 09:07:24 (UTC)
Goto Top
Hätten die dedizierten Storages Switches denn Vorteile gegenüber dem Konvergierten?
Member: Ueba3ba
Ueba3ba Jun 27, 2022 at 09:10:30 (UTC)
Goto Top
Klar, beim Collapsed-Core ist keine Redundanz vorhanden.

Man könnte quasi den Storage-Traffic über 2 Mellanox Switche redundant aufbauen.

Der restliche Traffic für Server Anwendungen und Clients laufen weiterhin über den Collapsed-Core, der keine Redundanz besitzt.
Mitglied: 2423392070
2423392070 Jun 27, 2022 at 09:13:43 (UTC)
Goto Top
Damit war jetzt nicht gemeint ob es redundante Pfade gibt, sondern ob die Hardware besondere Latenzen oder Protokolle bietet.

Das zwei Switches bessert sind als ein Switch liegt auf der Hand.
Member: Ueba3ba
Ueba3ba Jun 27, 2022 at 09:15:50 (UTC)
Goto Top
Dafür müsste ich die Datenblätter der Switche durchsehen. Das weis ich leider nicht.
Member: ElmerAcmeee
ElmerAcmeee Jun 27, 2022 at 15:50:34 (UTC)
Goto Top
Hallo,
wir betreiben an einem Nexus 5548 ein All-Flash Array per iSCSi,7 ESX Server mit ca 200 VMs, 6 XenServer mit 90 VDIs und ein paar Etagen Switche.
Durchsatz ist da absolut kein Problem! Das Ding ist jedoch nächstes Jahr EOL.
Laut WhitePaper schafft die Switch/Backplane 960 Gbps:
https://www.cisco.com/c/en/us/products/collateral/switches/nexus-5548p-s ...
Hast du Probleme festgestellt und tippst hier auf den Flaschenhals?
Gruß
Member: Ueba3ba
Ueba3ba Jun 28, 2022 updated at 07:03:35 (UTC)
Goto Top
@elmer

Danke für deinen Beitrag.

Ich hatte gestern Crystaldiskmark laufen lassen und bin bin dem Ergebnis nicht ganz zufrieden.
Crystadiskmark wurde auf einer VM ausgeführt.

Es ist ein 3 NodeHyperV Cluster und ein 2 Node S2D Cluster. Es laufen aktuell 4 VM's auf dem System.

Eventuell habe ich etwas falsch angeschlossen? Die Enclosure? Jeder Enclosure ist an einem Controller mit 2 SAS Kabeln am HBA angebunden. Müssen beide Controller vom Enclosure angeschlossen werden.

Eventuel meine QoS Config? Ich weis es leider nicht.
unbenannt
Member: ElmerAcmeee
ElmerAcmeee Jun 28, 2022 at 11:09:53 (UTC)
Goto Top
Hi,
ich betreue die Nexus im Rahmen meiner normalen IT-Tätigkeiten und bin kein Cisco/Netzwerk-Spezialist. Kann mich aber noch an die Implementation vor ca 8 Jahren erinnern, wo ähnliche Fragen aufkamen...
(Bitte dringend korrigieren falls nun hier Fehlinformationen entstehen!!!)
Sofern der Storage Traffic auf einem eigenen Port geswitched wird, spielt QoS keine Rolle.

Wir haben zudem noch eine Nexus 9300 mit gleichen Hosts / Systemen. Messbarer Durchsatz und Antwortzeiten sind absolut identisch. Ich kann mir nicht vorstellen, dass hier der Switch der Flaschenhals ist.
Falls doch, wird es am 10G liegen und nicht dem Modell. D.h. du müsstest zu 25G oder 40G greifen.
Viel Erfolg.
Gruß
Member: Ueba3ba
Ueba3ba Jun 28, 2022 at 14:10:39 (UTC)
Goto Top
Danke für deine Antwort.

Was müsste eigentlich mein System hergeben bei meiner jetzigen Config?

Alle Nodes sind mit zwei 10Gbit Leitungen je Node miteinander über den Nexus verbunden.

Alles über RDMA

Es sind 24*600GB 6Gbit SAS Platten je Enclosure.

Da sollte doch etwas mehr gehen!?

Sollte ich ich meine Windows und Nexus QoS Einstellungen posten?

Werde ich später nachreichen.
Mitglied: 2423392070
2423392070 Jun 28, 2022 at 21:24:08 (UTC)
Goto Top
Untersuche das ganze Mal mit dem IOMeter Stück für Stück.
Queu Depth usw ist alles optimal?
Member: Ueba3ba
Ueba3ba Jun 29, 2022 at 17:42:51 (UTC)
Goto Top
Danke. Werde ich machen am Wochenende.