milapi65
Goto Top

Storage für Server

Moin zusammen,

wir sind grade dabei uns neue Hardware anzuschaffen. Wir planen 2 Server als Hyper-V Cluster einzurichten. Dazu bietet uns Dell ein EMC ME5012 Storage-Array mit einem 32-Gbit-FC-Typ-B-Controller an.
Für die 2 Server wird jeweils ein Poweredge R750XS mit folgendem Controller angeboten:

Ethernet-Mezzanine-Adapter Broadcom 57414, 2 Anschlüsse, 10/25 GbE, SFP28, OCP

Bisher haben wir immer Server und SAN über SAS-Controller verbunden, kennen uns daher mit FC nicht aus. Macht die o.g. genannte Konfiguration Sinn? Soweit ich das sehen kann wird dies dann über iSCSI konfigurert?

Vielen dank schon mal.


Gruß
Michael

Content-Key: 1388095344

Url: https://administrator.de/contentid/1388095344

Printed on: March 1, 2024 at 02:03 o'clock

Member: elix2k
elix2k Dec 06, 2023 at 10:59:08 (UTC)
Goto Top
Wenn die Server nicht räumlich getrennt sind, finde ich FC in den meisten Fällen zu teuer.
Innerhalb eines RZs würde ich zu SAS oder iSCSI tendieren.
Member: aqui
aqui Dec 06, 2023 updated at 11:32:37 (UTC)
Goto Top
And why was this posted in the English section of the forum when its a question only in German?! FAQs are always your best friend! 🧐
Administrator.de bessere Sprachunterstützung
Read, understand and don't forget to click the right language button at the bottom of the webpage next time...! 😉
Member: pebcak7123
pebcak7123 Dec 06, 2023 at 13:57:33 (UTC)
Goto Top
Bei zwei Hosts würde ich auch eher zu SAS tendieren, da ähnlich performant, einfacher einzurichten und günstiger. Der von dir genannte "Controller" ist übrigens gar nicht für die Anbindung des SAN sondern ein 10G/25G Netzwerkadapter, wobei ich auch da eher einen mit Nvidia Mellanox (oder Intel) Chipsatz nehmen würde, die von Broadcom machen gern mal Probleme.
Beim Sever selbst würd ich evtl. auch mal drüber nachdenken statt dem Intel System (vermutlich dual CPU ?) eines mit nem AMD Epyc Genoa und nur einer CPU zu nehmen.
Member: radiogugu
radiogugu Dec 06, 2023 at 16:38:02 (UTC)
Goto Top
Nabend.

Falls ihr euch für FibreChannel entscheidet, solltet ihr auch nicht die Kosten für die Switches vergessen einzuplanen.

Das kann schön ins Geld gehen, gerade wenn man sich auf 32 Gbit versteift. Ist denn so ein Durchsatz überhaupt sinnvoll bei euch?

Wurde eine Aufnahme der Ist-Situation gemacht, welche Anforderungen denn an das SAN gestellt werden?

"Es soll schnell sein." - wäre etwas wenig.

Daher +1 für SAS / iSCSi bei nicht räumlich getrennter Verortung der Server und des Storage. FC bei räumlicher Trenung.

Gruß
Marc
Member: MysticFoxDE
MysticFoxDE Dec 06, 2023 updated at 18:49:56 (UTC)
Goto Top
Moin @Milapi65,

Dazu bietet uns Dell ein EMC ME5012 Storage-Array mit einem 32-Gbit-FC-Typ-B-Controller an.

schau dir mal alternativ die SAN's von Infortrend an.
Für deine Anforderungen würde ich dir die folgende Serie empfehlen.

https://www.infortrend.com/de/products/ds

Denn die 600K IO/s der ME5012, schafft bereits schon die DS 2000 locker, die ME5012 kostet jedoch um einiges mehr wie eine DS 4000-U und die mach die ME5012 eh dem Erdboden gleich.
Ausserdem sind die Infortrend SAN's viel einfacher zu konfigurieren, wie die von DELL/EMC.
Und im CERN sind übrigens auch ein paar Infortrends verbaut. 😉

Für die 2 Server wird jeweils ein Poweredge R750XS mit folgendem Controller angeboten:

Ethernet-Mezzanine-Adapter Broadcom 57414, 2 Anschlüsse, 10/25 GbE, SFP28, OCP

Die Server sind egal, ist eh meistens dasselbe drunter, aber wie kann dir DELL auf der einen Seite ein SAN mit FC Hostbords anbieten und auf der anderen Seite Server mit nur Ethernet NIC's. 😖
Sag mir bitte, dass du auf dem Angebot bei den Servern auch einen FC-HBA stehen hast ... bitte, bitte. 🙏
Wenn nicht, dann hat der Mensch der dir dieses Angebot gemacht hat, nicht wirklich eine Ahnung von der Materie.

Bisher haben wir immer Server und SAN über SAS-Controller verbunden, kennen uns daher mit FC nicht aus. Macht die o.g. genannte Konfiguration Sinn? Soweit ich das sehen kann wird dies dann über iSCSI konfigurert?

SAS ist für deine Konstellation, zum einen die kostengünstigste, aber auch zugleich die schnellste und auch die effizienteste Variante.

Denn, eine 32G FC SAN-SERVER Anbindung, kann auch nur max. 32G, eine SAS 12G SAN-SERVER Anbindung, kann hingegen dank der Bündelung von bis zu 4 SAS-Channels, meistens jedoch bis zu 48G. 😉

Die Controller der DS4000 lassen sich per Hostboards z.B. je mit bis zu 4 SAS 12G(48G) Ports bestücken und sind Active/Active. 😁

Wenn du nun zwei Server mit 2 Dualport 12G SAS-HBA's bestückst und diese mit der DS4000 verbindest, dann hast du zwischen den beiden Server und dem SAN, jeweils eine Bandbreite von !!! 192G !!! 🤪

Alternativ kann man so an die DS4000 aber auch bis zu 4 Server direkt per SAS dran hängen, dann aber nur mit je max. 96G.

Beste Grüsse aus BaWü
Alex
Member: em-pie
em-pie Dec 06, 2023 at 20:18:16 (UTC)
Goto Top
Moin,

@radiogugu
Falls ihr euch für FibreChannel entscheidet, solltet ihr auch nicht die Kosten für die Switches vergessen einzuplanen.
Man kann Host und Storage auch direkt anbinden, ohne Switch.
Wenn das SAN zwei Nodes und je Node vier FC-Ports hat, ist das kein Problem.
Jeder Host kann dann mit bis zu 4 Beinen mit dem Storage verbunden werden…
Mitglied: 8585324113
8585324113 Dec 07, 2023 updated at 06:34:46 (UTC)
Goto Top
Zitat von @em-pie:

Moin,

@radiogugu
Falls ihr euch für FibreChannel entscheidet, solltet ihr auch nicht die Kosten für die Switches vergessen einzuplanen.
Man kann Host und Storage auch direkt anbinden, ohne Switch.
Wenn das SAN zwei Nodes und je Node vier FC-Ports hat, ist das kein Problem.
Jeder Host kann dann mit bis zu 4 Beinen mit dem Storage verbunden werden…

Ja, das wäre zu prüfen.

Natürlich bist Du mit Hosts und SAN aus dem selben Haus besser beraten.

Gucke das du Pro Support oder besser Pro Support Plus bekommst.

In den Dell Storages steckt das Know-how von Dell, Equalogic und EMC. Mehr bekommst Du für dein Geld nicht. Lizenzthemen aber vorher anfragen, die können auch zu 100% rabattiert werden.
Member: em-pie
em-pie Dec 07, 2023 at 06:11:09 (UTC)
Goto Top
Jetzt auf FC zu gehen (anstatt SAS) hätte auch den Vorteil, dass wenn man (später) alles räumlich auseinander zieht, ist die Hardware schon vorbereitet und man braucht nur noch OM4 (oder besser OS2) Strippen in den anderen Raum + GBICs (Wenn OS2).
Mit SAS wird das dann eher weniger was. Ggf. noch iSCSI, aber iSCSI > 10G wird da auch schnell kostenintensiv.


Macht euch aber auch übers Backup Gedanken.
Wir haben VEEAM mit im SAN hängen. Die VMs (VMware) müssen so nicht über Ethernet gesichert werden.
An der Stelle kämen dann aber die SAN-Switche ins Spiel.

Plant also ordentlich. Wenn die Kohle nicht in einem Schwung bereit steht, dann plant das mehrstufig und bereitet alles für das Endziel vor.
Member: pebcak7123
pebcak7123 Dec 07, 2023 at 07:23:11 (UTC)
Goto Top
Zitat von @8585324113:
In den Dell Storages steckt das Know-how von Dell, Equalogic und EMC. Mehr bekommst Du für dein Geld nicht. Lizenzthemen aber vorher anfragen, die können auch zu 100% rabattiert werden.

Naja in dem PowerVault ME 5 steckt nen umgebrandetes DotHill (Seagate) SAN , übrigens genau wie bei HPE MSA2060 etc.
Mitglied: 8585324113
8585324113 Dec 07, 2023 at 07:29:20 (UTC)
Goto Top
Zitat von @pebcak7123:

Zitat von @8585324113:
In den Dell Storages steckt das Know-how von Dell, Equalogic und EMC. Mehr bekommst Du für dein Geld nicht. Lizenzthemen aber vorher anfragen, die können auch zu 100% rabattiert werden.

Naja in dem PowerVault ME 5 steckt nen umgebrandetes DotHill (Seagate) SAN , übrigens genau wie bei HPE MSA2060 etc.

Ist das jetzt eine Neuigkeit, dass es Lieferketten gibt?

Es geht um den Softwarestack.
Member: MysticFoxDE
MysticFoxDE Dec 07, 2023 at 08:51:44 (UTC)
Goto Top
Moin @8585324113,

Naja in dem PowerVault ME 5 steckt nen umgebrandetes DotHill (Seagate) SAN , übrigens genau wie bei HPE MSA2060 etc.

Ist das jetzt eine Neuigkeit, dass es Lieferketten gibt?

nö, es ist aber auch keine Neuigkeit, dass alles was sich in der Lieferkette dazwischen befindet, auch immer extra frisst und das, stelleweise nicht zu wenig. 😉

Es geht um den Softwarestack.

Aha und welcher "Softwarestack" ist den bitte bei einem Block-SAN welches per FC oder SAS an zwei HV-Nodes angebunden werden soll, den so wichtig?

Gruss Alex
Mitglied: 8585324113
8585324113 Dec 07, 2023 at 08:53:35 (UTC)
Goto Top
Ja, deshalb das viele Geld.
Member: MysticFoxDE
MysticFoxDE Dec 07, 2023 at 09:12:21 (UTC)
Goto Top
Moin @8585324113,

Ja, deshalb das viele Geld.

und deshalb auch mein Tipp mit den Infortrends.

Wir verbauen seit über 10 Jahren nichts anderes und wurden von diesen noch nie enttäuscht, im Gegenteil.
Selbst die Vorgängerserie der DS 4000 die wir schon vor 5 Jahren verbaut haben, macht die jetzt dem TO angebotene ME5012 dem Erdboden gleich, weil die damals schon > 1.4M IO's gewuppt haben. 😁

Ausserdem lassen sich die Infortrend Units, z.B. jederzeit von SAS auf FC oder auch iSCSI, im Nachgang umrüsten. 😉

Gruss Alex
Mitglied: 8585324113
8585324113 Dec 07, 2023 at 09:16:45 (UTC)
Goto Top
Aber brauche ich gar kein Storage außerhalb der Hosts.

Nein bissel Tiering, Deduplikation, Kompression usw kann heute jeder.
Member: MysticFoxDE
MysticFoxDE Dec 07, 2023 at 09:38:23 (UTC)
Goto Top
Moin @8585324113,

Aber brauche ich gar kein Storage außerhalb der Hosts.

Nein bissel Tiering, Deduplikation, Kompression usw kann heute jeder.

ein vSAN ist ein vSAN und ein SAN ist ein SAN und dazwischen liegen Welten, zum Teil sehr extreme.

Denn spätestens bei mehreren gleichzeitigen und zufälligen Zugriffen über einen grösseren Teil der Gesamtkapaztität eines Storages, trennt sich die Spreu (vSAN) ganz schnell vom Weizen (SAN). 😉

Gruss Alex
Mitglied: 8585324113
8585324113 Dec 07, 2023 at 09:47:21 (UTC)
Goto Top
Eben waren wir noch bei 1,4 Millionen IOPS.

Hast du keinen KMU der Millionen IOPS braucht, mit Antennenkabel auf Dach?
Member: MysticFoxDE
MysticFoxDE Dec 07, 2023 updated at 11:00:48 (UTC)
Goto Top
Moin @8585324113,

Eben waren wir noch bei 1,4 Millionen IOPS.

Hast du keinen KMU der Millionen IOPS braucht, mit Antennenkabel auf Dach?

wenn du wirklich so viel von SAN's verstehst, wie du hier vorgibst, dann solltest du eigentlich den Unterschied von einem SAN welches 1,4M IO's und einem, welches nur 600K IO's kann und zwar nicht bei Volllast sondern insbesondere auch bei kleinerer Belastung, eigentlich sehr gut kennen.

Kleiner Tipp, die Antwort hat eher was mit der Zeit und weniger mit dem Durchsatz zu tun.
Und die (Arbeits)Zeit, ist für so gut wie jedes Unternehmen das ich kennen, am Wertvollsten/Teuersten. 😉

Gruss Alex
Member: Milapi65
Milapi65 Dec 07, 2023 at 10:46:44 (UTC)
Goto Top
Moin,

vielen herzlichen Dank für die zahlreichen Informationen und Anregungen. Wir werden uns die Infotrend SAN's mal anschauen. In dem angebotenen ME5012 sind SSD's mit bis zu 24G verbaut. Wird die Performance in diesem Bezug erhöht, wenn man FC 32G verwendet anstatt SAS mit 12G? Oder ist dies zu vernachlässigen?
Tatsächlich hat Dell in dem Angebot KEINEN FC Controller in die Server eingebaut... Werden da mal nachfragen wie das funktionieren soll.

VG
Michael
Member: aqui
aqui Dec 07, 2023 at 11:31:25 (UTC)
Goto Top
Member: MysticFoxDE
MysticFoxDE Dec 07, 2023 at 11:48:54 (UTC)
Goto Top
Moin Michael,

In dem angebotenen ME5012 sind SSD's mit bis zu 24G verbaut.

SAS 24G Richtung Drive können die Infortrends auch.

Die bei der DS 4000U sind die Drives sogar mit U.2 (NVME) angebunden. 😁

Wird die Performance in diesem Bezug erhöht, wenn man FC 32G verwendet anstatt SAS mit 12G? Oder ist dies zu vernachlässigen?

So wie ich das oben schon geschrieben habe, die SAS 12G SAN - SERVER Anbindung, ist in Wahrheit meistens eine 48G Anbindung und die Bandbreite wirst du wahrscheinlich weder bei dem einen noch bei dem anderen Ausschöpfen. Viel wichtiger ist jedoch die Latenz, die ist aber auf Kurzstrecke bei FC und SAS annähernd gleich.
Da wirst du eher einen Unterschied merken, wenn du anstelle der SAS SSD's die U.2 nimmst.

Die DS 4000U sprich die mit der U.2 (NVME) Bestückung Richtung Drive, kostet übrigens kaum mehr als die SAS 24G Variante. 😉

Tatsächlich hat Dell in dem Angebot KEINEN FC Controller in die Server eingebaut... Werden da mal nachfragen wie das funktionieren soll.

🙈

Tja und genau wegen sowas, haben wir schon vor längerem diesem ganzen marketingaufgeblasenem A-Brand Geraffel auch weitestgehend abgeschworen, zumindest was SAN und Server angeht.
Den was diesen Punkt angeht, sprich, dass die A-Brands hier meistens angeblich die bessere Lösung anbieten würden, kann ich nach über 20 Jahren Erfahrung auch mit A-Brand Systemen, so leider nicht bestätigen.

Den unter dem Strich kochen die meisten der A-Brands auch nur mit Wasser.
Aber, aufgrund deren ständig wachsender Grösse und deren immer vielfältiger werdenden Fokussierung, verlieren viele davon auch viel schneller den Überblick über den eigenen Laden und auch die Produkte. Aber auch über den Markt selbst, weil man diesen ja nicht mehr wirklich zu verstehen, sondern oft eher zu domminieren versucht. 😔

Gruss Alex
Member: em-pie
em-pie Dec 07, 2023 at 12:55:07 (UTC)
Goto Top
Den unter dem Strich kochen die meisten der A-Brands auch nur mit Wasser.
sehe ich auch so. Ob jetzt vorne drei Buchstaben, vier oder noch mehr dran stehen, ist beinahe wurscht.

Spannend ist, was die an Software mitbringen und wie schnell/ gut deren Support ist.

Gilt aber auch im Bereich Server oder Professional Endpoints (Notebooks/ Workstations, ...)
Member: Milapi65
Milapi65 Dec 07, 2023 at 12:57:40 (UTC)
Goto Top
Hi Alex,

vielen Dank nochmal. Hab mir über die Infotrend-Website mal eine Konfiguration zusammengestelt und ein Angebot angefordert. Mal schauen was da kommt.
Noch eine Frage bzgl. SAS Bündelung. Beziehst Du dich da auf Infotrend, oder ist das auch mit der Dell-Konfiguration machbar (Server je 1 x HBA 355e SAS 12G mit 4 Anschlüssen und SAN mit 2 12-Gbit-SAS-Controller mit 8 Anschlüssen). Zum Einsatz kommen soll als OS Hyper-V...

VG
Michael
Member: pebcak7123
pebcak7123 Dec 07, 2023 at 13:26:48 (UTC)
Goto Top
du brauchst keinen hba mit 4 ports, ein einziges SAS Kabel kann schon 4 Kanäle, normalerweise nimmt man einen HBA mit 2 externen ports und dann je ein Kabel zu einem der Controller im SAN. Und ja das geht genauso auch bei dem DELL ME5012
Mitglied: 8585324113
8585324113 Dec 07, 2023 at 16:56:10 (UTC)
Goto Top
Zitat von @MysticFoxDE:

Moin @8585324113,

Eben waren wir noch bei 1,4 Millionen IOPS.

Hast du keinen KMU der Millionen IOPS braucht, mit Antennenkabel auf Dach?

wenn du wirklich so viel von SAN's verstehst, wie du hier vorgibst, dann solltest du eigentlich den Unterschied von einem SAN welches 1,4M IO's und einem, welches nur 600K IO's kann und zwar nicht bei Volllast sondern insbesondere auch bei kleinerer Belastung, eigentlich sehr gut kennen.

Kleiner Tipp, die Antwort hat eher was mit der Zeit und weniger mit dem Durchsatz zu tun.
Und die (Arbeits)Zeit, ist für so gut wie jedes Unternehmen das ich kennen, am Wertvollsten/Teuersten. 😉

Gruss Alex

Lass es doch einfach stecken. 600k, 1400k IOPS.... Schade dass Du nicht lesen und verstehen kannst, was für einen Bullshit Du schreibst.
Lass es einfach stecken und Spiele beim Kunden den Narzisten. Hier sucht jemand Hilfe und will Meinungen hören. Keine Verweise auf die Atome des CERN. Stell dir mal vor, dass es Menschen gibt, die Dich nicht durchschauen und vielleicht deinem Rat folgen könnten.

Wenn er im Mixed Read Write echte 10k IOPS dauerhaft hat, dann ist das mehr als genug. Und wenn Latenzen wichtig sind, dann kommen SSDs ins Spiel.
Millionen IOPS in so einem Thread? Es geht um zwei poplige Server. Du brauchst Hilfe und man sollte dir dein Gewerbe untersagen. (Meine Meinung)

Hier will Jemand eine Power Vault kaufen der im Backend auf SAS setzt und im Frontend auf iSCSI oder FC.
Die Broadcom ist eine CNA. Passt also wie die Faust aufs Auge. Wenn er kein zweites Enclosure einsetzen will, für weitere Milliarden IOPS, dann spielt dein Gesafte keine Rolle.
Das wüsstest Du, aber deine Störung nimmt zu gerne Überhand.
Mitglied: 8585324113
8585324113 Dec 07, 2023 at 16:58:01 (UTC)
Goto Top
Member: MysticFoxDE
MysticFoxDE Dec 07, 2023 updated at 19:24:04 (UTC)
Goto Top
Moin @8585324113,

Lass es doch einfach stecken. 600k, 1400k IOPS.... Schade dass Du nicht lesen und verstehen kannst, was für einen Bullshit Du schreibst.
Lass es einfach stecken und Spiele beim Kunden den Narzisten.

lies dir deinen Post nochmals in Ruhe durch und dann merkst du vielleicht auch selber, wer hier der Narzisst ist.

Hier sucht jemand Hilfe und will Meinungen hören. Keine Verweise auf die Atome des CERN. Stell dir mal vor, dass es Menschen gibt, die Dich nicht durchschauen und vielleicht deinem Rat folgen könnten.

Lieber @8585324113, im Gegensatz zu manch anderen, verstecke ich mich bei meinen Aussagen nicht hinter einem Pseudonym. Denn so gut wie jeder hier, weiss wer ich im wahren Leben bin oder kann es relativ einfach herausfinden, weil ich mich noch nie bei einer Aussage hinter etwas versteckt habe. 😉
Im Gegenteil, ich stehe zu meinen Aussagen und auch zu jedem Fehler in diesen!

Wenn er im Mixed Read Write echte 10k IOPS dauerhaft hat, dann ist das mehr als genug. Und wenn Latenzen wichtig sind, dann kommen SSDs ins Spiel.

Und wir stellen als ein professionelles und gewissenhaftes Systemhaus, im Jahr 2023 diese Frage erst gar nicht, sondern machen dieses Tatsache, sprich, dass eine geringe Latenz in den meisten Fällen viel wichtiger als hoher Durchsatz ist, dem Kunden eher bewusst, wenn er es nicht schon selber herausgefunden hat. 😉

Millionen IOPS in so einem Thread?

1,4 Millionen IOPS sind 1,4 Millionen IOPS und nicht Millionen IOPS, bitte nicht zu arg übertreiben.

Es geht um zwei poplige Server.

Ja und würdest du dich mit Storages auch wirklich auskennen, dann würdest du auch genau wissen, auf was ich mit der Aussage gezielt habe, insbesondere mit dem Verweis auf geringe Last und Zeit.

Und by the way, die Workstation mit der ich das hier schreibe, packt schon locker über 1M 4K IO/s mit einer durchschnittlichen Latenz von < 1ms und ist übrigens schon so 4 Jahre alt. 😉🤪

Du brauchst Hilfe und man sollte dir dein Gewerbe untersagen. (Meine Meinung)

Natürlich, nur weil man nicht deiner Meinung ist, benötig man gleich Hilfe.
Aber ja, ist gut, wie schon oben geschrieben, hast du mit deinem eigenen Post, glaube ich schon selber gut genug bewiesen, wer von uns beiden die Hilfe viel eher benötigt.

Die Broadcom ist eine CNA. Passt also wie die Faust aufs Auge.

Ja, natürlich, bei einem Storage mit einem 32G FC Uplink, passt selbstverständlich eine 10/25G Ethernet NIC als Gegenstück wie die Faust aufs Auge.

😂🤣😂🤣 ... 🙈

Wenn er kein zweites Enclosure einsetzen will, für weitere Milliarden IOPS, dann spielt dein Gesafte keine Rolle.

Und du bist meiner Ansicht nach, bei HDD SAN's hängen geblieben.
Denn zusätzliche IO's bekommst du bei einem AllFlash-SAN nicht wirklich durch zusätzliche Enclosure's, sondern eher durch weitere oder leistungsfähigere Heads. 😉

Beste Grüsse aus BaWü

Alexander Fuchs
IT System Admiral
IT Senior Seal

NEXT GENERATION IT SOLUTIONS
Member: MysticFoxDE
MysticFoxDE Dec 07, 2023 at 20:02:29 (UTC)
Goto Top
Moin Michael,

ich muss meine Aussage leicht korrigieren.
Die "normalen" DS von Infortrend, können aktuell doch noch kein SAS 24G Richtung Drive sondern nur 12G.
Die ME5012 ist was das angeht, aber auch nicht schneller.

Bei bis zu 24 SSD's alleine im Head, ist aber selbst die SAS 12G Anbindung nicht wirklich ein Flaschenhals.
Denn je nach SSD Typ, reichen davon heutzutage manchmal schon 4-6 aus, damit die CPU's der Controller kräftig ins schwitzen kommen, da jede davon mittlerweile mehrere 100K IO's liefern.

Gruss Alex