m-jelinski
Goto Top

Entscheidungshilfe Storage für Netzwerkupgrade

Hallo zusammen,

unsere Server und Storage-Systeme sind nun > 6 Jahre alt und überfällig ausgetauscht zu werden.

Daher haben wir Angebote über schnelle VMware Host und Storage-Systeme eingeholt.

Alle Angebote haben folgende Daten gleich:

2 x ToR Switche 100 GBit/s für Anbindung VMware Hosts an Storage und Netzwerk (Huawei mit 32 Ports oder Mellanox mit 16 Ports)
3 x VMware Host mit 2 x Intel 6246R CPU, 1 TB RAM und 2 x NIC mit je 2 x 100 GBit Ports (2 x für Storage und 2 x für Netzwerkanbindung), VMware vSphere Enterprise Plus
und einige weitere Komponenten

Bislang sind alle Anforderungen abgesteckt und Angebote eingeholt. Nach der jetzigen Sichtung bleiben 2 Anbieter in der engsten Wahl übrig.
Nach jetzigem Stand wird die Wahl des Storage über den Anbieter entscheiden (da die technischen Daten des restlichen Komponenten äußerst ähnlich sind). Folgende Storage-Systeme sind angeboten:

IBM FlashSystem 7200
(https://www.ibm.com/de-de/marketplace/flashsystem-7200)
mit 1,5 TB RAM Cache,
17 x 7,68 TB NVMe Flash und
12 x 14 TB NL-SAS Platten
Storage-CPU: 4 x Intel 8-core Cascade Lake 2,1 GHz
Anbindung über 4 x 2 x 25 GBit/s mit iSER RoCE (RDMA over Converged Ethernet)
Performance laut IBM mit obiger Konfig:
- Flash-Tier: noch unbekannt
- NL-SAS Tier: noch unbekannt
Max-Performance laut Anbieter (ohne Bezug auf unsere Konfig - also wenig aussagekräftig): 2.300.000 IOPS (4K R:100%)
VMware Hosts = 3 x Dell R640 Server (Spezifikationen siehe oben)

Huawei OceanStor 5600 V5
(https://e.huawei.com/de/products/cloud-computing-dc/storage/massive-stor ..)
mit 1 TB RAM Cache (wird im nächsten Angebot auf 1,5 TB hochgesetzt),
34 x 3,84 TB NVMe Flash und
12 x 14 TB NL-SAS Platten
Storage-CPU: noch unbekannt
Anbindung über 2 x 100 GBit/s mit iSCSI (ohne RDMA)
Performance laut Huawei mit obiger Konfig:
- Flash-Tier: 445.868 IOPS (8 KB R:80%)
- NL-SAS Tier: 1.100 IOPS (8 KB R:80%)
VMware Hosts = 3 x Huawei 1288H V5 Server (Spezifikationen siehe oben)

Beide Systeme sind Auto-Tiering Systeme, welche u.a. Inline-Deduplizierung, Inline-Komprimierung, etc. unterstützen.

Beim IBM Storage handelt es sich um ein reines Blockstorage mit iSER RoCE Anbindung (welche laut https://blogs.vmware.com/performance/2018/08/vsphere-with-iser-iscsi-ext ... wohl einige Vorteile bringen soll).

Beim Huawei Storage handelt es sich um ein Storage, welches neben reinem Blockspeicher auch Dateifreigaben zur Verfügung stellen kann (was wir allerdings nicht wirklich benötigen).

Habt Ihr Erfahrung mit einem der beiden oder sogar mit beiden Storagesystemen und könnt mir eine Entscheidungshilfe oder Erfahrungsberichte geben?

Vielen Dank im Voraus!

LG Michael

Content-Key: 576234

Url: https://administrator.de/contentid/576234

Printed on: April 19, 2024 at 21:04 o'clock

Member: falscher-sperrstatus
falscher-sperrstatus Jun 01, 2020 updated at 19:52:58 (UTC)
Goto Top
Hallo Michael,

Ganz pragmatisch, Wie sollen wir dir eine Entscheidungshilfe geben, wir wissen nicht, was für Anforderungen du hast. Wir haben dein System nicht abgemessen, kennen die Leistungsanforderungen nicht. Daher, schwer da mehr zu sagen, als frag die Anbieter, warum "das" jetzt in eurem Fall besser ist, "als das andere".

VG
Member: m-jelinski
m-jelinski Jun 01, 2020 updated at 20:38:19 (UTC)
Goto Top
Hallo certifiedit.net,
wie bereits gesagt sollen laut jeweiligen Anbieter beide Storagesysteme für unsere Anforderungen gut passen (Kurzfassung: Radiologie-Dienstleister mit hoher Anzahl an DICOM Aufnahmen für mittlere 2stellige Anzahl von angebundenen Krankenhäusern in der teleradiologischen Notfallversorgung (hauptsächlich CT und MRT, aber auch einige andere wie Röntgen, DL, Mammo, ...) und zentralen RIS und PACS Systemen).

Den jeweils anderen Anbieter fragen, was das Mitbewerberprodukt für Schwächen hat, ist meiner Meinung nach wenig verlässlich.

Eine Entscheidungshilfe kann mir da sicherlich nur jemand geben, welcher die Systeme (bzw. eines davon) im Einsatz hat und über wichtige Punkte wie Performance, Qualität des Service, Ausfallhäufigkeit, Stabilität, Qualität der Firmware und Firmwareupdates, ... etc. berichten kann. Manchmal verzweifelt man ja auch schon an extrem unübersichtlichen GUIs.
Auch interessieren mich die Performance/Latenz-Unterschiede speziell von iSCSI zu iSER RoCE. Hier gibt es sicherlich einige die da Erfahrungen haben und etwas dazu sagen können.

LG Michael
Member: falscher-sperrstatus
falscher-sperrstatus Jun 01, 2020 at 20:35:46 (UTC)
Goto Top
Sicherlich interessantes feld. Auch was die Datenintegrität angeht.

Allerdings, Da kommt es aber - leider - immer darauf an, worauf Wert gelegt wird. Du sprichst ja von dem nice To have. Aber wofür. Am Ende wäre es dann vielleicht am cleversten von den Anbietern einen Blick auf das system zu bekommen. Und unterschätz die Hinweise nicht. Auch darin wie Anbieter dieses und jenes dann verargumentieren. Geht dabei sicherlich auch nicht nur um 2 Mark fünfzig.
Mitglied: 142583
142583 Jun 01, 2020 at 20:42:24 (UTC)
Goto Top
Wenn ich IBM lese im Zusammenhang mit Storage muss ich immer an die Wartungskosten und den miesen supporte denken.

Hast du diese Kosten mal verglichen und sichergestellt dass sie inhaltlich auch vergleichbar sind?

Vermutlich kosten sechs Jahre Support mehr als die Grundanschaffung der Hardware! Und wenn du die Nachfolger-Hardware kaufst musst du wieder alle Lizenzen löhnen.
Member: m-jelinski
m-jelinski Jun 01, 2020 updated at 20:55:48 (UTC)
Goto Top
Ja, da hast Du Recht. 2 Mark fünfzig wird es leider nicht kosten... Eher den Gegenwert eines schicken freistehenden Häuschens (wohl nicht in München, Frankfurt, Berlin oder Hamburg, aber hier in Nordhessen durchaus).
Ein Blick auf die GUI werde ich mir nächste Woche noch einholen, ebenso wie die Performancewerte der IBM (die Entscheidung muss ich bis Freitag treffen, da wir die Systeme dringend benötigen und auch schon einige Zeit an den Vergleichen arbeiten).
Bezüglich der Dateifreigabe könnten wir unsere DICOM Daten entweder in einer Dateifreigabe speichern oder in virtuellen VMware Festplatten.
Die Ablage der Daten in Dateifreigaben wäre zwar nice to have, würde uns bezüglich der Datensicherung aber neue Baustellen aufmachen (da Veeam bei File-Share Backup pro 0,25 TB eine Instanz-Lizenz benötigt und wir in den nächsten 5 Jahren dreistellige TB-Mengen davon zentral ablegen möchten).
Auch für unsere Windows Shares nutzen wir virtuelle Windows Server, weshalb die Notwendigkeit diese auf dem Storage in einer CIFS Freigabe abzulegen nicht wirklich vorhanden ist.

Am meisten interessieren mich tatsächlich Erfahrungen bezüglich der neuen RDMA Techniken und natürlich der Themen wir Support- und Produkt-Qualität von Huawei im Vergleich zu IBM.
Member: falscher-sperrstatus
Solution falscher-sperrstatus Jun 01, 2020, updated at Jun 15, 2020 at 10:18:32 (UTC)
Goto Top
Dann schmeiss das nice To have in die Tonne. Genau deswegen sag ich auch, geh es so hin und da ist die Konkurrenz gut. Vor allem siehst du auch, wie gut die ihr Produkt beherrschen. Das ist nämlich oftmals wichtiger als"bester Preis". Zumindest kann ich das aus eigenen mit Biet Verfahren gerne berichten.

Grüße,

Christian
certifiedit.net
Member: m-jelinski
m-jelinski Jun 01, 2020 at 21:04:20 (UTC)
Goto Top
Die Lizenzen sind bei beiden Anbietern auf das Gerät gebunden (da nehmen die sich leider alle nichts; mit Ausnahme von glaube ich PureStorage, welche ein schöneres Konzept hatten, aber aufgrund des Preises vorab schon aussortiert wurden).

Die Support-/Wartungs-Kosten sind für 5 Jahre bereits in den Gerätepreisen mit eingerechnet (scheinbar möchte das kein Anbieter mehr separat ausweisen; spielt aber für uns auch keine große Rolle, da wir den Support eh benötigen und letztendlich immer der Gesamtpreis zählt).

Welche Supporterfahrungen hast Du mit IBM gemacht (Du schreibst ja von miesem Support)?
Mitglied: 142583
142583 Jun 01, 2020 at 21:19:06 (UTC)
Goto Top
Naja, Laufwerk ist kaputt und muss bestenfalls vom Kunden entdeckt werden. Dann wird das Laufwerk eingesendet und geprüft. Dann gibt es Ersatz. Dauert Tage bis Wochen.

Zum Vergleich Dell.
Storage meldet defekt bei Dell und ein Bote fährt direkt los. Er hat genaue Anweisungen oder ich sage dem Pförtner bescheid.
Vier Stunden maximale Reaktionszeit bis die Hardware da zu sein hat. 24/7 bei 365.

Wenn in Europa Feierabend ist übernimmt im Osten dannach in den USA ein Supporter den Fall, falls es nicht mit dem Tausch getan ist.

Bezüglich der Lizenzen vertreibt Dell Lifetime-Lizenzen und es muss nur die Wartung gekauft werden.
Dell SC Storage (ehem. Compellent) ist seit 2023 das Storage der Wahl.
Alle Versprechen wurden eingehalten.
Member: falscher-sperrstatus
falscher-sperrstatus Jun 01, 2020, updated at Jun 15, 2020 at 10:18:19 (UTC)
Goto Top
Denke du meinst 2013. Aber ja ich schwöre auch auf den Service von dell. Die verkacken es ironischerweise eher beim presales. danach hatte ich nie Probleme.
Mitglied: 142583
Solution 142583 Jun 01, 2020 at 21:45:33 (UTC)
Goto Top
Ja, 2013.

iSCSI ohne RDMA wird dem IBM nicht die Stirn bieten können.

Wie viel CPU und Overhead das brauch, hängt auch von der CNA ab und den Treibern.

Auch ist 4*25GBit dem 2*100 vorzuziehen, wegen der zusätzlichen Pfade ins SAN. Du hast mindestens doppelt so viele Warteschlange, usw...

File-Storage würde ich über Windows Server Core 2019 abwickeln. Du kannst horizontal und vertikal skalieren im Cluster und später super einfach die Hardware upgraden oder das OS.

Wir betreiben mittlerweile hunderte Server samt San über FCoE mit Hardware-Beschleunigung der CNAs und nur die Hana Umgebung ist noch auf klassischem FC.
Benefit ist besser ausgelastete Switchtechnik und große Summen mehr Budget für SSDs usw... Mehr Platz im Rack, weniger Kabel und Klimatisierung.
Cluster über größere Distanzen und über Standortgrenzen sind einfacher und günstiger.
Ich würde aber auch RDMA iSCSI machen, wenn der Stack von Equalogic/Dell kommt.

Was mir an deiner Konfiguration zu denken gibt ist, dass NVMe-Flash verbaut ist. Der eigentlich, um das letzte Bisschen Reaktionszeit auszureizen mit FC verbunden gehört oder leistungsfähigen Low-Latancy Converged-Switches in dem Fall.

Sind ultraniedrige Latenzen wichtig?
Member: em-pie
Solution em-pie Jun 01, 2020 at 21:49:44 (UTC)
Goto Top
Moin,

Also zum Thema IBM:
Wir sind seit 30 Jahren IBM-lastig unterwegs. Ich seit 10 Jahren selbst.

Die o.g Thematik (Disk einschicken, checken und dann mal sehen) ist defekto falsch und mit obendrein auch neu.
Die Storages melden sich selbst bei IBM (=CallHome), machen einen Call auf und 2-3h später gibt es einen Anruf. Dort wird gefragt, ob ein Techniker rauskommen oder wir die Platten selbst einbauen wollen. Die Platte ist am nächsten Tag da und in der Verpackung ist alles für das zurücksenden enthalten.

Preise:
IBM macht je nach Projektvolumen sehr gute Preise. Ja, die IBM ist nicht immer die günstigste (lt. Liste), aber der Service ist in meinen Augen sehr gut.


Also wenn es um HA& Co geht:
Nimm ne V5000er oder V7000er mit Mirroring und Fullflash. Anbindung: FibreChannel präferiert. Sofern die Basis schon vorhanden.
Zu iSCSI kann ich nicht viel sagen. Da bin ich mit Null Erfahrung unterwegs...

Gruß
em-pie
Member: m-jelinski
m-jelinski Jun 01, 2020 at 22:08:48 (UTC)
Goto Top
Zitat von @142583:

Naja, Laufwerk ist kaputt und muss bestenfalls vom Kunden entdeckt werden. Dann wird das Laufwerk eingesendet und geprüft. Dann gibt es Ersatz. Dauert Tage bis Wochen.

In meinen Angeboten sind 4 Stunden Entstörzeit für 5 Jahre inbegriffen, weshalb das eher kein Problem sein wird.


Zitat von @142583:
Bezüglich der Lizenzen vertreibt Dell Lifetime-Lizenzen und es muss nur die Wartung gekauft werden.
Dell SC Storage (ehem. Compellent) ist seit 2023 das Storage der Wahl.
Alle Versprechen wurden eingehalten.

Dell hat auch die SC7020 angeboten, welche aber preislich aus der Reihe gefallen ist. Auch waren die Dell Jungs aus Bratislava bei weitem nicht so kompetent, wie die Anbieter von Huawei und IBM.
Member: falscher-sperrstatus
falscher-sperrstatus Jun 01, 2020 at 22:15:16 (UTC)
Goto Top
Dell hat auch die SC7020 angeboten, welche aber preislich aus der Reihe gefallen ist. Auch waren die Dell Jungs aus Bratislava bei weitem nicht so kompetent, wie die Anbieter von Huawei und IBM.

Wie ich oben schon schrieb, Presales ist bei denen (direkt) für'n A... face-wink

Hab ich und merk ich auch immer wieder als Dell Partner seit 2012.
Member: m-jelinski
m-jelinski Jun 01, 2020 updated at 22:28:28 (UTC)
Goto Top
Zitat von @142583:
Ich würde aber auch RDMA iSCSI machen, wenn der Stack von Equalogic/Dell kommt.

Was mir an deiner Konfiguration zu denken gibt ist, dass NVMe-Flash verbaut ist. Der eigentlich, um das letzte Bisschen Reaktionszeit auszureizen mit FC verbunden gehört oder leistungsfähigen Low-Latancy Converged-Switches in dem Fall.

Sind ultraniedrige Latenzen wichtig?

Ich habe aus begrenzten Platzverhältnissen auf redundante 100 GBit/s Switche gesetzt, welche Storage und Netzwerk in einem bieten, so dass ich mir separate FC Switche sparen konnte.

Ist FC deutlich besser wie iSER RoCE? Ich habe mit beiden Techniken noch keine Erfahrungen sammeln können. Oder geht es hier wirklich nur noch um das letzte Quentchen (wie beim Auto, welches dann statt 285 die 300 Km/h fährt aber für die letzten 15 KM/h Unsummen mehr kostet)?
Mitglied: 142583
142583 Jun 02, 2020 updated at 07:42:47 (UTC)
Goto Top
Dass die SC7020 teurer sein soll als das IBM NVMe-Flash ist wirklich ein krasses Problem. Für das Angebot würde ich direkt in Frankfurt bei Dell eskalieren und um rollende Köpfe bitten. Auch euer Einkauf sollte sowas nicht akzeptieren.

Das SC7020 ist ein SAS SAN dass gar nicht in den Vergleich mit dem IBM SAN gehört.
Es sollte mit mindestens 15%, eher bis zu 40% günstiger sein als das IBM bei vergleichbaren Sizing. Das Gegenstück aus den Hause Dell kommt aus der EMC Linie.
Irgendwas stimmt hier gewaltig nicht.

Ob du die Vorteile von NVMe-Flash SAN überhaupt nutzen kannst, mag zu bezweifeln sein.

Bezüglich der Fragen ob FC besser wäre, müsste man die HBAs, CNAs, Switches usw... Kennen um sich eine Meinung bilden zu können.

Wichtig ist bei Converged-Umbebungen, dass die Switches immer in jeder Situation immer niedriglatent sind und bleiben. Ist das nicht sicherstellt ist der Hauptvorteil von NVMe-Flash zu SAS-Flash dahin.

Meiner Meinung nach bringt dir NVMe-Flash nichts, nur dem Vertriebler. Du wirst verhältnismäßig große Blöcke schreiben und hohe Bandbreiten benötigen. Der heftige Aufpreis von SAS-Flash zu NVMe-Flash verpufft.
Member: aqui
aqui Jun 02, 2020 at 08:05:28 (UTC)
Goto Top
Bei den 100Gig Switches lohnt auch ein Angebot über Ruckus ICX 7850-32Q einzuholen, denn die bieten eine vollständige VxLAN Integration:
https://de.commscope.com/product-type/enterprise-networking/ethernet-swi ...
Member: m-jelinski
m-jelinski Jun 02, 2020 at 09:01:51 (UTC)
Goto Top
Zitat von @142583:

Dass die SC7020 teurer sein soll als das IBM NVMe-Flash ist wirklich ein krasses Problem. Für das Angebot würde ich direkt in Frankfurt bei Dell eskalieren und um rollende Köpfe bitten. Auch euer Einkauf sollte sowas nicht akzeptieren.

Das SC7020 ist ein SAS SAN dass gar nicht in den Vergleich mit dem IBM SAN gehört.
Es sollte mit mindestens 15%, eher bis zu 40% günstiger sein als das IBM bei vergleichbaren Sizing. Das Gegenstück aus den Hause Dell kommt aus der EMC Linie.
Irgendwas stimmt hier gewaltig nicht.

Das Dell SC7020 lag mit unserer Konfiguration bei über 200.000 € netto. Sowohl Huawei wie auch IBM liegen beide deutlich darunter. Bei Huawei hat der Aufpreis von SAS SSD zu NVMe gerade mal ~ 7 k € netto ausgemacht (was die Entscheidung Pro NVMe einfach gemacht hat).

Zitat von @142583:

Bezüglich der Fragen ob FC besser wäre, müsste man die HBAs, CNAs, Switches usw... Kennen um sich eine Meinung bilden zu können.

FC würde auf jeden Fall den Aufwand deutlich erhöhen. Platzbedingt wollen wir auf 1 HE Server setzen, was mit FC nicht möglich wäre (da wir schon 2 der 3 Slots mit Netzwerkkarten belegen). Auch ist bislang keine FC Infrastrucktur vorhanden, so dass ein nicht unerheblicher Betrag allein dafür zusätzlich notwendig wäre. Ich vermute das der Unterschied zwischen FC und iSER eher weniger gut im Verhältnis zum Aufwand stehen würde.

Zitat von @142583:


Wichtig ist bei Converged-Umbebungen, dass die Switches immer in jeder Situation immer niedriglatent sind und bleiben. Ist das nicht sicherstellt ist der Hauptvorteil von NVMe-Flash zu SAS-Flash dahin.

Beim Angebot mit dem IBM Storage sind 2 Mellanox SN2100 Switche (https://www.mellanox.com/sites/default/files/doc-2020/pb-sn2100.pdf) inbegriffen, beim Huawei Angebot 2 Huawei CloudEngine 8850-32CQ-EI (https://e.huawei.com/de/material/networking/dcswitch/0e2b9914aa134aeb978 ..). Sind diese in "jeder Situation niedriglatent"?
Member: m-jelinski
m-jelinski Jun 02, 2020 at 09:34:27 (UTC)
Goto Top
Zitat von @aqui:

Bei den 100Gig Switches lohnt auch ein Angebot über Ruckus ICX 7850-32Q einzuholen, denn die bieten eine vollständige VxLAN Integration:
https://de.commscope.com/product-type/enterprise-networking/ethernet-swi ...

VxLAN soll doch helfen VLANs zu virtualisieren, oder? Da wir eine überschaubare Anzahl an VLANs haben, würde das für uns keine Rolle spielen. Oder hat der Switch andere Vorteile, die ich noch nicht erkannt habe?
Member: aqui
aqui Jun 02, 2020 updated at 09:44:59 (UTC)
Goto Top
Nein VxLAN hat mit VLANs nichts oder nur indirekt zu tun. Das ist eine Tunneltechnik mit der VmWare Layer 2 Netze über eine Layer 3 Infrastruktur realisiert. Z.B. auch zu remoten Standorten über VPN.
Die Ruckus Teile sind qualitativ und vom Feature Set erheblich besser als z.B. die Mellanox HW.
Member: nachgefragt
nachgefragt Jun 02, 2020 at 10:07:03 (UTC)
Goto Top
Hallo Michael,

was mich hier freut sind die bisher positiven Berichte von DELL.

Leider hatte ich bisweilen mit Workstations und Notebooks von DELL derart große Schwierigkeiten mit dem DELL-Support und dessen Servicepartnern (Einhaltung Servicezeiten, Qualität der ausländischen Service-Kräfte im Remote-Support, neue Hardware nicht einsatzfähig, Lieferzeiten von Ersatzteilen,...) das ich mich an ein Storage von DELL gar nicht mehr herantraue. Dabei stand DELL schon auf meinen (privaten) "Kinderschuhen".

Ist Huawei noch ein Exot in dem Bereich?
Member: aqui
aqui Jun 02, 2020 updated at 10:21:20 (UTC)
Goto Top
Ein Exot mit nachweislich eingebauten Schnüffelchips ! Bei solcher Hardware sollte man Vorsicht walten lassen. Nicht umsonst ist Huawei deswegen weltweit in der Kritik. Ein Konzern der dem chinesichen Militär gehört. Ein Schelm wer Böses dabei denkt...!
Mitglied: 142583
142583 Jun 02, 2020 at 16:32:03 (UTC)
Goto Top
Schnüffelchip mit Nachweis?
Member: nachgefragt
nachgefragt Jun 02, 2020 at 16:41:38 (UTC)
Goto Top
Mitglied: 142583
142583 Jun 02, 2020 at 17:04:02 (UTC)
Goto Top
200k für das SC7020 mit zweiten Enclosure? Oder was ist im Angebot enthalten?
Hört sich heftig übertrieben an! Kann das Angebot von Dell Frankfurt oder Halle oder einen Partner?

Wie gesagt, hier hat "Dell" wirklich verk*ckt!

Mellanox hat schnelleres Forwarding, die Genannten sind aber schon schnell laut Datenblatt. Mellanox baut gute Switches, es gab Jahre da waren die Treiber für deren CNAs sehr schlecht. Ich erinnere mich ungern an diese Zeit.
Du kannst ja selber rechnen mit synthetischen Zahlen, was es für einen Unterschied macht, wenn du unter 100ns sein kannst. Fragt sich nur, ob das (d)ein Limit sein wird. Du kannst ja aus dem ESXI mit hunderten Warteschlangen pro Port/Pfad auf dem San stehen und dann muss da richtig was kommen, dass diese Effekte zum Tragen kommen.

Wir haben eine MSSQL Datenbank für die Einzelteilverfolgung der Produktion. Wenn der Server Wochen oder Monate lang lief dann frisst die Maschine Terabytes RAM und hat keine 100 IOPS pro Sekunde zum San. Kommt nach einem Reboot eine Anfrage rein über alle Einzelteile oder die Engine pflegt ihren Index dann kann es nicht genug Leistung zum San geben. Hier ist ein deutlicher der Vorteil zu sehen, wenn das niedriglatent abläuft und optimale Warteschlangen konfiguriert sind. Als ich das erste Mal 600k IOPS habe toben sehen ging mir schon der Puls hoch.

Welche CNAs sind verbaut?

Hast du Anwendungen die unterschiedlich große Blöcke wild durcheinander lesen und schreiben zeitgleich mit hunderttausenden IOPS? Ich vermute, weiterhin, dass der NVMe-Flash Vorteil verpufft. NVMe-Flash ohne FC oder besser NVMe-over Fabrics zu betreiben ist mehr als Perlen für die Säue.
Mitglied: 142583
142583 Jun 02, 2020 at 17:07:47 (UTC)
Goto Top
Ja, angeblich.
Würde mir aber keine Sorgen machen. Cisco usw wird auch ohne Hemmungen verbaut und die haben nachweislich Dreck am Stecken, währendessen bei Huawei es nur Behauptungen der Trump-Administration sind.

Würde ich nichts drauf geben. Die Amis haben und machen das täglich, was Huawei angeblich machen soll und Huawei Last den Code lesen und du kannst die Binarys auch überprüfen, die dann wirklich kompiliert wurden.
Member: m-jelinski
m-jelinski Jun 02, 2020 at 17:49:20 (UTC)
Goto Top
Zitat von @nachgefragt:

Hallo Michael,

was mich hier freut sind die bisher positiven Berichte von DELL.

Leider hatte ich bisweilen mit Workstations und Notebooks von DELL derart große Schwierigkeiten mit dem DELL-Support und dessen Servicepartnern (Einhaltung Servicezeiten, Qualität der ausländischen Service-Kräfte im Remote-Support, neue Hardware nicht einsatzfähig, Lieferzeiten von Ersatzteilen,...) das ich mich an ein Storage von DELL gar nicht mehr herantraue. Dabei stand DELL schon auf meinen (privaten) "Kinderschuhen".

Ist Huawei noch ein Exot in dem Bereich?

Huawei ist bei den Storageherstellern die Nummer 5. Gartner nennt das Leader. Also weniger ein Exot als ich selbst auch angenommen hätte.

Mit Dell hatte ich die letzten 15 Jahre keine ernsten Probleme. Seit einem halben Jahr habe ich aber nicht unerhebliche Probleme im Notebookbereich (hauptsächlich Abstürze beim aufwachen aus dem Standby; auch und gerade bei der aktuellsten XPS Reihe - sowohl XPS13 wie auch XPS15 - und auch mit Latitude).
Ich hätte jetzt aber keine Probleme Dell Server einzusetzen (da hab ich mit dem Support sehr gute Erfahrungen gemacht).
Member: m-jelinski
m-jelinski Jun 02, 2020 at 17:59:30 (UTC)
Goto Top
Zitat von @aqui:

Ein Exot mit nachweislich eingebauten Schnüffelchips ! Bei solcher Hardware sollte man Vorsicht walten lassen. Nicht umsonst ist Huawei deswegen weltweit in der Kritik. Ein Konzern der dem chinesichen Militär gehört. Ein Schelm wer Böses dabei denkt...!

Diese Bedenken teile ich nicht. Und unsere DICOM Daten sind auch viel zu groß um sie unbemerkt abgreifen zu können. Und selbst wenn die unsere Sicherheitsvorkehrungen umgehen könnten: Was will ein chinesischer Militärhacker mit einer Ganzkörper-Computertomografie von Oma Erna nach einem Verkehrsunfall?

https://www.heise.de/newsticker/meldung/Bill-Gates-zur-5G-Debatte-Huawei ...
Member: m-jelinski
m-jelinski Jun 02, 2020 at 18:16:52 (UTC)
Goto Top
Zitat von @142583:

200k für das SC7020 mit zweiten Enclosure? Oder was ist im Angebot enthalten?
Hört sich heftig übertrieben an! Kann das Angebot von Dell Frankfurt oder Halle oder einen Partner?


Kommt von den Dell Jungs aus Bratislava (wieso ich keinen Ansprechpartner Vorort bekommen habe, weiß wohl nur Dell...


Mellanox hat schnelleres Forwarding, die Genannten sind aber schon schnell laut Datenblatt. Mellanox baut gute Switches, es gab Jahre da waren die Treiber für deren CNAs sehr schlecht. Ich erinnere mich ungern an diese Zeit.
Du kannst ja selber rechnen mit synthetischen Zahlen, was es für einen Unterschied macht, wenn du unter 100ns sein kannst. Fragt sich nur, ob das (d)ein Limit sein wird. Du kannst ja aus dem ESXI mit hunderten Warteschlangen pro Port/Pfad auf dem San stehen und dann muss da richtig was kommen, dass diese Effekte zum Tragen kommen.

Wir haben eine MSSQL Datenbank für die Einzelteilverfolgung der Produktion. Wenn der Server Wochen oder Monate lang lief dann frisst die Maschine Terabytes RAM und hat keine 100 IOPS pro Sekunde zum San. Kommt nach einem Reboot eine Anfrage rein über alle Einzelteile oder die Engine pflegt ihren Index dann kann es nicht genug Leistung zum San geben. Hier ist ein deutlicher der Vorteil zu sehen, wenn das niedriglatent abläuft und optimale Warteschlangen konfiguriert sind. Als ich das erste Mal 600k IOPS habe toben sehen ging mir schon der Puls hoch.

Welche CNAs sind verbaut?


Im Huawei Angebot wird es die ConnectX®-5 100GbE Dual-Port Karte sein. Im IBM/Dell Angebot ist der Typ nicht genannt (das prüfe ich aber noch).


Hast du Anwendungen die unterschiedlich große Blöcke wild durcheinander lesen und schreiben zeitgleich mit hunderttausenden IOPS?

Wir haben recht viele Datenbanken, aber halt auch große Bilddaten. Der Aufpreis von SAS-SSD zu NVMe Flash ist bei beiden Angeboten zu vernachlässigen. Huawei gibt die Unterschiede mit 210.779 IOPS (SAS-SSD) zu 445.868 IOPS (NVMe mit iSCSI) an. Da gehe ich lieber auf Nummer sicher.
IBM hat leider die Performance Werte für unser Sizing noch nicht mitgeteilt.
Mitglied: 142583
142583 Jun 02, 2020 at 18:23:57 (UTC)
Goto Top
Was sagen eigentlich deine jetzigen Statistiken zur Arbeit des SAN?
Member: m-jelinski
m-jelinski Jun 02, 2020 at 18:32:36 (UTC)
Goto Top
Zitat von @142583:

Was sagen eigentlich deine jetzigen Statistiken zur Arbeit des SAN?

Unser bisherige Arbeit ist mit der Zukunft kaum vergleichbar, da wir aktuell dezentrale Systeme auflösen bzw. zentralisieren. Unser jetziges Storage ist eine HPE MSA, welche sich unter unserer Last quält und viel weniger Leistung liefert, wie wir sie benötigen. Angeschafft hat diese mein Vorgänger ohne das sehr hohe Wachstum unserer Unternehmensgruppe zu berücksichtigen.
Mitglied: 142583
142583 Jun 02, 2020 updated at 18:50:01 (UTC)
Goto Top
Ich habe mir die Hardware nun Mal genauer angesehen. Du hast mit den Mellanox die beste Auswahl an Markt.

Grundsätzlich ist sogar eine frühe Version von NVMe ober Fabrics möglich. Ich weiß jedoch nicht wie IBM sich hier verhält und in der Lebenszeit der Hardware verhalten wird.

Es ist auch komisch, dass bei eurer Anfrage NVMe-Flash-SAN angeboten wird. Die Hersteller haben auch andere Klassen.

Ich vermute, dass deine Angebotspreise immer noch sehr teuer sind und Du die Vertriebler am selben Tag nacheinander einladen solltest. Ein guter Einkäufer gehört dazu. Die Sparte ist die mit der größte Marge und das solltest du die Anbieter spüren lassen, was das bedeutet.

Ich darf über unsere Preise nichts sagen aber SC7020 mit 150TB und 200k IOPS würde ich weit unter 100k bezahlen. Nackig. Der Aufpreis auf NVMe ist bestenfalls 15% oder der Anbieter will mit der Brechstange in den Markt.
Member: m-jelinski
m-jelinski Jun 02, 2020 at 19:01:22 (UTC)
Goto Top
Zitat von @142583:

Ich habe mir die Hardware nun Mal genauer angesehen. Du hast mit den Mellanox die beste Auswahl an Markt.

Grundsätzlich ist sogar eine frühe Version von NVMe ober Fabrics möglich. Ich weiß jedoch nicht wie IBM sich hier verhält und in der Lebenszeit der Hardware verhalten wird.

Es ist auch komisch, dass bei eurer Anfrage NVMe-Flash-SAN angeboten wird. Die Hersteller haben auch andere Klassen.

Ich vermute, dass deine Angebotspreise immer noch sehr teuer sind und Du die Vertriebler am selben Tag nacheinander einladen solltest. Ein guter Einkäufer gehört dazu. Die Sparte ist die mit der größte Marge und das solltest du die Anbieter spüren lassen, was das bedeutet.

Ich darf über unsere Preise nichts sagen aber SC7020 mit 150TB und 200k IOPS würde ich weit unter 100k bezahlen. Nackig. Der Aufpreis auf NVMe ist bestenfalls 15% oder der Anbieter will mit der Brechstange in den Markt.

Das ist eine gute Hilfe. Vielen Dank. Ich merke auch selbst, das hier viel Luft ist (jeder Anbieter, dem ich bislang abgesagt habe, kommt mit einem nochmals deutlich günstigerem Angebot um die Ecke...).

Einen Einkäufer habe ich in unserer Unternehmensgruppe leider nicht zur Verfügung. Die kaufmännischen Themen muss ich als IT-Leiter leider mit übernehmen (was sich aber schlimmer anhört als es ist, da so zumindest die technischen Entscheidungen nicht zu sehr darunter leiden).

Aktuell belaufen sich die Angebote mit Storage, ein paar Servern, Backup-Storage, Switchen und einigen Lizenzen zwischen 250 - 500 k € (zumindest die einigermaßen vergleichbaren).
Mitglied: 142583
142583 Jun 02, 2020 at 19:04:43 (UTC)
Goto Top
Dann lass sie mindestens Kämpfen für das Geld. Da geht wirklich viel. Glaube mir.

Du kannst dir nicht vorstellen, wie günstig die Hardware ist. Die Software und Support kostet den Anbieter ein Vielfaches.
Member: Fabezz
Fabezz Jun 02, 2020 at 19:10:28 (UTC)
Goto Top
Moin,
hört sich interessant an was hier so gebaut werden soll.

Als ToR Switchen auf jedenfall die Mellanox Switche (könnten auch VxLAN). Ob SN2100 oder größer müsst ihr wissen was ihr an Bums wollt da kann auch fast kein anderer Hersteller mithalten. (alles natürlich kleiner Münzen) Bei den 2100 müsst ihr ein wenig aufpassen beim Break Out auf 4 x 25G da wäre der Folgeport dann blind.

Zum Storage:
IBM: da kann ich leider nur auf schlechte Erfahrungen zurückblicken. Sei es Service, über defektes array durch alte Firmware auf tauschplatte und schlussendlich die Krönung der Anfahrtpauschale damals von 1200 Euro (klar kleine Service Vertrag)

Huawei:
Kann nichts zu sagen.

Aber meine Frage:
Warum geht ihr nicht den Weg aus dem Vendor Lock raus in Richtung Gegenwart und virtualisiert euren Storage?

Lasst euch mal ein Angebot über Datacore geben. Hier habt ihr meist mehr Performance. Und der Support hilft euch 24/7 bei welchem mir kein Fall bekannt ist wo es remote nicht zum laufen gebracht wurde. Ebenfalls HA mit der Option zur DR Site. Noch dazu könnt ihr Storagehersteller mischen wie ihr lustig seid. Klar im Pool wird immer das schwächste Glied ausschlaggebend sein aber das ist Designsache. Ebenfalls habt ihr dann selbst in der Hand wieviel Cache (RAM) jeder Node haben soll. Gleichuusehen CPU. Vorteile zur zukünftigen Migration brauch ich nicht zu nennen.


Ich leg euch a s Herz holt euch auf jedenfall das Angebot von Datacore rein ihr werdet es mir danken. Am besten von einem Unternehmen welches mehr als 5 DCIE's besitzt.

Ich selbst habe Jahre mit Datacore gearbeitet und bereitgestellt und bin einfach begeistert.

vSAN von VMWare ist auch eine sehr nette Option.


Grüße
Member: m-jelinski
m-jelinski Jun 03, 2020 at 21:30:53 (UTC)
Goto Top
Zitat von @Fabezz:

Moin,
hört sich interessant an was hier so gebaut werden soll.

Als ToR Switchen auf jedenfall die Mellanox Switche (könnten auch VxLAN). Ob SN2100 oder größer müsst ihr wissen was ihr an Bums wollt da kann auch fast kein anderer Hersteller mithalten. (alles natürlich kleiner Münzen) Bei den 2100 müsst ihr ein wenig aufpassen beim Break Out auf 4 x 25G da wäre der Folgeport dann blind.

Zum Storage:
IBM: da kann ich leider nur auf schlechte Erfahrungen zurückblicken. Sei es Service, über defektes array durch alte Firmware auf tauschplatte und schlussendlich die Krönung der Anfahrtpauschale damals von 1200 Euro (klar kleine Service Vertrag)

Huawei:
Kann nichts zu sagen.

Aber meine Frage:
Warum geht ihr nicht den Weg aus dem Vendor Lock raus in Richtung Gegenwart und virtualisiert euren Storage?

Lasst euch mal ein Angebot über Datacore geben. Hier habt ihr meist mehr Performance. Und der Support hilft euch 24/7 bei welchem mir kein Fall bekannt ist wo es remote nicht zum laufen gebracht wurde. Ebenfalls HA mit der Option zur DR Site. Noch dazu könnt ihr Storagehersteller mischen wie ihr lustig seid. Klar im Pool wird immer das schwächste Glied ausschlaggebend sein aber das ist Designsache. Ebenfalls habt ihr dann selbst in der Hand wieviel Cache (RAM) jeder Node haben soll. Gleichuusehen CPU. Vorteile zur zukünftigen Migration brauch ich nicht zu nennen.


Ich leg euch a s Herz holt euch auf jedenfall das Angebot von Datacore rein ihr werdet es mir danken. Am besten von einem Unternehmen welches mehr als 5 DCIE's besitzt.

Ich selbst habe Jahre mit Datacore gearbeitet und bereitgestellt und bin einfach begeistert.

vSAN von VMWare ist auch eine sehr nette Option.


Grüße

vSAN war zu Anfang des Projektes durchaus eine Option. Die von uns geprüften Optionen waren aber immer etwas zu unflexibel, da man meist Flash und NL-SAS im gleichen Verhältnis aufrüsten musste. Da wir allerdings ungleich mehr kalte Daten haben, hat das nicht so gepasst.
Member: MysticFoxDE
MysticFoxDE Jun 10, 2020 at 08:15:22 (UTC)
Goto Top
Moin Michael,

nachdem die allseits bekannten Marken nun durch sind, würde ich dir gerne noch einen „Geheimtip“ empfehlen.

So wie ich das sehe benötigst du ein BLOCK-SAN mit Tier 1 und Tier 2 Speicherbestückung.

Wir arbeiten seit über 10 Jahren sehr erfolgreich mit dem in Deutschland leider so gut wie unbekanntem Hersteller Infortrend zusammen.
Das Unbekannt jetzt aber bitte nicht zu sehr auf die Waage legen, CERN hat z.B. auch Units von denen im Einsatz.

Das folgende sage ich dir ausschliesslich als Techniker. Die Hardware ist Pfeil schnell, genau so zuverlässig wie auch bei den Anderen, schont jedoch im direkten Vergleich extrem das Budget.

Deine Anforderungen sollten die folgende Unit locker wegpacken.
https://www.infortrend.com/global/products/families/gs/5000

gs 5200

Wenn du Interesse hast, dann kann ich dir gerne ein Angebot rüber werfen.

Grüsse aus BaWü

Alex
Member: MysticFoxDE
MysticFoxDE Jun 11, 2020 at 08:07:02 (UTC)
Goto Top
Moin aqui,

Ein Exot mit nachweislich eingebauten Schnüffelchips ! Bei solcher Hardware sollte man Vorsicht walten lassen. Nicht umsonst ist Huawei deswegen weltweit in der Kritik. Ein Konzern der dem chinesichen Militär gehört. Ein Schelm wer Böses dabei denkt...!

so wie von nachgefragt schon gepostet, wurde in Huawei's Geräten bisher keine Schnüffelfunktion nachgewiesen!

Die hinter dem grossen Teich, sollten lieber selbst die Finger vom Rumschnüffeln lassen!

2014
https://www.zeit.de/digital/datenschutz/2014-01/router-backdoor-cisco

2018
https://www.heise.de/security/meldung/Sicherheitsupdates-Cisco-entfernt- ...

2019
https://www.golem.de/news/cisco-spionage-backdoor-in-amerikanischen-swit ...

Und vor allem nach dieser Geschichte.
https://www.zdf.de/nachrichten/politik/cryptoleaks-bnd-cia-operation-rub ...

Typisch Amis, immer schön den Mist auf die anderen schieben, damit der eigene nicht zu sehr auffällt, vor allem jetzt,
nachdem ein gewisser Blöndni an der Macht ist.

Grüsse aus BaWü

Alex
Member: aqui
aqui Jun 11, 2020 at 08:13:46 (UTC)
Goto Top
Wer die ganze Huawei Geschichte kennt denkt sicher anders darüber. Was würdest du von einem Konzern halten der vollständig in den Händen von Militärs ist ? Die Bedenken sind absolut berechtigt. Allein schon aus ethischen Gründen !
Ein Schelm wer Böses dabei denkt....
Mitglied: 142583
142583 Jun 11, 2020 at 08:23:23 (UTC)
Goto Top
Was ist denn die ganze Huawei Geschichte?
Member: MysticFoxDE
MysticFoxDE Jun 11, 2020 at 09:00:30 (UTC)
Goto Top
Moin aqui,

Was würdest du von einem Konzern halten der vollständig in den Händen von Militärs ist ? Die Bedenken sind absolut berechtigt. Allein schon aus ethischen Gründen !

Ich verweise an dieser Stelle gerne nochmals auf die Rubicon Affäre und die Mitwirkung von Siemens & Co.
Und hier geht es nicht nur um bisher nicht belegte Vorwürfe sondern um Fakten.

Ferner ist die folgende Aussage "vollständig in den Händen von Militärs" so auch nicht korrekt.
Die bisherigen unbestätigten Gerüchte sprechen von einer Zusammenarbeit des Konzerns mit dem Militär,
ich habe bisher jedoch keinen einzigen Bericht gelesen, der von einer vollständigen Kontrolle spricht.
Bitte um entsprechendes "Infomaterial".

Das Thema Militär und Konzerne sollten wir an dieser Stelle aber lieber nicht weiter austrampeln, sonst dürfte man sich aus den besagten ethischen Gründen so gut wie nichts mehr kaufen, vor allem wenn man noch die Historie der jeweiligen Konzerne mitberücksichtigt.

Grüsse aus BaWü

Alex
Member: MysticFoxDE
MysticFoxDE Jun 11, 2020, updated at Jun 13, 2020 at 07:19:32 (UTC)
Goto Top
Moin,

so jetzt aber wieder zurück zum Thema.
Sollte jemand bei dem Hersteller Infortrend die Stirn runzeln und sich fragen, was ist den das.
Diese Reaktion kann ich sehr gut verstehen, dieser Hersteller kann zwar mitunter die besten SANs bauen aber bei dem Marketing muss dieser noch gewaltig üben. 🙃

Ich bin gerade dabei eine kleine Review für eine der Infortrend Units zu machen und habe dafür soeben ein paar Performancetests mit dem besagten Gerätchen gefahren und bin dabei fast von Hocker gefallen.

Folgend ein paar Ergebnisse im Vorab:

4K lesend über 128GB
ift-gse_pro_208t-8xintel_s3700_100gb-iscsi-iometer-128gb-4k-100r-100s-read

~ 360.000 IOPS

4K schreibend über 128GB
ift-gse_pro_208t-8xintel_s3700_100gb-iscsi-iometer-128gb-4k-0r-100s-write

~ 310.000 IOPS

Der eine oder andere wird jetzt sagen, das es für ein modernes hochperformantes Enterprise SAN nicht viel ist,
ist es auch nicht, aber ich habe auch kein High End SAN von Infortrend getestet, sondern eher eine der kleineren Units, die 8-BAY Klasse. 😉

https://www.infortrend.com/global/products/families/gsepro/pro200

gse pro 208


Für diese Kategorie ist die Performance Weltspitze!
Infortrend kratzt diese Performance aus einem Intel D1517 heraus, da kann sich jeder wohl gut vorstellen, was die, aus den mit dicken XEONs bestückten Geräten herausholen.

Grüsse aus BaWü

Alex
Member: m-jelinski
m-jelinski Jun 15, 2020 updated at 08:14:15 (UTC)
Goto Top
Hallo zusammen,

wir haben uns nun für das Angebot mit dem IBM FlashSystem 7200 Storage entschieden. Vielen Dank für die vielen Antworten und Anregungen!

Das lag vor allem an der guten Beratung und dem recht guten Preis-/Leistungsverhältnis.

LG Michael
Member: Fabezz
Fabezz Jun 15, 2020 at 10:15:28 (UTC)
Goto Top
Nadann viel Glück.