westberliner
Goto Top

ESXi von 4xGigabit-Kupfer auf 10Gbit umstellen?

Hallo Zusammen,

ich habe hier 2 Dell R730 am laufen. Die Geräte sind jeweils mit 1 Fibre-Channel Karte am Storage angeschlossen und mit Kupfer 4x1Gbit an den Switchen.

An sich läuft auch soweit alles, jedoch würde ich gerne die Performance insbesondere für Backups verbessern wollen.

Würde es Sinn machen, eine 10GBit-Glas oder Kupferkarte einzubauen und nur mit einem Anschluss an den Switch zu gehen, statt 4x1 im Teaming?

Switche sind untereinander mit 10GbE vernetzt, ein neues NAS mit 10GbE-Fähigkeit habe ich mir fürs Backup ebenfalls angeschafft (Aufgrund defekt des alten).

Wie ist hier die Erfahrung? Generell hantieren wir jetzt nicht mit sehr großen Daten herum. Clients sind per GBit angebunden, das ist klar, dass diese vermutlich nicht wirklich davon profitieren würden, eher das Backup dann.

Danke.

Content-ID: 1540156779

Url: https://administrator.de/contentid/1540156779

Ausgedruckt am: 22.11.2024 um 08:11 Uhr

Ex0r2k16
Ex0r2k16 22.11.2021 um 15:22:31 Uhr
Goto Top
Wie lange dauert denn dein Backup? Welche Software setzt du ein? Einen deutlichen Unterschied merkst du nur bei wirklich vielen Daten und einem extrem schnellen Storage (flash?).

10GB Glas ist natürlich wie immer die beste Lösung. Alternativ geht halt noch DAC. Guck aber dass du noch Treiber für ESXI 7 bekommst bzw. die Hardware dann auch Dell und VMware supported ist.
StefanKittel
StefanKittel 22.11.2021 aktualisiert um 15:52:18 Uhr
Goto Top
Hallo,

ich würde eine zusätzliche (Dual-) 10 GBit Karte einsetzen und mit einem DAC direkt mit dem NAS verbinden.
Das ist einfach, zuverlässung, schnell gemacht, man muss nichts an den VMs ändern und schnell in der Übertragung. Es kann allgemein weniger schiefgehen.

Oder wenn das NAS nur einen 10GBit Port hat dann über den Switch und einem getrennten VLAN.

Das NAS muss natürlich auch schnell genug sein.
2 20TB HDDs mit 5400 rpm bringen Dich da nicht weiter...

Stefan
westberliner
westberliner 22.11.2021 aktualisiert um 15:37:21 Uhr
Goto Top
Hallo, ich sichere mit Veeam, mein Fileserver hat ca. 6,4 TB an Daten, mit Komprimierung sind es ca. 4,6, welche 17-18 Stunden bei einem Voll-Backup aufs NAS gesichert werden. Das ist die größte Maschine, der Rest hält sich soweit in Grenzen. Das Voll-Backup läuft deswegen 1x im Monat,

Nachtrag:

Mein NAS fürs Backup steht nicht im Serverraum, sondern am anderen Ende der Firma zwecks Brandschutz und die NAS hat eben nur einen 10GbE-Port.

Ist eine QNAP TS673 mit 6x8TB 7200rpm im Raid5.
StefanKittel
StefanKittel 22.11.2021 aktualisiert um 15:38:18 Uhr
Goto Top
Mit 1GBit kommt man auf maximal 450 MB pro Stunde.
Mit 10GBit kommt man auf maximal 4,5 TB pro Stunde

Dann muss das NAS aber auch mit 1250 MB/Sek dauerhaft schreiben können.

Alles grobe Werte.

mit z.B. 10 HDDs mit 7200 rpm könnte das klappen.
Solange nichts anderes parallel schreibt. Dann ist eh sense...

Stefan
StefanKittel
StefanKittel 22.11.2021 um 15:42:11 Uhr
Goto Top
Seagate Exos 8TB können 249 MB/Sek dauerhaft schreiben.
Das könnte also knapp passen.

Es würde auf alle Fälle deutlich schneller. Ob am Ende wirklich volles 10GBit ankommt ist nicht ganz sicher.
Aber selbst 5-8 GBit wäre ja schon deutlich schneller

Wieso eigentlich 17-18 Stunden.
Bei vollem 1GBit für 4.5 TB sollten es nur 10 Stunden sein.

Stefan
niklasschaefer
niklasschaefer 22.11.2021 um 16:51:10 Uhr
Goto Top
Moin,
Also von dem Konstrukt NAS kann ich Performance mäßig nur abraten. Wir hatten bisher eine QNAP bei uns diese ist zum Glück nun endlich gestorben. Diese war bei uns leider nur per 4x 1Gbit/s LACP angebunden. Die Source Server waren neue 4x Dell 740xd mit 4x10Gbit/s und vSAN.

Jetzt haben wir ein neues Veeam Blech letzte Woche angeschafft und auch mehrere Veeam Backup Proxies eingeführt welche die Daten schonmal komprimieren und dann auf 12x 8TB Nearline SAS Platten mit 7.2k RPM mit 800-1200mb/s wegschaufeln. Ist natürlich auch ein Cache von 8GB im Controller und ein Raid 6.

Alles im allem würde ich versuchen, Hosts auf 2x 10Gbit/s anzuheben. Am besten mit einer neuen Intel Karte und SFP+, bei 10Gbase-T also Kupfer hast du immer Autonegoation mit dabei und hast immer das Problem das du 10Gbit/s schaffen kannst aber es nicht schaffst. Daher bei kurzen Strecken SFP+ DAC oder bei langen strecken SFP+ SR Transceiver. Das Nas sollte dann entsprechend auch zumindest 10Gbit/s haben und eine ausreichende CPU und SATA Controller damit das Teil auch performant auf die Platten schreibt. Mit 5400k Platten macht das keinen Spaß also schauen das du 7,2k RPM Platten hast so wird die Performance besser.

Grüße
Niklas
ukulele-7
ukulele-7 22.11.2021 um 16:54:11 Uhr
Goto Top
Also erstmal ist RAID5 ja ziemlich unperformant weil eine Parität berechnet werden muss. Kriegst du den beim Schriben auf die NAS konstant die volle Bandbreite oder läßt sich das im Moment nicht testen weil noch kein 10GBit-fähiger Datenstrom? Das würde ich wirklich erstmal mit großen Dateien im Kopiervorgang testen.

Was zeigt dir Veeam den als Bottleneck im Backup Job an?

Veeam sichert außerdem nicht durchgehend auf hoher Geschwindigkeit, zumindest nicht bei inkrementellen Backups. Wo läuft Veeam, in einer VM auf dem selben Host oder auf eigener Hardware?
StefanKittel
StefanKittel 22.11.2021 um 18:14:09 Uhr
Goto Top
Hallo,

kurz als Info.
Mit einem TS-1232XU-RP-4G (ARM® Cortex-A57 4-core 1.7GHz processor ) komme ich mit 8x 8 TB Exos HDDs (7200) im R5 mit HS auf ca. 800-900 MB/Sek dauerhaftes schreiben.

8 TB SSDs sind natürlich schneller... aber auch ein bisschen teurer...

Stefan
em-pie
em-pie 22.11.2021 um 19:10:03 Uhr
Goto Top
Moin,

Erzähle mal was zur FibreChannel-Infrastruktur!

Sind die Host direkt am SAN-angeschlossen oder baumelten noch ein SAN-Switch zwischen herum?
Wenn Letzteres, was ich nicht vermute, da ihr die Hosts nur mit einem Bein angebunden habt, ist ja vielleicht noch etwas auf dem Switch frei. Ein eigenes Zoning und die Ströme sind getrennt.

Ich hab FC für mich liebgewonnen. Klar, das bedeutet doppelte Infrastruktur, aber FC ist imho schlanker. Und für Synologys gibt es ja auch FC-HBAs.
Bliebe nur das Problem mit den „lahmen“ Platten. Aber unser SAN (12x10TB, Distributed RAID 6) packt das. Die beiden Controller haben aber auch 32GB RAM…