Am SAS HBA keine Performance
Moin Kollegen,
ich habe unseren Backupserver (Windows 2016 + Veeam B&R) mit einem zusätzlichen Disk-Enclosure und einem Autoloader ausgestattet, um Bandsicherungen durchzuführen.
Der Server ist ein ProLiant DL360p Gen8, 1x 6-Core Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz, 128GB RAM.
Als HBA ist ein HP 221 verbaut mit 2 Ports. Laut Specs schafft der bis zu 6 GBit/s pro Port.
An Port 1 hängt ein HP D3700 Enclosure mit 8 1TB HDDs 10k. Ein übergreifendes Volume ist darüber gespannt, um einen Datenträger daraus zu machen.
An Port 2 hängt ein HP LTO-8-Autoloader.
Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.
Treiber und Firmware des HBAs sind auf letztem Stand der Treiber ist vom Hersteller. Konfigurationsoptionen hat der Treiber keine.
Was übersehe ich?
Muss ich die Geräte im Ring anschließen?
Port 1 das Diskenclosure, Port 2 der Autoloader, und Autoloader Port 2 an Diskenclosure Port 2 (das ist noch nicht gemacht)?
Vielen Dank für jeden Augenöffner.
Viele Grüße
bdmvg
ich habe unseren Backupserver (Windows 2016 + Veeam B&R) mit einem zusätzlichen Disk-Enclosure und einem Autoloader ausgestattet, um Bandsicherungen durchzuführen.
Der Server ist ein ProLiant DL360p Gen8, 1x 6-Core Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz, 128GB RAM.
Als HBA ist ein HP 221 verbaut mit 2 Ports. Laut Specs schafft der bis zu 6 GBit/s pro Port.
An Port 1 hängt ein HP D3700 Enclosure mit 8 1TB HDDs 10k. Ein übergreifendes Volume ist darüber gespannt, um einen Datenträger daraus zu machen.
An Port 2 hängt ein HP LTO-8-Autoloader.
Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.
Treiber und Firmware des HBAs sind auf letztem Stand der Treiber ist vom Hersteller. Konfigurationsoptionen hat der Treiber keine.
Was übersehe ich?
Muss ich die Geräte im Ring anschließen?
Port 1 das Diskenclosure, Port 2 der Autoloader, und Autoloader Port 2 an Diskenclosure Port 2 (das ist noch nicht gemacht)?
Vielen Dank für jeden Augenöffner.
Viele Grüße
bdmvg
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 4785460401
Url: https://administrator.de/contentid/4785460401
Ausgedruckt am: 21.11.2024 um 12:11 Uhr
23 Kommentare
Neuester Kommentar
Moin,
Na ja, was erwartest du denn von normalen HDDs an Geschwindigkeit?
Die 110MB/s sind genau 1GBit/s?
Und mehr wird mit den ollen HDDs auch nicht gehen.
An Port 1 hängt ein HP D3700 Enclosure mit 8 1TB HDDs 10k. Ein übergreifendes Volume ist darüber gespannt, um einen Datenträger daraus zu machen
Na ja, was erwartest du denn von normalen HDDs an Geschwindigkeit?
Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.
Die 110MB/s sind genau 1GBit/s?
Und mehr wird mit den ollen HDDs auch nicht gehen.
Viele Grüße
VGAm selben Server mit einer an USB 3.0 angeschlossenen SATA-Platte (10k) erreiche ich Transferraten um die 250MB/s.
Lesend oder schreibend? Wenn der Server Backups erstellt, ist das ja was anderes, als wenn du was auf ne externe Festplatte schiebst.
Und du hast den Backup-Server nicht zufällig nur mit 1GBit/s am Produktivsystem angeschlossen?
Hi beidermachtvongreyscull,
Ist das Produktives Backup was Du/Ihr damit fahrt? Wenn ja würde ich schnellstens in neue Hardware Investieren. Das ist alles Dinosaurier Hardware.
Ich hatte Ähnliche Probleme vor kurzem, bei mir hatte der Avago MegaRaid 9361-4i trotz verbauter Cache Batterie, diese Funktion nicht richtig aktiviert und musste nochmals Überredet werden. Auch wurde nach Umstellung von SATA auf SAS Festplatten und Raid Anpassung die Geschwindigkeit nochmals drastisch erhöht und kommen somit hier auf Durchschnittlich 200MB/s. was für dieses Backup vollkommen Ausreichend ist.
Und den Tip von @chgorges, würde ich mal Nachgehen, 1G Anbindung Server?
Grüße
Ist das Produktives Backup was Du/Ihr damit fahrt? Wenn ja würde ich schnellstens in neue Hardware Investieren. Das ist alles Dinosaurier Hardware.
Ich hatte Ähnliche Probleme vor kurzem, bei mir hatte der Avago MegaRaid 9361-4i trotz verbauter Cache Batterie, diese Funktion nicht richtig aktiviert und musste nochmals Überredet werden. Auch wurde nach Umstellung von SATA auf SAS Festplatten und Raid Anpassung die Geschwindigkeit nochmals drastisch erhöht und kommen somit hier auf Durchschnittlich 200MB/s. was für dieses Backup vollkommen Ausreichend ist.
Und den Tip von @chgorges, würde ich mal Nachgehen, 1G Anbindung Server?
Grüße
Laut Veeam wird mit max. 110MB/s übertragen.
110 MByte pro Sekunde (das große B steht für Byte, das kleine b für Bit).
110 MByte × (1024²) × 8 Bit = 922.746.880 Bit pro Sekunde.
Oder 922,7 Mbit/s.
Wenn wir jetzt noch grob überschlagen den Overhead für Ethernet und IPv4-Header dazu rechnen, kommen wir auf einen fast vollständig saturierten Gbit-Link.
USB 3.0 kann bereits theoretisch 5 Gbit/s liefern, also die fünffache Bandbreite deines Netzwerks.
Was übersehe ich?
Das große B, nehme ich an
Nicht MBit/s? ;)
+1 für @LordGurke Rechenbeispiel.
Bei Veaam kann man geringen Raten ggf. noch mit Backup Proxy was raus reißen. Es kommt immer drauf an, wo das Bottleneck ist. Zeigt dir aber auch Veeam an oder? Schau in die Logs, was da als Flaschenhals geführt wird!
SQL Server hatten wir mit Teaming auf 2 GBit/s gebraucht. Während die Sicherung mit ca. 1 GBit lief, war noch etwas Reserve auf Netzwerkebene für Anfragen an den Server.
Trotz Teaming war allein vom logischen Aufbau hier nicht mehr drin.
SAS ist gut, wenn es wirklcih SAS ist. Manche haben auch NL-SAS Platte drin, die generell ja nicht so schnell laufen. In deinen Fall trifft das ja scheinbar nicht zu.
Bei Veaam kann man geringen Raten ggf. noch mit Backup Proxy was raus reißen. Es kommt immer drauf an, wo das Bottleneck ist. Zeigt dir aber auch Veeam an oder? Schau in die Logs, was da als Flaschenhals geführt wird!
SQL Server hatten wir mit Teaming auf 2 GBit/s gebraucht. Während die Sicherung mit ca. 1 GBit lief, war noch etwas Reserve auf Netzwerkebene für Anfragen an den Server.
Trotz Teaming war allein vom logischen Aufbau hier nicht mehr drin.
SAS ist gut, wenn es wirklcih SAS ist. Manche haben auch NL-SAS Platte drin, die generell ja nicht so schnell laufen. In deinen Fall trifft das ja scheinbar nicht zu.
Moin bdmvg,
kann es sein, dass dein Veeam Server, zu den Servern die dieser Sichern sollte, übers Netzwerk nur eine 1G Verbindung hat?
Gruss Alex
P.S.
Oh, OK, habe gerade das hier gesehen.
Hast du schon mal mit z.B. diskspd die lokale Storageleistung auf dem Veeam Server gemessen?
Was spuckt dein Veeam bei dem hier aus?
(Anstelle von "C:" bitte das entsprechende Backupziellaufwerk eigeben)
Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.
kann es sein, dass dein Veeam Server, zu den Servern die dieser Sichern sollte, übers Netzwerk nur eine 1G Verbindung hat?
Gruss Alex
P.S.
Oh, OK, habe gerade das hier gesehen.
Definitiv nicht. Er ist mit 2x 10GBit am Netz. Einen direkten Zugriff auf die zentralen Speicher unseres Clusters hat er nicht. Er sichert über die einzelnen Hyper-V-Server.
Die stellen auch nicht das Bottleneck dar.
Hast du schon mal mit z.B. diskspd die lokale Storageleistung auf dem Veeam Server gemessen?
Was spuckt dein Veeam bei dem hier aus?
diskspd -t1 -o1 -b64k -si64k -w100 -d60 -Su -D -L -c20G C:\TEST\IO20G.dat
Moin Andreas,
6,88 MB/s bei 8 x 10K HDD's ... das sieht mehr als gruselig aus. 😬
Kannst du den Test bitte mal mit den folgenden Parametern wiederholen.
Das ist +- die 16fache Last zu vorher.
Und dann bitte nochmals mit dieser Parametriesierung.
Das ist dasselbe wie vorher, nur ohne Hardware-Caching.
Ich tippe mal, dass bei beiden Tests +- dasselbe rauskommt.
Gruss Alex
Write IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | IopsStdDev | LatStdDev | file
------------------------------------------------------------------------------------------------------------------
0 | 432734208 | 6603 | 6.88 | 110.05 | 9.083 | 6.06 | 5.144 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total: 432734208 | 6603 | 6.88 | 110.05 | 9.083 | 6.06 | 5.144
Was hältst Du davon?
6,88 MB/s bei 8 x 10K HDD's ... das sieht mehr als gruselig aus. 😬
Kannst du den Test bitte mal mit den folgenden Parametern wiederholen.
diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Su -D -L -c20G C:\TEST\IO20G.dat
Das ist +- die 16fache Last zu vorher.
Und dann bitte nochmals mit dieser Parametriesierung.
diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Suw -D -L -c20G C:\TEST\IO20G.dat
Das ist dasselbe wie vorher, nur ohne Hardware-Caching.
Ich tippe mal, dass bei beiden Tests +- dasselbe rauskommt.
Gruss Alex
Moin Andreas,
das habe ich mir fast schon gedacht.
Ja, wie soll ich das jetzt vorsichtig sagen.
Das was du da Storagetechnisch machst, ist performancetechnisch sehr suboptimal.
Du hast 10 HDD die in einem Enclosure untergebracht sind, der wiederum nur über einen HBA am Host angebunden ist. Das bedeutet, dass du jegliches RAID über diese HDD's, nur auf Softwareebene, sprich, über Windows Bordmittel oder ähnliche Softwarelösungen, machen kannst.
Die Last für das RAID-Handling läuft in diesem Fall nicht über die RAID-Controller ASIC sondern über die Host CPU.
Das ist aber gar nicht das grössere Problem, dieses ist nämlich das Caching und bei deiner Lösung hast du zum einen keinen Hardware-RAID-Cache und zum anderen deaktiviert das Windows in solchen Fällen auch noch den Drive Cache. Unter dem Strich kann in dabei dann überhaupt keine Performance zustande kommen, weil die HDD's ohne ihren Drive-Cache groten langsam werden und ein RAID ohne Cache ist in den meisten Fällen auch nur eine sehr lahme Krücke.
Tausche den HBA gegen einen erwachsenen RAID-Controller wie z.B. den hier aus ...
https://www.broadcom.com/products/storage/raid-controllers/megaraid-9580 ...
Ist im Grunde dasselbe wie das hier nur eben etwas günstiger. 😁
https://buy.hpe.com/de/de/options/controller-controller-options/smart-ar ...
(Oha, 2K für einen RAID-Kontroller, da sind meiner Ansicht nach, bei HPE definitiv einige Schrauben locker und ein paar Tassen fehlen bei denen auch im Schrank.)
Oder einen gebrauchten und oder älteren SAS 12G RAID-Kontroller mit externen Ports kaufen, die reichen für die 10 HDD's auch aus.
Und schon wirst du einen deutlichen Unterschied sehen.
Aber Gerne.
Wir Admins rudern zwar nicht immer in die gleiche Richtung, sitzen aber +- meistens im selben IT-Wahnsinn-Boot. 🤪
Beste Grüsse aus BaWü
Alex
Command Line: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Su -D -L -c20G F:\IO20G.dat
Write IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | IopsStdDev | LatStdDev | file
------------------------------------------------------------------------------------------------------------------
0 | 2214526976 | 33791 | 35.20 | 563.17 | 7.099 | 69.33 | 5.970 | F:\IO20G.dat (20GiB)
1 | 2202927104 | 33614 | 35.01 | 560.22 | 7.136 | 67.93 | 5.915 | F:\IO20G.dat (20GiB)
2 | 2118385664 | 32324 | 33.67 | 538.72 | 7.423 | 71.42 | 7.789 | F:\IO20G.dat (20GiB)
3 | 2203320320 | 33620 | 35.02 | 560.32 | 7.138 | 63.50 | 5.322 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total: 8739160064 | 133349 | 138.90 | 2222.44 | 7.197 | 263.48 | 6.302
Command Line: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Suw -D -L -c20G F:\IO20G.dat
Write IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | IopsStdDev | LatStdDev | file
------------------------------------------------------------------------------------------------------------------
0 | 2284322816 | 34856 | 36.31 | 580.92 | 6.883 | 52.19 | 4.429 | F:\IO20G.dat (20GiB)
1 | 2278031360 | 34760 | 36.21 | 579.32 | 6.902 | 51.96 | 4.985 | F:\IO20G.dat (20GiB)
2 | 2207514624 | 33684 | 35.09 | 561.39 | 7.122 | 47.88 | 6.304 | F:\IO20G.dat (20GiB)
3 | 2257387520 | 34445 | 35.88 | 574.07 | 6.965 | 47.51 | 5.682 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total: 9027256320 | 137745 | 143.48 | 2295.70 | 6.966 | 184.42 | 5.389
das habe ich mir fast schon gedacht.
Ja, wie soll ich das jetzt vorsichtig sagen.
Das was du da Storagetechnisch machst, ist performancetechnisch sehr suboptimal.
Du hast 10 HDD die in einem Enclosure untergebracht sind, der wiederum nur über einen HBA am Host angebunden ist. Das bedeutet, dass du jegliches RAID über diese HDD's, nur auf Softwareebene, sprich, über Windows Bordmittel oder ähnliche Softwarelösungen, machen kannst.
Die Last für das RAID-Handling läuft in diesem Fall nicht über die RAID-Controller ASIC sondern über die Host CPU.
Das ist aber gar nicht das grössere Problem, dieses ist nämlich das Caching und bei deiner Lösung hast du zum einen keinen Hardware-RAID-Cache und zum anderen deaktiviert das Windows in solchen Fällen auch noch den Drive Cache. Unter dem Strich kann in dabei dann überhaupt keine Performance zustande kommen, weil die HDD's ohne ihren Drive-Cache groten langsam werden und ein RAID ohne Cache ist in den meisten Fällen auch nur eine sehr lahme Krücke.
Tausche den HBA gegen einen erwachsenen RAID-Controller wie z.B. den hier aus ...
https://www.broadcom.com/products/storage/raid-controllers/megaraid-9580 ...
Ist im Grunde dasselbe wie das hier nur eben etwas günstiger. 😁
https://buy.hpe.com/de/de/options/controller-controller-options/smart-ar ...
(Oha, 2K für einen RAID-Kontroller, da sind meiner Ansicht nach, bei HPE definitiv einige Schrauben locker und ein paar Tassen fehlen bei denen auch im Schrank.)
Oder einen gebrauchten und oder älteren SAS 12G RAID-Kontroller mit externen Ports kaufen, die reichen für die 10 HDD's auch aus.
Und schon wirst du einen deutlichen Unterschied sehen.
Hab vielen Dank, dass Du Dir die Mühe machst!
Aber Gerne.
Wir Admins rudern zwar nicht immer in die gleiche Richtung, sitzen aber +- meistens im selben IT-Wahnsinn-Boot. 🤪
Beste Grüsse aus BaWü
Alex
Moin Andreas,
sorry für die späte Antwort.
Habe am WE bei dir um die Ecke (Saarland), ein Hyper-Pfau-Cluster von 2019 auf 2022 angehoben und hatte dabei einige ungeplante MS-Überraschungen zu lösen.
Ohne einen anständigen RAID-Kontroller mit einem Cache > 1GB, wird das nichts mit der Performance.
Ja, aber per Software und nicht per Hardware und vor allem ohne einen Cache dazwischen.
Ich kann dir technisch auch genau erklären warum das so nicht geht, aber nicht jetzt,
das Ganze ist nicht in zwei Sätzen erklärt und für längere Romane habe ich heute nicht wirklich die Zeit.
Mich nicht.
Zum einen ist bei dem USB-Drive wahrscheinlich der Drive-Cache aktiv.
Zum anderen kann Windows in diesem Fall, vereinfacht ausgedrückt die zu schreibenden Daten mit grossen Blöcken direkt gegen den einen Datenträger abfeuert, ohne diese dazwischen in X Teile zu splitten, dann evtl. auch noch einen Parity zu berechnen und dann erst auf diverse ungecachte Datenträger zu transferieren.
Am SAS-HBA kann das aber nicht liegen, den der kann pro SAS-Port (4x~12Gbit/s) ~48 Gbit/s übertragen.
Nicht so wild, der erholt sich davon auch wieder.
Übrigens ...
Mein Techniker-Ich sagt mir gerade, dass es meistens auch eine Kriese bekommt,
wenn das Geschäftsführende-Ich, mal wieder mit irgend einer "mach mal kurz" Idee um die Ecke kommt. 😉🤪
Am liebsten würde ich dir das hier empfehlen.
https://www.infortrend.com/de/products/families/gsepro/pro200
Eine "208T" um genau zu sein.
oder als Rack-Version
https://www.infortrend.com/de/products/families/gsepro/pro1000
Hier die "GSe Pro 1008"
Das sind kleine Enterprise-Hybrid-SAN's mit für ihre Klasse ordentlich Bums dahinter.
Die Kiste hängst du dann am besten per 10G ins Netz zu den Hyper-V Nodes und dann können diese,
die Backupdaten direkt, mit >600 MB/s auf die Infortrend schupsen.
Die Infortrend könnte auch schneller schreiben, jedoch schreibt Veeam die Backupdaten unter Verwendung des bescheuerten Software-Caching von Windows und das Bremst wiederum aus.
Beste Grüsse aus BaWü
Alex
sorry für die späte Antwort.
Habe am WE bei dir um die Ecke (Saarland), ein Hyper-Pfau-Cluster von 2019 auf 2022 angehoben und hatte dabei einige ungeplante MS-Überraschungen zu lösen.
Ich weiß. Ich hoffte einfach, dass die BUS-Power und die Spindelanzahl dennoch ausreichen.
Ohne einen anständigen RAID-Kontroller mit einem Cache > 1GB, wird das nichts mit der Performance.
Das Enclosure dient auch nur als rotierender Speicher für das Bandbackup. Über alle Platten ist ein übergreifendes Volume gespannt.
Ja, aber per Software und nicht per Hardware und vor allem ohne einen Cache dazwischen.
Ich kann dir technisch auch genau erklären warum das so nicht geht, aber nicht jetzt,
das Ganze ist nicht in zwei Sätzen erklärt und für längere Romane habe ich heute nicht wirklich die Zeit.
Mich wundert einfach, dass das USB-Drive abgeht wie eine Rakete. Und das ist nur eine Platte, die um ca. 1,5 schneller Daten liest und schreibt.
Mich nicht.
Zum einen ist bei dem USB-Drive wahrscheinlich der Drive-Cache aktiv.
Zum anderen kann Windows in diesem Fall, vereinfacht ausgedrückt die zu schreibenden Daten mit grossen Blöcken direkt gegen den einen Datenträger abfeuert, ohne diese dazwischen in X Teile zu splitten, dann evtl. auch noch einen Parity zu berechnen und dann erst auf diverse ungecachte Datenträger zu transferieren.
Was mich halt wundert ist, dass sowohl Bandlaufwerk als auch Enclosure mit beinahe gleichen Datenraten angesprochen werden.
Am SAS-HBA kann das aber nicht liegen, den der kann pro SAS-Port (4x~12Gbit/s) ~48 Gbit/s übertragen.
Mein Chef wird die Krise kriegen.
Nicht so wild, der erholt sich davon auch wieder.
Übrigens ...
Mein Techniker-Ich sagt mir gerade, dass es meistens auch eine Kriese bekommt,
wenn das Geschäftsführende-Ich, mal wieder mit irgend einer "mach mal kurz" Idee um die Ecke kommt. 😉🤪
Am liebsten würde ich dir das hier empfehlen.
https://www.infortrend.com/de/products/families/gsepro/pro200
Eine "208T" um genau zu sein.
oder als Rack-Version
https://www.infortrend.com/de/products/families/gsepro/pro1000
Hier die "GSe Pro 1008"
Das sind kleine Enterprise-Hybrid-SAN's mit für ihre Klasse ordentlich Bums dahinter.
Die Kiste hängst du dann am besten per 10G ins Netz zu den Hyper-V Nodes und dann können diese,
die Backupdaten direkt, mit >600 MB/s auf die Infortrend schupsen.
Die Infortrend könnte auch schneller schreiben, jedoch schreibt Veeam die Backupdaten unter Verwendung des bescheuerten Software-Caching von Windows und das Bremst wiederum aus.
Beste Grüsse aus BaWü
Alex
Moin Andreas,
auch dir ein frohes Neues.
Wie gesagt, ein Hardware-RAID-Kontroller ist was ganz anderes wie ein HBA.
Ähm, da habe ich jetzt glaube ich eine schlechte Nachricht für dich.
Die meisten Autoloader laufen wiederum nur über HBA's, aber nicht über RAID-Controller. 😬
Na ja, einen Tod muss man immer sterben. 🤪
Beste Grüsse aus BaWü
Alex
Proscht Neijohr Alex,
auch dir ein frohes Neues.
Ich habe den HP H221 durch einen LSI MegaRAID SAS 9285CV-8e ersetzt und leck mich fett: von 133.00 IOs rauf auf über 1.000.000.
Wie gesagt, ein Hardware-RAID-Kontroller ist was ganz anderes wie ein HBA.
Soweit so schön. Jetzt muss ich nur noch ausbaldowern, wie ich es hinbekomme, dass der Autoloader auch wieder erkannt wird. Das LTO-Laufwerk wird erkannt, aber der dahinterliegende Autoloader leider nicht mehr.
Ähm, da habe ich jetzt glaube ich eine schlechte Nachricht für dich.
Die meisten Autoloader laufen wiederum nur über HBA's, aber nicht über RAID-Controller. 😬
Na ja, einen Tod muss man immer sterben. 🤪
Beste Grüsse aus BaWü
Alex