beidermachtvongreyscull
Goto Top

Am SAS HBA keine Performance

Moin Kollegen,

ich habe unseren Backupserver (Windows 2016 + Veeam B&R) mit einem zusätzlichen Disk-Enclosure und einem Autoloader ausgestattet, um Bandsicherungen durchzuführen.

Der Server ist ein ProLiant DL360p Gen8, 1x 6-Core Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz, 128GB RAM.
Als HBA ist ein HP 221 verbaut mit 2 Ports. Laut Specs schafft der bis zu 6 GBit/s pro Port.

An Port 1 hängt ein HP D3700 Enclosure mit 8 1TB HDDs 10k. Ein übergreifendes Volume ist darüber gespannt, um einen Datenträger daraus zu machen.

An Port 2 hängt ein HP LTO-8-Autoloader.

Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.

Treiber und Firmware des HBAs sind auf letztem Stand der Treiber ist vom Hersteller. Konfigurationsoptionen hat der Treiber keine.

Was übersehe ich?

Muss ich die Geräte im Ring anschließen?
Port 1 das Diskenclosure, Port 2 der Autoloader, und Autoloader Port 2 an Diskenclosure Port 2 (das ist noch nicht gemacht)?

Vielen Dank für jeden Augenöffner.

Viele Grüße
bdmvg

Content-ID: 4785460401

Url: https://administrator.de/contentid/4785460401

Ausgedruckt am: 21.11.2024 um 12:11 Uhr

chgorges
chgorges 28.11.2022 um 09:47:08 Uhr
Goto Top
Zitat von @beidermachtvongreyscull:

Moin Kollegen,
Moin,
An Port 1 hängt ein HP D3700 Enclosure mit 8 1TB HDDs 10k. Ein übergreifendes Volume ist darüber gespannt, um einen Datenträger daraus zu machen

Na ja, was erwartest du denn von normalen HDDs an Geschwindigkeit?

Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.

Die 110MB/s sind genau 1GBit/s?

Und mehr wird mit den ollen HDDs auch nicht gehen.
Viele Grüße
VG
beidermachtvongreyscull
beidermachtvongreyscull 28.11.2022 um 09:53:32 Uhr
Goto Top
Zitat von @chgorges:

Zitat von @beidermachtvongreyscull:

Moin Kollegen,
Moin,
An Port 1 hängt ein HP D3700 Enclosure mit 8 1TB HDDs 10k. Ein übergreifendes Volume ist darüber gespannt, um einen Datenträger daraus zu machen

Na ja, was erwartest du denn von normalen HDDs an Geschwindigkeit?

Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.

Die 110MB/s sind genau 1GBit/s?

Und mehr wird mit den ollen HDDs auch nicht gehen.
Viele Grüße
VG

Finde ich seltsam.
Am selben Server mit einer an USB 3.0 angeschlossenen SATA-Platte (10k) erreiche ich Transferraten um die 250MB/s.
chgorges
chgorges 28.11.2022 aktualisiert um 10:16:51 Uhr
Goto Top
Am selben Server mit einer an USB 3.0 angeschlossenen SATA-Platte (10k) erreiche ich Transferraten um die 250MB/s.

Lesend oder schreibend? Wenn der Server Backups erstellt, ist das ja was anderes, als wenn du was auf ne externe Festplatte schiebst.

Und du hast den Backup-Server nicht zufällig nur mit 1GBit/s am Produktivsystem angeschlossen?
gansa28
gansa28 28.11.2022 aktualisiert um 10:20:25 Uhr
Goto Top
Hi beidermachtvongreyscull,

Ist das Produktives Backup was Du/Ihr damit fahrt? Wenn ja würde ich schnellstens in neue Hardware Investieren. Das ist alles Dinosaurier Hardware.

Ich hatte Ähnliche Probleme vor kurzem, bei mir hatte der Avago MegaRaid 9361-4i trotz verbauter Cache Batterie, diese Funktion nicht richtig aktiviert und musste nochmals Überredet werden. Auch wurde nach Umstellung von SATA auf SAS Festplatten und Raid Anpassung die Geschwindigkeit nochmals drastisch erhöht und kommen somit hier auf Durchschnittlich 200MB/s. was für dieses Backup vollkommen Ausreichend ist.

Und den Tip von @chgorges, würde ich mal Nachgehen, 1G Anbindung Server?

Grüße
LordGurke
LordGurke 28.11.2022 aktualisiert um 10:46:20 Uhr
Goto Top
Laut Veeam wird mit max. 110MB/s übertragen.

110 MByte pro Sekunde (das große B steht für Byte, das kleine b für Bit).

110 MByte × (1024²) × 8 Bit = 922.746.880 Bit pro Sekunde.
Oder 922,7 Mbit/s.

Wenn wir jetzt noch grob überschlagen den Overhead für Ethernet und IPv4-Header dazu rechnen, kommen wir auf einen fast vollständig saturierten Gbit-Link.

USB 3.0 kann bereits theoretisch 5 Gbit/s liefern, also die fünffache Bandbreite deines Netzwerks.

Was übersehe ich?

Das große B, nehme ich an face-wink
3063370895
3063370895 28.11.2022 um 10:47:15 Uhr
Goto Top
Zitat von @LordGurke:
Oder 922,7 Gbit/s.

Nicht MBit/s? ;)
LordGurke
LordGurke 28.11.2022 um 10:52:35 Uhr
Goto Top
Orr, Ich wein' gleich...
Du hast natürlich Recht, ich hab den Tippfehler korrigiert face-wink
beidermachtvongreyscull
beidermachtvongreyscull 28.11.2022 um 11:04:28 Uhr
Goto Top
Zitat von @chgorges:

Am selben Server mit einer an USB 3.0 angeschlossenen SATA-Platte (10k) erreiche ich Transferraten um die 250MB/s.

Lesend oder schreibend? Wenn der Server Backups erstellt, ist das ja was anderes, als wenn du was auf ne externe Festplatte schiebst.

Und du hast den Backup-Server nicht zufällig nur mit 1GBit/s am Produktivsystem angeschlossen?

Definitiv nicht. Er ist mit 2x 10GBit am Netz. Einen direkten Zugriff auf die zentralen Speicher unseres Clusters hat er nicht. Er sichert über die einzelnen Hyper-V-Server.

Die stellen auch nicht das Bottleneck dar.
beidermachtvongreyscull
beidermachtvongreyscull 28.11.2022 um 11:10:55 Uhr
Goto Top
Zitat von @gansa28:

Hi beidermachtvongreyscull,

Ist das Produktives Backup was Du/Ihr damit fahrt? Wenn ja würde ich schnellstens in neue Hardware Investieren. Das ist alles Dinosaurier Hardware.

Ich hatte Ähnliche Probleme vor kurzem, bei mir hatte der Avago MegaRaid 9361-4i trotz verbauter Cache Batterie, diese Funktion nicht richtig aktiviert und musste nochmals Überredet werden. Auch wurde nach Umstellung von SATA auf SAS Festplatten und Raid Anpassung die Geschwindigkeit nochmals drastisch erhöht und kommen somit hier auf Durchschnittlich 200MB/s. was für dieses Backup vollkommen Ausreichend ist.

Und den Tip von @chgorges, würde ich mal Nachgehen, 1G Anbindung Server?

Grüße

Moin!

Ich gebe Dir Recht. Die Hardware ist nicht neu. Aber nicht nur unser Backupserver ist alt. Der Cluster ist es auch. Aber es läuft noch alles und ich bin zufrieden. Das ganze Ding ist ein starker Traktor, der bisher alles zieht, was wir ihm anhängen nur eben nicht so schnell. Ich verspreche mir davon auch, dass ein möglicher Verschlüsselungsvirus ebenfalls nicht so schnell vorankommt und bei uns jemand die Chance hat mittels Notabschaltung alles stillzulegen.

Ich lege auch nicht Wert darauf, dass ich Backup und Wiederherstellung in kürzester Zeit auf den Weg bringen muss. Ich hab mich einfach nur gewundert, wieso auf dem HBA-Bus keine Power an die Endgeräte kommt sondern nur ca. 1/6 von dem, was theoretisch möglich sein könnte.

Gruß
bdmvg
Crusher79
Crusher79 28.11.2022 um 11:11:31 Uhr
Goto Top
+1 für @LordGurke Rechenbeispiel.

Bei Veaam kann man geringen Raten ggf. noch mit Backup Proxy was raus reißen. Es kommt immer drauf an, wo das Bottleneck ist. Zeigt dir aber auch Veeam an oder? Schau in die Logs, was da als Flaschenhals geführt wird!

SQL Server hatten wir mit Teaming auf 2 GBit/s gebraucht. Während die Sicherung mit ca. 1 GBit lief, war noch etwas Reserve auf Netzwerkebene für Anfragen an den Server.

Trotz Teaming war allein vom logischen Aufbau hier nicht mehr drin.

SAS ist gut, wenn es wirklcih SAS ist. Manche haben auch NL-SAS Platte drin, die generell ja nicht so schnell laufen. In deinen Fall trifft das ja scheinbar nicht zu.
beidermachtvongreyscull
beidermachtvongreyscull 28.11.2022 um 11:24:28 Uhr
Goto Top
Zitat von @Crusher79:

+1 für @LordGurke Rechenbeispiel.

Bei Veaam kann man geringen Raten ggf. noch mit Backup Proxy was raus reißen. Es kommt immer drauf an, wo das Bottleneck ist. Zeigt dir aber auch Veeam an oder? Schau in die Logs, was da als Flaschenhals geführt wird!

SQL Server hatten wir mit Teaming auf 2 GBit/s gebraucht. Während die Sicherung mit ca. 1 GBit lief, war noch etwas Reserve auf Netzwerkebene für Anfragen an den Server.

Trotz Teaming war allein vom logischen Aufbau hier nicht mehr drin.

SAS ist gut, wenn es wirklcih SAS ist. Manche haben auch NL-SAS Platte drin, die generell ja nicht so schnell laufen. In deinen Fall trifft das ja scheinbar nicht zu.

Moin!

Der Veeam-Server gibt als Bottleneck "Target" aus sowohl beim Autoloader, als auch beim Disk-Enclosure. Mich wundert es halt, weil die Datenrate bei beiden gleich ist; als wäre da eine Bremse im HBA oder im Bus selbst drin. Auch wenn das nur 10k-Platten im Enclosure sind, so habe ich aufgrund der wesentlich höheren Spindelanzahl eine bessere Verteilung der IOs. Es müsste wesentlich schneller laufen, als bei der USB-Platte.

Gruß
bdmvg
MysticFoxDE
Lösung MysticFoxDE 28.11.2022 aktualisiert um 12:14:59 Uhr
Goto Top
Moin bdmvg,

Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.

kann es sein, dass dein Veeam Server, zu den Servern die dieser Sichern sollte, übers Netzwerk nur eine 1G Verbindung hat?

Gruss Alex

P.S.

Oh, OK, habe gerade das hier gesehen.

Definitiv nicht. Er ist mit 2x 10GBit am Netz. Einen direkten Zugriff auf die zentralen Speicher unseres Clusters hat er nicht. Er sichert über die einzelnen Hyper-V-Server.

Die stellen auch nicht das Bottleneck dar.

Hast du schon mal mit z.B. diskspd die lokale Storageleistung auf dem Veeam Server gemessen?

Was spuckt dein Veeam bei dem hier aus?
diskspd -t1 -o1 -b64k -si64k -w100 -d60 -Su -D -L -c20G C:\TEST\IO20G.dat
(Anstelle von "C:" bitte das entsprechende Backupziellaufwerk eigeben)
beidermachtvongreyscull
beidermachtvongreyscull 29.11.2022 um 17:08:58 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin bdmvg,

Was ich ziemlich unbefriedigend finde ist, dass die Datenübertragungsrate bei beiden Geräten auf nicht mal 1GBit/s kommt. Laut Veeam wird mit max. 110MB/s übertragen.

kann es sein, dass dein Veeam Server, zu den Servern die dieser Sichern sollte, übers Netzwerk nur eine 1G Verbindung hat?

Gruss Alex

P.S.

Oh, OK, habe gerade das hier gesehen.

Definitiv nicht. Er ist mit 2x 10GBit am Netz. Einen direkten Zugriff auf die zentralen Speicher unseres Clusters hat er nicht. Er sichert über die einzelnen Hyper-V-Server.

Die stellen auch nicht das Bottleneck dar.

Hast du schon mal mit z.B. diskspd die lokale Storageleistung auf dem Veeam Server gemessen?

Was spuckt dein Veeam bei dem hier aus?
diskspd -t1 -o1 -b64k -si64k -w100 -d60 -Su -D -L -c20G C:\TEST\IO20G.dat
(Anstelle von "C:" bitte das entsprechende Backupziellaufwerk eigeben)

Danke für Deinen Tipp.

Hier die Ausgabe:
C:\Users\Administrator\Documents\amd64>diskspd -t1 -o1 -b64k -si64k -w100 -d60 -Su -D -L -c20G F:\IO20G.dat
WARNING: single-threaded test, -si ignored

Command Line: diskspd -t1 -o1 -b64k -si64k -w100 -d60 -Su -D -L -c20G F:\IO20G.dat

Input parameters:

        timespan:   1
        -------------
        duration: 60s
        warm up time: 5s
        cool down time: 0s
        measuring latency
        gathering IOPS at intervals of 1000ms
        random seed: 0
        path: 'F:\IO20G.dat'  
                think time: 0ms
                burst size: 0
                software cache disabled
                using hardware write cache, writethrough off
                performing write test
                block size: 65536
                using interlocked sequential I/O (stride: 65536)
                number of outstanding I/O operations: 1
                thread stride size: 0
                threads per file: 1
                IO priority: normal

System information:

        computer name: BACKUP
        start time: 2022/11/29 16:05:24 UTC

Results for timespan 1:
*******************************************************************************

actual test time:       60.00s
thread count:           1
proc count:             12

CPU |  Usage |  User  |  Kernel |  Idle
-------------------------------------------
   0|   5.31%|   2.94%|    2.37%|  94.69%
   1|   3.44%|   2.76%|    0.68%|  96.56%
   2|   4.95%|   2.92%|    2.03%|  95.05%
   3|   0.55%|   0.36%|    0.18%|  99.45%
   4|   7.08%|   5.96%|    1.12%|  92.92%
   5|   2.63%|   2.45%|    0.18%|  97.37%
   6|   2.21%|   1.28%|    0.94%|  97.79%
   7|   1.02%|   0.36%|    0.65%|  98.98%
   8|   1.74%|   1.22%|    0.52%|  98.26%
   9|   0.42%|   0.23%|    0.18%|  99.58%
  10|   0.91%|   0.47%|    0.44%|  99.09%
  11|   0.39%|   0.16%|    0.23%|  99.61%
-------------------------------------------
avg.|   2.55%|   1.76%|    0.79%|  97.45%

Total IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |       432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:         432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144

Read IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:                 0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A

Write IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |       432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:         432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144



total:
  %-ile |  Read (ms) | Write (ms) | Total (ms)
----------------------------------------------
    min |        N/A |      0.974 |      0.974
   25th |        N/A |      8.745 |      8.745
   50th |        N/A |      8.851 |      8.851
   75th |        N/A |      8.882 |      8.882
   90th |        N/A |      8.919 |      8.919
   95th |        N/A |      9.355 |      9.355
   99th |        N/A |      9.521 |      9.521
3-nines |        N/A |     75.016 |     75.016
4-nines |        N/A |    192.314 |    192.314
5-nines |        N/A |    192.314 |    192.314
6-nines |        N/A |    192.314 |    192.314
7-nines |        N/A |    192.314 |    192.314
8-nines |        N/A |    192.314 |    192.314
9-nines |        N/A |    192.314 |    192.314
    max |        N/A |    192.314 |    192.314

Was hältst Du davon?

VG
Andreas
MysticFoxDE
Lösung MysticFoxDE 29.11.2022 aktualisiert um 17:32:45 Uhr
Goto Top
Moin Andreas,

Write IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |       432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:         432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144

Was hältst Du davon?

6,88 MB/s bei 8 x 10K HDD's ... das sieht mehr als gruselig aus. 😬

Kannst du den Test bitte mal mit den folgenden Parametern wiederholen.

diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Su -D -L -c20G C:\TEST\IO20G.dat

Das ist +- die 16fache Last zu vorher.

Und dann bitte nochmals mit dieser Parametriesierung.

diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Suw -D -L -c20G C:\TEST\IO20G.dat

Das ist dasselbe wie vorher, nur ohne Hardware-Caching.

Ich tippe mal, dass bei beiden Tests +- dasselbe rauskommt.

Gruss Alex
beidermachtvongreyscull
beidermachtvongreyscull 30.11.2022 um 08:43:08 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin Andreas,

Write IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |       432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:         432734208 |         6603 |       6.88 |     110.05 |    9.083 |       6.06 |     5.144

Was hältst Du davon?

6,88 MB/s bei 8 x 10K HDD's ... das sieht mehr als gruselig aus. 😬

Kannst du den Test bitte mal mit den folgenden Parametern wiederholen.

diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Su -D -L -c20G C:\TEST\IO20G.dat

Das ist +- die 16fache Last zu vorher.

Und dann bitte nochmals mit dieser Parametriesierung.

diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Suw -D -L -c20G C:\TEST\IO20G.dat

Das ist dasselbe wie vorher, nur ohne Hardware-Caching.

Ich tippe mal, dass bei beiden Tests +- dasselbe rauskommt.

Gruss Alex

Moin Alex,

ich hab die Messungen mit entsprechenden Parametern gemacht.

Messung 1: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Su -D -L -c20G F:\IO20G.dat

Command Line: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Su -D -L -c20G F:\IO20G.dat

Input parameters:

        timespan:   1
        -------------
        duration: 60s
        warm up time: 5s
        cool down time: 0s
        measuring latency
        gathering IOPS at intervals of 1000ms
        random seed: 0
        path: 'F:\IO20G.dat'  
                think time: 0ms
                burst size: 0
                software cache disabled
                using hardware write cache, writethrough off
                performing write test
                block size: 65536
                using interlocked sequential I/O (stride: 65536)
                number of outstanding I/O operations: 4
                thread stride size: 0
                threads per file: 4
                using I/O Completion Ports
                IO priority: normal

System information:

        computer name: BACKUP
        start time: 2022/11/30 07:37:03 UTC

Results for timespan 1:
*******************************************************************************

actual test time:       60.00s
thread count:           4
proc count:             12

CPU |  Usage |  User  |  Kernel |  Idle
-------------------------------------------
   0|   8.65%|   2.03%|    6.61%|  91.35%
   1|   8.31%|   1.25%|    7.06%|  91.69%
   2|  34.64%|   1.48%|   33.15%|  65.36%
   3|   5.76%|   0.94%|    4.82%|  94.24%
   4|   8.02%|   6.25%|    1.77%|  91.98%
   5|   7.81%|   7.55%|    0.26%|  92.19%
   6|   9.74%|   8.33%|    1.41%|  90.26%
   7|   4.32%|   3.44%|    0.89%|  95.68%
   8|   2.55%|   1.20%|    1.35%|  97.45%
   9|  11.33%|   7.27%|    4.06%|  88.67%
  10|   3.44%|   1.74%|    1.69%|  96.56%
  11|   0.57%|   0.10%|    0.47%|  99.43%
-------------------------------------------
avg.|   8.76%|   3.47%|    5.30%|  91.24%

Total IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |      2214526976 |        33791 |      35.20 |     563.17 |    7.099 |      69.33 |     5.970 | F:\IO20G.dat (20GiB)
     1 |      2202927104 |        33614 |      35.01 |     560.22 |    7.136 |      67.93 |     5.915 | F:\IO20G.dat (20GiB)
     2 |      2118385664 |        32324 |      33.67 |     538.72 |    7.423 |      71.42 |     7.789 | F:\IO20G.dat (20GiB)
     3 |      2203320320 |        33620 |      35.02 |     560.32 |    7.138 |      63.50 |     5.322 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:        8739160064 |       133349 |     138.90 |    2222.44 |    7.197 |     263.48 |     6.302

Read IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
     1 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
     2 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
     3 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:                 0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A

Write IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |      2214526976 |        33791 |      35.20 |     563.17 |    7.099 |      69.33 |     5.970 | F:\IO20G.dat (20GiB)
     1 |      2202927104 |        33614 |      35.01 |     560.22 |    7.136 |      67.93 |     5.915 | F:\IO20G.dat (20GiB)
     2 |      2118385664 |        32324 |      33.67 |     538.72 |    7.423 |      71.42 |     7.789 | F:\IO20G.dat (20GiB)
     3 |      2203320320 |        33620 |      35.02 |     560.32 |    7.138 |      63.50 |     5.322 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:        8739160064 |       133349 |     138.90 |    2222.44 |    7.197 |     263.48 |     6.302



total:
  %-ile |  Read (ms) | Write (ms) | Total (ms)
----------------------------------------------
    min |        N/A |      2.283 |      2.283
   25th |        N/A |      5.400 |      5.400
   50th |        N/A |      6.267 |      6.267
   75th |        N/A |      7.780 |      7.780
   90th |        N/A |      9.083 |      9.083
   95th |        N/A |     12.905 |     12.905
   99th |        N/A |     21.699 |     21.699
3-nines |        N/A |     47.430 |     47.430
4-nines |        N/A |    262.308 |    262.308
5-nines |        N/A |    542.287 |    542.287
6-nines |        N/A |    605.952 |    605.952
7-nines |        N/A |    605.952 |    605.952
8-nines |        N/A |    605.952 |    605.952
9-nines |        N/A |    605.952 |    605.952
    max |        N/A |    605.952 |    605.952

Messung 2: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Suw -D -L -c20G F:\IO20G.dat
Command Line: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Suw -D -L -c20G F:\IO20G.dat

Input parameters:

        timespan:   1
        -------------
        duration: 60s
        warm up time: 5s
        cool down time: 0s
        measuring latency
        gathering IOPS at intervals of 1000ms
        random seed: 0
        path: 'F:\IO20G.dat'  
                think time: 0ms
                burst size: 0
                software cache disabled
                hardware write cache disabled, writethrough on
                performing write test
                block size: 65536
                using interlocked sequential I/O (stride: 65536)
                number of outstanding I/O operations: 4
                thread stride size: 0
                threads per file: 4
                using I/O Completion Ports
                IO priority: normal

System information:

        computer name: BACKUP
        start time: 2022/11/30 07:39:09 UTC

Results for timespan 1:
*******************************************************************************

actual test time:       60.00s
thread count:           4
proc count:             12

CPU |  Usage |  User  |  Kernel |  Idle
-------------------------------------------
   0|   8.93%|   2.11%|    6.82%|  91.07%
   1|   7.81%|   1.02%|    6.80%|  92.19%
   2|  33.44%|   2.27%|   31.17%|  66.56%
   3|   6.30%|   0.60%|    5.70%|  93.70%
   4|   9.95%|   8.49%|    1.46%|  90.05%
   5|   5.23%|   5.13%|    0.10%|  94.77%
   6|   8.70%|   7.65%|    1.04%|  91.30%
   7|   4.74%|   4.51%|    0.23%|  95.26%
   8|   1.69%|   0.73%|    0.96%|  98.31%
   9|  10.94%|   7.32%|    3.62%|  89.06%
  10|   2.71%|   1.46%|    1.25%|  97.29%
  11|   0.57%|   0.31%|    0.26%|  99.43%
-------------------------------------------
avg.|   8.42%|   3.47%|    4.95%|  91.58%

Total IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |      2284322816 |        34856 |      36.31 |     580.92 |    6.883 |      52.19 |     4.429 | F:\IO20G.dat (20GiB)
     1 |      2278031360 |        34760 |      36.21 |     579.32 |    6.902 |      51.96 |     4.985 | F:\IO20G.dat (20GiB)
     2 |      2207514624 |        33684 |      35.09 |     561.39 |    7.122 |      47.88 |     6.304 | F:\IO20G.dat (20GiB)
     3 |      2257387520 |        34445 |      35.88 |     574.07 |    6.965 |      47.51 |     5.682 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:        9027256320 |       137745 |     143.48 |    2295.70 |    6.966 |     184.42 |     5.389

Read IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
     1 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
     2 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
     3 |               0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:                 0 |            0 |       0.00 |       0.00 |    0.000 |       0.00 |       N/A

Write IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |      2284322816 |        34856 |      36.31 |     580.92 |    6.883 |      52.19 |     4.429 | F:\IO20G.dat (20GiB)
     1 |      2278031360 |        34760 |      36.21 |     579.32 |    6.902 |      51.96 |     4.985 | F:\IO20G.dat (20GiB)
     2 |      2207514624 |        33684 |      35.09 |     561.39 |    7.122 |      47.88 |     6.304 | F:\IO20G.dat (20GiB)
     3 |      2257387520 |        34445 |      35.88 |     574.07 |    6.965 |      47.51 |     5.682 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:        9027256320 |       137745 |     143.48 |    2295.70 |    6.966 |     184.42 |     5.389



total:
  %-ile |  Read (ms) | Write (ms) | Total (ms)
----------------------------------------------
    min |        N/A |      1.914 |      1.914
   25th |        N/A |      5.484 |      5.484
   50th |        N/A |      6.149 |      6.149
   75th |        N/A |      7.346 |      7.346
   90th |        N/A |      8.906 |      8.906
   95th |        N/A |     11.775 |     11.775
   99th |        N/A |     20.918 |     20.918
3-nines |        N/A |     36.464 |     36.464
4-nines |        N/A |    255.708 |    255.708
5-nines |        N/A |    331.096 |    331.096
6-nines |        N/A |    347.073 |    347.073
7-nines |        N/A |    347.073 |    347.073
8-nines |        N/A |    347.073 |    347.073
9-nines |        N/A |    347.073 |    347.073
    max |        N/A |    347.073 |    347.073

Hab vielen Dank, dass Du Dir die Mühe machst!

VG
Andreas
MysticFoxDE
Lösung MysticFoxDE 30.11.2022 aktualisiert um 10:11:48 Uhr
Goto Top
Moin Andreas,

Command Line: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Su -D -L -c20G F:\IO20G.dat

Write IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |      2214526976 |        33791 |      35.20 |     563.17 |    7.099 |      69.33 |     5.970 | F:\IO20G.dat (20GiB)
     1 |      2202927104 |        33614 |      35.01 |     560.22 |    7.136 |      67.93 |     5.915 | F:\IO20G.dat (20GiB)
     2 |      2118385664 |        32324 |      33.67 |     538.72 |    7.423 |      71.42 |     7.789 | F:\IO20G.dat (20GiB)
     3 |      2203320320 |        33620 |      35.02 |     560.32 |    7.138 |      63.50 |     5.322 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:        8739160064 |       133349 |     138.90 |    2222.44 |    7.197 |     263.48 |     6.302

Command Line: diskspd -t4 -o4 -b64k -si64k -w100 -d60 -Suw -D -L -c20G F:\IO20G.dat

Write IO
thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | IopsStdDev | LatStdDev |  file
------------------------------------------------------------------------------------------------------------------
     0 |      2284322816 |        34856 |      36.31 |     580.92 |    6.883 |      52.19 |     4.429 | F:\IO20G.dat (20GiB)
     1 |      2278031360 |        34760 |      36.21 |     579.32 |    6.902 |      51.96 |     4.985 | F:\IO20G.dat (20GiB)
     2 |      2207514624 |        33684 |      35.09 |     561.39 |    7.122 |      47.88 |     6.304 | F:\IO20G.dat (20GiB)
     3 |      2257387520 |        34445 |      35.88 |     574.07 |    6.965 |      47.51 |     5.682 | F:\IO20G.dat (20GiB)
------------------------------------------------------------------------------------------------------------------
total:        9027256320 |       137745 |     143.48 |    2295.70 |    6.966 |     184.42 |     5.389

das habe ich mir fast schon gedacht.

Ja, wie soll ich das jetzt vorsichtig sagen.
Das was du da Storagetechnisch machst, ist performancetechnisch sehr suboptimal.

Du hast 10 HDD die in einem Enclosure untergebracht sind, der wiederum nur über einen HBA am Host angebunden ist. Das bedeutet, dass du jegliches RAID über diese HDD's, nur auf Softwareebene, sprich, über Windows Bordmittel oder ähnliche Softwarelösungen, machen kannst.
Die Last für das RAID-Handling läuft in diesem Fall nicht über die RAID-Controller ASIC sondern über die Host CPU.
Das ist aber gar nicht das grössere Problem, dieses ist nämlich das Caching und bei deiner Lösung hast du zum einen keinen Hardware-RAID-Cache und zum anderen deaktiviert das Windows in solchen Fällen auch noch den Drive Cache. Unter dem Strich kann in dabei dann überhaupt keine Performance zustande kommen, weil die HDD's ohne ihren Drive-Cache groten langsam werden und ein RAID ohne Cache ist in den meisten Fällen auch nur eine sehr lahme Krücke.

Tausche den HBA gegen einen erwachsenen RAID-Controller wie z.B. den hier aus ...
https://www.broadcom.com/products/storage/raid-controllers/megaraid-9580 ...
Ist im Grunde dasselbe wie das hier nur eben etwas günstiger. 😁
https://buy.hpe.com/de/de/options/controller-controller-options/smart-ar ...
(Oha, 2K für einen RAID-Kontroller, da sind meiner Ansicht nach, bei HPE definitiv einige Schrauben locker und ein paar Tassen fehlen bei denen auch im Schrank.)

Oder einen gebrauchten und oder älteren SAS 12G RAID-Kontroller mit externen Ports kaufen, die reichen für die 10 HDD's auch aus.

Und schon wirst du einen deutlichen Unterschied sehen.

Hab vielen Dank, dass Du Dir die Mühe machst!

Aber Gerne.
Wir Admins rudern zwar nicht immer in die gleiche Richtung, sitzen aber +- meistens im selben IT-Wahnsinn-Boot. 🤪

Beste Grüsse aus BaWü

Alex
beidermachtvongreyscull
beidermachtvongreyscull 30.11.2022 um 12:31:02 Uhr
Goto Top
Zitat von @MysticFoxDE:
Moin Andreas,
Moin Alex,
Zitat von @MysticFoxDE:
das habe ich mir fast schon gedacht.
Ja, wie soll ich das jetzt vorsichtig sagen.
Das was du da Storagetechnisch machst, ist performancetechnisch sehr suboptimal.
Ich weiß. Ich hoffte einfach, dass die BUS-Power und die Spindelanzahl dennoch ausreichen.

Zitat von @MysticFoxDE:
Du hast 10 HDD die in einem Enclosure untergebracht sind, der wiederum nur über einen HBA am Host angebunden ist. Das bedeutet, dass du jegliches RAID über diese HDD's, nur auf Softwareebene, sprich, über Windows Bordmittel oder ähnliche Softwarelösungen, machen kannst.

Das Enclosure dient auch nur als rotierender Speicher für das Bandbackup. Über alle Platten ist ein übergreifendes Volume gespannt.

Zitat von @MysticFoxDE:
Die Last für das RAID-Handling läuft in diesem Fall nicht über die RAID-Controller ASIC sondern über die Host CPU.
Das ist aber gar nicht das grössere Problem, dieses ist nämlich das Caching und bei deiner Lösung hast du zum einen keinen Hardware-RAID-Cache und zum anderen deaktiviert das Windows in solchen Fällen auch noch den Drive Cache. Unter dem Strich kann in dabei dann überhaupt keine Performance zustande kommen, weil die HDD's ohne ihren Drive-Cache groten langsam werden und ein RAID ohne Cache ist in den meisten Fällen auch nur eine sehr lahme Krücke.

Mich wundert einfach, dass das USB-Drive abgeht wie eine Rakete. Und das ist nur eine Platte, die um ca. 1,5 schneller Daten liest und schreibt.

Zitat von @MysticFoxDE:
Tausche den HBA gegen einen erwachsenen RAID-Controller wie z.B. den hier aus ...
https://www.broadcom.com/products/storage/raid-controllers/megaraid-9580 ...
Ist im Grunde dasselbe wie das hier nur eben etwas günstiger. 😁
https://buy.hpe.com/de/de/options/controller-controller-options/smart-ar ...
(Oha, 2K für einen RAID-Kontroller, da sind meiner Ansicht nach, bei HPE definitiv einige Schrauben locker und ein paar Tassen fehlen bei denen auch im Schrank.)

Oder einen gebrauchten und oder älteren SAS 12G RAID-Kontroller mit externen Ports kaufen, die reichen für die 10 HDD's auch aus.

Was mich halt wundert ist, dass sowohl Bandlaufwerk als auch Enclosure mit beinahe gleichen Datenraten angesprochen werden.

Zitat von @MysticFoxDE:
Und schon wirst du einen deutlichen Unterschied sehen.

Hab vielen Dank, dass Du Dir die Mühe machst!

Aber Gerne.
Wir Admins rudern zwar nicht immer in die gleiche Richtung, sitzen aber +- meistens im selben IT-Wahnsinn-Boot. 🤪

Mein Chef wird die Krise kriegen. face-big-smile
Hab nochmals vielen Dank!

Zitat von @MysticFoxDE:
Beste Grüsse aus BaWü

Alex

Beste Grüße aus dem Saarland

Andreas
MysticFoxDE
MysticFoxDE 06.12.2022 aktualisiert um 07:46:37 Uhr
Goto Top
Moin Andreas,

sorry für die späte Antwort.
Habe am WE bei dir um die Ecke (Saarland), ein Hyper-Pfau-Cluster von 2019 auf 2022 angehoben und hatte dabei einige ungeplante MS-Überraschungen zu lösen.

Ich weiß. Ich hoffte einfach, dass die BUS-Power und die Spindelanzahl dennoch ausreichen.

Ohne einen anständigen RAID-Kontroller mit einem Cache > 1GB, wird das nichts mit der Performance.

Das Enclosure dient auch nur als rotierender Speicher für das Bandbackup. Über alle Platten ist ein übergreifendes Volume gespannt.

Ja, aber per Software und nicht per Hardware und vor allem ohne einen Cache dazwischen.
Ich kann dir technisch auch genau erklären warum das so nicht geht, aber nicht jetzt,
das Ganze ist nicht in zwei Sätzen erklärt und für längere Romane habe ich heute nicht wirklich die Zeit.

Mich wundert einfach, dass das USB-Drive abgeht wie eine Rakete. Und das ist nur eine Platte, die um ca. 1,5 schneller Daten liest und schreibt.

Mich nicht.
Zum einen ist bei dem USB-Drive wahrscheinlich der Drive-Cache aktiv.
Zum anderen kann Windows in diesem Fall, vereinfacht ausgedrückt die zu schreibenden Daten mit grossen Blöcken direkt gegen den einen Datenträger abfeuert, ohne diese dazwischen in X Teile zu splitten, dann evtl. auch noch einen Parity zu berechnen und dann erst auf diverse ungecachte Datenträger zu transferieren.

Was mich halt wundert ist, dass sowohl Bandlaufwerk als auch Enclosure mit beinahe gleichen Datenraten angesprochen werden.

Am SAS-HBA kann das aber nicht liegen, den der kann pro SAS-Port (4x~12Gbit/s) ~48 Gbit/s übertragen.

Mein Chef wird die Krise kriegen. face-big-smile

Nicht so wild, der erholt sich davon auch wieder.

Übrigens ...
Mein Techniker-Ich sagt mir gerade, dass es meistens auch eine Kriese bekommt,
wenn das Geschäftsführende-Ich, mal wieder mit irgend einer "mach mal kurz" Idee um die Ecke kommt. 😉🤪

Am liebsten würde ich dir das hier empfehlen.

https://www.infortrend.com/de/products/families/gsepro/pro200
Eine "208T" um genau zu sein.

oder als Rack-Version

https://www.infortrend.com/de/products/families/gsepro/pro1000
Hier die "GSe Pro 1008"

Das sind kleine Enterprise-Hybrid-SAN's mit für ihre Klasse ordentlich Bums dahinter.
Die Kiste hängst du dann am besten per 10G ins Netz zu den Hyper-V Nodes und dann können diese,
die Backupdaten direkt, mit >600 MB/s auf die Infortrend schupsen.
Die Infortrend könnte auch schneller schreiben, jedoch schreibt Veeam die Backupdaten unter Verwendung des bescheuerten Software-Caching von Windows und das Bremst wiederum aus.

Beste Grüsse aus BaWü
Alex
beidermachtvongreyscull
beidermachtvongreyscull 18.01.2023 um 14:27:04 Uhr
Goto Top
Zitat von @MysticFoxDE:
Moin Andreas,
Proscht Neijohr Alex,
sorry, dass ich mich erst jetzt melde.

Ich habe den HP H221 durch einen LSI MegaRAID SAS 9285CV-8e ersetzt und leck mich fett: von 133.00 IOs rauf auf über 1.000.000. face-big-smile

Soweit so schön. Jetzt muss ich nur noch ausbaldowern, wie ich es hinbekomme, dass der Autoloader auch wieder erkannt wird. Das LTO-Laufwerk wird erkannt, aber der dahinterliegende Autoloader leider nicht mehr.

Ich könnte kotzen im Strahl.

Werde wohl den H221 in den anderen Slot einbauen und auf USB3.0 verzichten. Leider.

LG
Andreas
MysticFoxDE
Lösung MysticFoxDE 19.01.2023 um 20:38:21 Uhr
Goto Top
Moin Andreas,

Proscht Neijohr Alex,

auch dir ein frohes Neues.

Ich habe den HP H221 durch einen LSI MegaRAID SAS 9285CV-8e ersetzt und leck mich fett: von 133.00 IOs rauf auf über 1.000.000. face-big-smile

Wie gesagt, ein Hardware-RAID-Kontroller ist was ganz anderes wie ein HBA.

Soweit so schön. Jetzt muss ich nur noch ausbaldowern, wie ich es hinbekomme, dass der Autoloader auch wieder erkannt wird. Das LTO-Laufwerk wird erkannt, aber der dahinterliegende Autoloader leider nicht mehr.

Ähm, da habe ich jetzt glaube ich eine schlechte Nachricht für dich.
Die meisten Autoloader laufen wiederum nur über HBA's, aber nicht über RAID-Controller. 😬

Na ja, einen Tod muss man immer sterben. 🤪

Beste Grüsse aus BaWü
Alex
beidermachtvongreyscull
beidermachtvongreyscull 19.01.2023 um 21:48:56 Uhr
Goto Top
Zitat von @MysticFoxDE:
Moin Andreas,
auch dir ein frohes Neues.
Danke!

Zitat von @MysticFoxDE:
Ich habe den HP H221 durch einen LSI MegaRAID SAS 9285CV-8e ersetzt und leck mich fett: von 133.00 IOs rauf auf über 1.000.000. face-big-smile
Wie gesagt, ein Hardware-RAID-Kontroller ist was ganz anderes wie ein HBA.

Jep. Recht hast Du. Hab das Ding für knapp nen Fuffi bei Ebay geschossen. face-big-smile

Zitat von @MysticFoxDE:
Soweit so schön. Jetzt muss ich nur noch ausbaldowern, wie ich es hinbekomme, dass der Autoloader auch wieder erkannt wird. Das LTO-Laufwerk wird erkannt, aber der dahinterliegende Autoloader leider nicht mehr.
Ähm, da habe ich jetzt glaube ich eine schlechte Nachricht für dich.
Die meisten Autoloader laufen wiederum nur über HBA's, aber nicht über RAID-Controller. 😬

Ich hab den H221 wieder eingebaut. Das Systemhaus quatscht jetzt mal mit HP, was an dem Controller los ist. Letzter Firmwarestand ist drin und letzter Treiber ist auch drauf. Ich dachte erst, dass die Kombi mit Enclosure und Autoloader den fertig macht, aber nö, er hat ein Problem. Wenn ich Genaueres weiß, schreib ich Dir, gehe aber derzeit davon aus, dass der auch gewechselt werden muss.

Zitat von @MysticFoxDE:
Na ja, einen Tod muss man immer sterben. 🤪

Wie wahr!

Zitat von @MysticFoxDE:
Beste Grüsse aus BaWü
Alex

Bleib fröhlich und beste Grüße ausm Saarland
Andreas
gansa28
gansa28 23.01.2023 um 00:01:17 Uhr
Goto Top
Ihr verbaut 50€ eBay Raid Controller in einem Backup System? Dann wundert mich nix mehr.

Grüße und viel Glück
beidermachtvongreyscull
beidermachtvongreyscull 23.01.2023 um 20:52:22 Uhr
Goto Top
Zitat von @gansa28:
Ihr verbaut 50€ eBay Raid Controller in einem Backup System? Dann wundert mich nix mehr.

Ich frage mich, welchen Nutzen ich aus diesem Kommentar ziehen könnte....
Ach ja: Gar keinen.