13
Performance Probleme bei Backup-Jobs
Kopieren von RAID5 auf LTO3 ist sehr langsam
Hallo!
Backup-Ausstattung:
- DELL 2850 mit 2*67 GB (15k) im RAID1, Windows 2003 Standard SP1, Veritas Backup Exec 10d
- DELL 220S mit 10*300 GB (10k), 9 Platten im Raid5 + 1 Hotspare
- DELL 124T mit 1*LTO3 + 16 Slots
Die 220S und das Raid1 des 2850 laufen über versch. Ports an einem PERC4-Controller.
Problem:
Beim Kopieren von B2D-Jobs (RAID5) auf B2T ist die Performance sehr gering ~ 800 MB/min.
Das Kopieren vom RAID1 auf Tape läuft dagegen verhältnismäßig schnell ~ 2100 MB/min.
Ebenfalls sind keine syntethischen Vollsicherungen (Vollsicherung + Zuwachs (Raid5) = synth. Vollsicherung (Tape)) möglich, da die Jobs sich aufhängen.
Das witzige ist, dass das Schreiben auf das RAID5 mit "normaler" Performance möglich ist.
Bsp:
SQL-DB mit 220GB
- B2D auf das RAID5 mit 2,2 GB/min.
- Kopieren des B2D-Jobs auf B2D mit 650 MB/min.
Was wir schon getestet haben:
- Abbildung der Synt.-Jobs auf einem "alten" Backup-Server mit IDE-RAID0 und LTO1-Laufwerk. Funktioniert ohne Probleme (Geschwindigkeiten bei ~ 1400 MB/min.
- Wir haben Firmware Updates, Einstellungen im Controller (CachedIO<>DirectIO, ReadAhead<>Adaptive, PatrolRead ausgeschaltet, Emulation: MASS Storage, CashFlushing: 4<>10 Sek.) geändert und getestet > ohne Erfolg
- Performance Monitor Tests mit 10 GB .bkf Datei:
Backup Exec Job RAID5 to Tape (LTOIII)
(11:40 min.) Durchschnittliche Übertragungsrate 1.022,0 MB/min
Übertragungen/s gemessen von E:\
durchschn. maxim.
Anfang 228,440 568,011
2,5 GB 256,661 589,023
5 GB 283,694 639,016
7,5 GB 329,592 692,913
10 GB 336,664 660,023
Backup Exec Job RAID1 to Tape (LTOIII)
(6:44 min.) Durchschnittliche Übertragungsrate 2085,0 MB/min
Übertragungen/s gemessen von C:\
durchschn. maxim.
Anfang 263,876 1184,750
2,5 GB 438,870 1184,750
5 GB 618,381 1184,750
7,5 GB 598,003 1155,018
10 GB 518,940 1142,998
Wenn Euch noch Infos fehlen, bitte anfragen.
Wir sind soweit mit unserem Latein am Ende.
Für jede Hilfe vielen Dank im Voraus.
Gruß
tobalf
Hallo!
Backup-Ausstattung:
- DELL 2850 mit 2*67 GB (15k) im RAID1, Windows 2003 Standard SP1, Veritas Backup Exec 10d
- DELL 220S mit 10*300 GB (10k), 9 Platten im Raid5 + 1 Hotspare
- DELL 124T mit 1*LTO3 + 16 Slots
Die 220S und das Raid1 des 2850 laufen über versch. Ports an einem PERC4-Controller.
Problem:
Beim Kopieren von B2D-Jobs (RAID5) auf B2T ist die Performance sehr gering ~ 800 MB/min.
Das Kopieren vom RAID1 auf Tape läuft dagegen verhältnismäßig schnell ~ 2100 MB/min.
Ebenfalls sind keine syntethischen Vollsicherungen (Vollsicherung + Zuwachs (Raid5) = synth. Vollsicherung (Tape)) möglich, da die Jobs sich aufhängen.
Das witzige ist, dass das Schreiben auf das RAID5 mit "normaler" Performance möglich ist.
Bsp:
SQL-DB mit 220GB
- B2D auf das RAID5 mit 2,2 GB/min.
- Kopieren des B2D-Jobs auf B2D mit 650 MB/min.
Was wir schon getestet haben:
- Abbildung der Synt.-Jobs auf einem "alten" Backup-Server mit IDE-RAID0 und LTO1-Laufwerk. Funktioniert ohne Probleme (Geschwindigkeiten bei ~ 1400 MB/min.
- Wir haben Firmware Updates, Einstellungen im Controller (CachedIO<>DirectIO, ReadAhead<>Adaptive, PatrolRead ausgeschaltet, Emulation: MASS Storage, CashFlushing: 4<>10 Sek.) geändert und getestet > ohne Erfolg
- Performance Monitor Tests mit 10 GB .bkf Datei:
Backup Exec Job RAID5 to Tape (LTOIII)
(11:40 min.) Durchschnittliche Übertragungsrate 1.022,0 MB/min
Übertragungen/s gemessen von E:\
durchschn. maxim.
Anfang 228,440 568,011
2,5 GB 256,661 589,023
5 GB 283,694 639,016
7,5 GB 329,592 692,913
10 GB 336,664 660,023
Backup Exec Job RAID1 to Tape (LTOIII)
(6:44 min.) Durchschnittliche Übertragungsrate 2085,0 MB/min
Übertragungen/s gemessen von C:\
durchschn. maxim.
Anfang 263,876 1184,750
2,5 GB 438,870 1184,750
5 GB 618,381 1184,750
7,5 GB 598,003 1155,018
10 GB 518,940 1142,998
Wenn Euch noch Infos fehlen, bitte anfragen.
Wir sind soweit mit unserem Latein am Ende.
Für jede Hilfe vielen Dank im Voraus.
Gruß
tobalf
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 30586
Url: https://administrator.de/contentid/30586
Ausgedruckt am: 26.11.2024 um 17:11 Uhr
13 Kommentare
Neuester Kommentar
Hallo Tobalf,
habt Ihr shcon mal versucht das RAID1 und das RAID5 an den jeweils anderen Kanal des PERC anzuschliessen. So könnte man einen defekt des Kanals ausschliessen.
Was sagt den die Leseperformance wenn Du vom RAID5 auf das RAID1 kopierst? Also nicht auf Band.
Bei Dell gibts eine Diagnosesoftware für die Librarys, hast Du die schon mal da drüber laufen lassen, obwohl ich nicht glaube das es am Drive liegt.
Bis dann
habt Ihr shcon mal versucht das RAID1 und das RAID5 an den jeweils anderen Kanal des PERC anzuschliessen. So könnte man einen defekt des Kanals ausschliessen.
Was sagt den die Leseperformance wenn Du vom RAID5 auf das RAID1 kopierst? Also nicht auf Band.
Bei Dell gibts eine Diagnosesoftware für die Librarys, hast Du die schon mal da drüber laufen lassen, obwohl ich nicht glaube das es am Drive liegt.
Bis dann
Hallo!
Den Kanal haben wir schon einmal ohne Erfolg getauscht. Es sind auch schon die Controller getauscht worden.
Am Drive liegt es nicht, das können wir mittlerweile ausschließen.
Hier ein paar Werte, wo wir vom RAID5 auf das RAID1 kopiert haben bzw. die gleiche Datei auf dem RAID1 einfach noch einmal kopiert haben:
Kopieren der Datei E:\B2D-BS\B2D000472.bkf (10.485.777 KB) nach C:\
Übertragungen/s gemessen von E:\
durchschn. maxim.
174,234 352,008
322,230 536,010
315,958 545,015
332,238 533,003
4. Kopieren der Datei C:\B2D000472.bkf (10.485.777 KB) nach C:\temp\
Übertragungen/s gemessen von E:\
durchschn. maxim.
813,473 1464,006
937,831 1114,014
915,962 1032,021
Gruß
Tobias
Den Kanal haben wir schon einmal ohne Erfolg getauscht. Es sind auch schon die Controller getauscht worden.
Am Drive liegt es nicht, das können wir mittlerweile ausschließen.
Hier ein paar Werte, wo wir vom RAID5 auf das RAID1 kopiert haben bzw. die gleiche Datei auf dem RAID1 einfach noch einmal kopiert haben:
Kopieren der Datei E:\B2D-BS\B2D000472.bkf (10.485.777 KB) nach C:\
Übertragungen/s gemessen von E:\
durchschn. maxim.
174,234 352,008
322,230 536,010
315,958 545,015
332,238 533,003
4. Kopieren der Datei C:\B2D000472.bkf (10.485.777 KB) nach C:\temp\
Übertragungen/s gemessen von E:\
durchschn. maxim.
813,473 1464,006
937,831 1114,014
915,962 1032,021
Gruß
Tobias
Hmm, im Moment würde mir zu der schwachen Leistung des Array nur einfallen mal ein Firmwareuupdate zu versuchen.
Hat der Dell Support da auch schon was zu gesagt?
Interessant währe auch noch, wenn das zu machen ist, das Du aus deinem Raid 5 mal ein RAID 10 machst und dann schaust wie die Performance ist.
Bis dan
VoSp
Hat der Dell Support da auch schon was zu gesagt?
Interessant währe auch noch, wenn das zu machen ist, das Du aus deinem Raid 5 mal ein RAID 10 machst und dann schaust wie die Performance ist.
Bis dan
VoSp
Hallo!
Der Firmwarestand ist in allen Dell-Geräten aktuell!
Der Dell-Support ist auch schon am Ende der Weisheit.
Um ein RAID10 zu erstellen, müßte ich 1,7 TB an Backup-Daten ersteinmal irgendwo hinkopieren und sämtliche Backup-Jobs ersteinmal wieder umstellen. Da bin ich min. 2 Tage dran. Will ich irgendwie vermeiden. Auch hätten wir nicht mehr die Kapazität von 2 TB, sondern weniger.
Gruß
Tobias
Der Firmwarestand ist in allen Dell-Geräten aktuell!
Der Dell-Support ist auch schon am Ende der Weisheit.
Um ein RAID10 zu erstellen, müßte ich 1,7 TB an Backup-Daten ersteinmal irgendwo hinkopieren und sämtliche Backup-Jobs ersteinmal wieder umstellen. Da bin ich min. 2 Tage dran. Will ich irgendwie vermeiden. Auch hätten wir nicht mehr die Kapazität von 2 TB, sondern weniger.
Gruß
Tobias
Hallo,
Dir ist auch bewusst, dass du diese 80mb/s auch dem Laufwerk geben musst?
OK, mittels DSM können die LTO3 Laufwerke auch langsamer laufen, aber bei 40mb/s ist "schluss".
Wenn man nicht mind. 2,4 gb/min zum laufwerk transportieren kann, dann geht das Laufwerk in den Start-Stop-Modus, was ein um Klassen langsameres Backup zur folge hat.
Abgesehen davon kann man die Medien nach 1 Jahr wegwerfen, da der Start-Stop-Betrieb die Medien unheimlich verschleisst.
Mach mal einen Test:
generier mal eine 10GB-Datei, und sichere diese auf das LTO. Da sollte mann die volle Performance bekommen.
Karsten
- DELL 124T mit 1*LTO3 + 16 Slots
Problem:
Beim Kopieren von B2D-Jobs (RAID5) auf B2T
ist die Performance sehr gering ~ 800
MB/min.
dir ist bewusst, dass ein LTO3-laufwerk 80mb/s unkompremiert schreiben will?Problem:
Beim Kopieren von B2D-Jobs (RAID5) auf B2T
ist die Performance sehr gering ~ 800
MB/min.
Dir ist auch bewusst, dass du diese 80mb/s auch dem Laufwerk geben musst?
OK, mittels DSM können die LTO3 Laufwerke auch langsamer laufen, aber bei 40mb/s ist "schluss".
Wenn man nicht mind. 2,4 gb/min zum laufwerk transportieren kann, dann geht das Laufwerk in den Start-Stop-Modus, was ein um Klassen langsameres Backup zur folge hat.
Abgesehen davon kann man die Medien nach 1 Jahr wegwerfen, da der Start-Stop-Betrieb die Medien unheimlich verschleisst.
Mach mal einen Test:
generier mal eine 10GB-Datei, und sichere diese auf das LTO. Da sollte mann die volle Performance bekommen.
Karsten
Hallo Karsten,
das ist u. a. unser Problem!! Es spielt natürlich auch noch das Zeitfenster eine Rolle!!
Kannst Du mir ein Tool nennen, wo ich solche Dateien erzeugen kann?
Gruß
Tobias
das ist u. a. unser Problem!! Es spielt natürlich auch noch das Zeitfenster eine Rolle!!
Kannst Du mir ein Tool nennen, wo ich solche Dateien erzeugen kann?
Gruß
Tobias
Hallo,
ich nehme immer ein paar huntert MB "Datenmüll", und packe das ein paar mal in eine Zip-Datei. Kompressionsrate "Storage", oder 1 reicht.
ich nehme immer ein paar huntert MB "Datenmüll", und packe das ein paar mal in eine Zip-Datei. Kompressionsrate "Storage", oder 1 reicht.
Hallo,
hast Du denn schonmal einen Plattenbechmark drüber laufen lassen?
Ich nehm da immmer h2bench oder halt h2benchw.
Währe ja mal interessant was der so liefert.
Bsi dann
VoSp
hast Du denn schonmal einen Plattenbechmark drüber laufen lassen?
Ich nehm da immmer h2bench oder halt h2benchw.
Währe ja mal interessant was der so liefert.
Bsi dann
VoSp
Hi,
Wir haben eine sehr ähnliche Konfiguration.
Dell 2650 mit Perc 4/DC Firmware 351X,
PV200S mit RAID5
Veritas 10.0 5484 ServicePack 3
PV 132T mit LTO2
Nach dem ich die Rebuild Rate im PERC4 auf 30 herunter gesetzt
erreichen wir bei einem Backup mit großen Dateien ca. 2000MB/min
(Beispiel Ein Job, 183GB mit wenigen Dateien, in 83min -> ca. 2204MB/min)
Der andere Job mit den üblichen, kleinen Officedokumenten erreicht die Hälfte (1014MB/min).
Es macht ebenfalls einen enormen Unterschied ob die Daten komprimierbar sind.
Ein Oracle dump (das ist eine Textdatei die mit ZIP um Faktor 5-8 kleiner wird)
kann nicht schnell genug an das TapeDrive über den SCSI-Bus gelangen, da die Daten "on the fly" von Tapedrive gezipped werden. Das Tapedrive muss dann immer wieder anhalten und warten.
Bereits komprimierte Daten (MPEG, Jpeg, MP3) erreichen nach meiner Erfahrung ca. 1000MB/min.
Die optimale Testdatei, die wir alle erzeugen und vergleichen können, entsteht wenn man aus einer WinXP CD eine ISO Datei macht und diese Datei dann entsprechen oft auf die Serverfestplatte kopiert. test1.data, test2.data, test3.data usw. Bis min. 10GB erreicht sind.
Die WinXP CD würde mit ZIP Technik ca. um die Hälfte kleiner. Das gleiche passiert auch im TapeDrive. Mit diesem Datentyp erreiche ich beste Performanceergebnisse. Wir vergliechen aber nur die noch nicht gezipte Variante!
Gruß Rafiki
Wir haben eine sehr ähnliche Konfiguration.
Dell 2650 mit Perc 4/DC Firmware 351X,
PV200S mit RAID5
Veritas 10.0 5484 ServicePack 3
PV 132T mit LTO2
Nach dem ich die Rebuild Rate im PERC4 auf 30 herunter gesetzt
erreichen wir bei einem Backup mit großen Dateien ca. 2000MB/min
(Beispiel Ein Job, 183GB mit wenigen Dateien, in 83min -> ca. 2204MB/min)
Der andere Job mit den üblichen, kleinen Officedokumenten erreicht die Hälfte (1014MB/min).
Es macht ebenfalls einen enormen Unterschied ob die Daten komprimierbar sind.
Ein Oracle dump (das ist eine Textdatei die mit ZIP um Faktor 5-8 kleiner wird)
kann nicht schnell genug an das TapeDrive über den SCSI-Bus gelangen, da die Daten "on the fly" von Tapedrive gezipped werden. Das Tapedrive muss dann immer wieder anhalten und warten.
Bereits komprimierte Daten (MPEG, Jpeg, MP3) erreichen nach meiner Erfahrung ca. 1000MB/min.
Die optimale Testdatei, die wir alle erzeugen und vergleichen können, entsteht wenn man aus einer WinXP CD eine ISO Datei macht und diese Datei dann entsprechen oft auf die Serverfestplatte kopiert. test1.data, test2.data, test3.data usw. Bis min. 10GB erreicht sind.
Die WinXP CD würde mit ZIP Technik ca. um die Hälfte kleiner. Das gleiche passiert auch im TapeDrive. Mit diesem Datentyp erreiche ich beste Performanceergebnisse. Wir vergliechen aber nur die noch nicht gezipte Variante!
Gruß Rafiki
Hallo,
ich habe mal mit dem Tool "createfil.exe" 6 Dateien mit je 4 GB erzeugt und gesichert.
Dabei habe ich zufällig mal die AdvancedOpenFile-Option von Veritas ausgeschaltet. Und siehe da, die Dateien werden mit knapp 2,3 GB / min. gesichert.
Schaltet man die Option wieder ein, kommen nur knapp 900 MB / min. auf´s Band.
Kann so etwas noch mit Performance-Problemen des RAID5 zusammenhängen?
Gruß
Tobias
ich habe mal mit dem Tool "createfil.exe" 6 Dateien mit je 4 GB erzeugt und gesichert.
Dabei habe ich zufällig mal die AdvancedOpenFile-Option von Veritas ausgeschaltet. Und siehe da, die Dateien werden mit knapp 2,3 GB / min. gesichert.
Schaltet man die Option wieder ein, kommen nur knapp 900 MB / min. auf´s Band.
Kann so etwas noch mit Performance-Problemen des RAID5 zusammenhängen?
Gruß
Tobias
Hallo!
Werde ich mal testen!
Nutzt Ihr auch das synthetische Vollbackup?
Danke.
Gruß
tobias
Werde ich mal testen!
Nutzt Ihr auch das synthetische Vollbackup?
Danke.
Gruß
tobias
Hallo Rafiki,
ich habe nun den Test durchgeführt:
21 Dateien (iso-Images von WinXP) mit je 500 MB = 10 GB
Ergebnisse Datensicherung über Veritas BackupExec (ohne OpenFile Option):
RAID1 (Dell 2850) auf PV124T = 1.962 MB / min.
RAID5 (PV220S) auf PV124T = 1.530 MB /min.
Mit der OpenFile-Option habe ich es jetzt nicht getestet, würde aber langsamer werden. Ist das bei Euch auch so mit dieser Option, oder funktioniert das einwandfrei?
Gruß
tobias
ich habe nun den Test durchgeführt:
21 Dateien (iso-Images von WinXP) mit je 500 MB = 10 GB
Ergebnisse Datensicherung über Veritas BackupExec (ohne OpenFile Option):
RAID1 (Dell 2850) auf PV124T = 1.962 MB / min.
RAID5 (PV220S) auf PV124T = 1.530 MB /min.
Mit der OpenFile-Option habe ich es jetzt nicht getestet, würde aber langsamer werden. Ist das bei Euch auch so mit dieser Option, oder funktioniert das einwandfrei?
Gruß
tobias
Hi
in dem ersten Post schreibst du> Kopieren des B2D-Jobs auf B2D mit 650 MB/min.
jetzt lese ich für den 10GB Test> RAID5 (PV220S) auf PV124T = 1.530 MB /min.
Wenn ich das richtig verstehe dann ist dein Backup jetzt fast drei mal so schnell.
Ich habe gerade auf einem unserer Server die "norm test datei" wie oben erzeugt und gesichert.
Bei 10GB erreiche ich 2034MB/min von PV200 mit RAID5 und 2054MB/min von den in den Server eingebauten Festplatten. Das ist für mich ein Unterschied innerhalb der Messtolleranz von BackupExec. Datendurchsatz = (Daten in MB/ ( Zeit in 5 sec Schritten - Zeit für load media) ).
Bist du mit den Einstellungen der rebuild rate jetzt am gewünschten Ziel oder wollen wir noch genauer Treiber und Parameter vergleichen?
Gruß Rafiki
in dem ersten Post schreibst du> Kopieren des B2D-Jobs auf B2D mit 650 MB/min.
jetzt lese ich für den 10GB Test> RAID5 (PV220S) auf PV124T = 1.530 MB /min.
Wenn ich das richtig verstehe dann ist dein Backup jetzt fast drei mal so schnell.
Ich habe gerade auf einem unserer Server die "norm test datei" wie oben erzeugt und gesichert.
Bei 10GB erreiche ich 2034MB/min von PV200 mit RAID5 und 2054MB/min von den in den Server eingebauten Festplatten. Das ist für mich ein Unterschied innerhalb der Messtolleranz von BackupExec. Datendurchsatz = (Daten in MB/ ( Zeit in 5 sec Schritten - Zeit für load media) ).
Bist du mit den Einstellungen der rebuild rate jetzt am gewünschten Ziel oder wollen wir noch genauer Treiber und Parameter vergleichen?
Gruß Rafiki
