Datendurchsatzprobleme beim Kopieren sehr großer Daten
Wir haben Probleme beim Wegschreiben unserer SQL Backups (*.bak ca. 800GB groß) auf andere Volumes. Beim Kopierprozess fällt die Transferrate stark ab.
Hallo liebe Forenmitglieder,
wir haben seit einiger Zeit ein größeres Problem beim Wegsicherung unserer SQL Server Backups. Da wir bereits einiges getestet haben muss ich nun etwas ausholen. Ich hoffe dennoch, dass vielleicht jemand eine Idee hat. Ich selber sehe nämlich den Wald vor lauter Bäumen nicht mehr und möchte mal die Meinung von ein paar externen fähigen Leuten einholen
Folgendes Problem:
Unsere Backups der SQL Serverdatenbanken sind stark angewachsen, derzeit ca. 850GB pro Backup. Wenn nun das Backup über das Netzwerk auf eine Windows Freigabe kopiert wird (CIFS/SMB) ist folgendes zu beobachten. Der Kopierprozess beginnt zunächst mit einer guten Datenrate von ca. 60MB/s bis 70MB/s. Das ist ein guter Wert mit dem wir auch leben könnten. Doch nach den ersten zehn bis fünfzehn Gigabyte beginnt die Transferrate stark einzubrechen bis ca. nur noch eine Datenrate von 15MB/s bis 20MB/s erreicht ist. Dadurch verlangsamt sich der Kopierprozess auf ca. acht bis zehn Stunden.
Quellserver: Win2k8
Zielserver: Win2k3 SP2
Um ein wenig testen zu können haben wir eine Testumgebung in der sich das Verhalten exact nachstellen lässt.
Quellserver: Win2k3 Enterprise SP2 (Win2k3 da Quellserver früher ebenfalls 2k3 war und auch dort die Probleme vorhanden waren)
Zielserver: Win2k3 Enterprise SP2
Netzwerkprobleme wurden ausgeschlossen, da das Verhalten der sinkenden Transferrate auch bei einer direkten Crossover Verkabelung auftritt. Auch Probleme im CIFS/SMB Protokoll können quasi ausgeschlossen werden, da bei einer Übertragung per FTP ebenfalls die Transferrate einbricht. Bei Nutzung von Tools wie eseutil.exe, TotalCopy oder TerraCopy ist ebenfalls ein Einbruch der Transferrate zu beobachten. Sporadisch lässt sich durch einen Neustart der Systeme eine Kopie zwischen drei und vier Stunden realisieren, die nächsten Kopien laufen allerdings ebenfalls wieder bescheiden.
Auch bei einer Kopie von einem lokalen Subsystem auf ein anderes lokales Subsystem lässt sich ein Einbruch der Transferrate feststellen. Anfänglich ist ca. 160MB/s IO-Durchsatz festzustellen, welcher aber später auf ca. 80MB/s einbricht. An den .bak Dateien sollte es auch nicht liegen, da Files welche per "fsutil file createnew testfile.dat 912680550400" erstellt wurden ebenfalls das gleiche Verhalten aufzeigen.
Wenn beide Testsysteme ohne Anpassung der Hardware auf Win2k8 geupdatet werden, ist eine Kopie des Backups binnen zwei bis drei Stunden möglich und das dauerhaft. Bitte nennt mir aber nun nicht als Lösung, dass ich meine Systeme auf Win2k8 updaten soll. Das möchte ich eigentlich vermeiden.
Ich hoffe jemand von euch hat eine Idee. Besten Dank schon mal im Voraus!
Schönen Gruß
René
Hallo liebe Forenmitglieder,
wir haben seit einiger Zeit ein größeres Problem beim Wegsicherung unserer SQL Server Backups. Da wir bereits einiges getestet haben muss ich nun etwas ausholen. Ich hoffe dennoch, dass vielleicht jemand eine Idee hat. Ich selber sehe nämlich den Wald vor lauter Bäumen nicht mehr und möchte mal die Meinung von ein paar externen fähigen Leuten einholen
Folgendes Problem:
Unsere Backups der SQL Serverdatenbanken sind stark angewachsen, derzeit ca. 850GB pro Backup. Wenn nun das Backup über das Netzwerk auf eine Windows Freigabe kopiert wird (CIFS/SMB) ist folgendes zu beobachten. Der Kopierprozess beginnt zunächst mit einer guten Datenrate von ca. 60MB/s bis 70MB/s. Das ist ein guter Wert mit dem wir auch leben könnten. Doch nach den ersten zehn bis fünfzehn Gigabyte beginnt die Transferrate stark einzubrechen bis ca. nur noch eine Datenrate von 15MB/s bis 20MB/s erreicht ist. Dadurch verlangsamt sich der Kopierprozess auf ca. acht bis zehn Stunden.
Quellserver: Win2k8
Zielserver: Win2k3 SP2
Um ein wenig testen zu können haben wir eine Testumgebung in der sich das Verhalten exact nachstellen lässt.
Quellserver: Win2k3 Enterprise SP2 (Win2k3 da Quellserver früher ebenfalls 2k3 war und auch dort die Probleme vorhanden waren)
Zielserver: Win2k3 Enterprise SP2
Netzwerkprobleme wurden ausgeschlossen, da das Verhalten der sinkenden Transferrate auch bei einer direkten Crossover Verkabelung auftritt. Auch Probleme im CIFS/SMB Protokoll können quasi ausgeschlossen werden, da bei einer Übertragung per FTP ebenfalls die Transferrate einbricht. Bei Nutzung von Tools wie eseutil.exe, TotalCopy oder TerraCopy ist ebenfalls ein Einbruch der Transferrate zu beobachten. Sporadisch lässt sich durch einen Neustart der Systeme eine Kopie zwischen drei und vier Stunden realisieren, die nächsten Kopien laufen allerdings ebenfalls wieder bescheiden.
Auch bei einer Kopie von einem lokalen Subsystem auf ein anderes lokales Subsystem lässt sich ein Einbruch der Transferrate feststellen. Anfänglich ist ca. 160MB/s IO-Durchsatz festzustellen, welcher aber später auf ca. 80MB/s einbricht. An den .bak Dateien sollte es auch nicht liegen, da Files welche per "fsutil file createnew testfile.dat 912680550400" erstellt wurden ebenfalls das gleiche Verhalten aufzeigen.
Wenn beide Testsysteme ohne Anpassung der Hardware auf Win2k8 geupdatet werden, ist eine Kopie des Backups binnen zwei bis drei Stunden möglich und das dauerhaft. Bitte nennt mir aber nun nicht als Lösung, dass ich meine Systeme auf Win2k8 updaten soll. Das möchte ich eigentlich vermeiden.
Ich hoffe jemand von euch hat eine Idee. Besten Dank schon mal im Voraus!
Schönen Gruß
René
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 116358
Url: https://administrator.de/contentid/116358
Ausgedruckt am: 05.11.2024 um 02:11 Uhr
3 Kommentare
Neuester Kommentar