27.04.2012

4255

Dateitransfer unter Windows und wie ist es am optimalsten

Ich habe folgendes Problem. In einem Projekt werden in einem Netzwerk Daten auf einem Server abgelegt, die dann wiederrum auf einem Win7-Client der in der Domäne liegt rüberkopiert werden. Es handelt sich dabei um sehr viele kleine Dateien (ab 80.000) Der Dateitransfer unter Win7 ist ein grosses Problem. Ursache ist die Art und Weise wie Windows mit verlorenen Paketen umgeht. Gibts Probleme wird eine neue Übertragung angestoßen, was sehr lange Übertragungszeiten bei stark ausgenutzten Netzen mit sich fuehrt. Der Open- und Close-Vorgang ist hier das ausschlagegebende Element.

Was ist die optimalste Lösung grosse Datenmengen unter Windows hin und herzukoieren, auch nachdem ein Kopiervorgang mal abbricht und danach wiederaufgenommen wird?!

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 184195

Url: https://administrator.de/contentid/184195

Ausgedruckt am: 22.11.2024 um 05:11 Uhr

16 Kommentare

Neuester Kommentar

Hallo erstmal (da die begrüssung vergessen wurde),

für solche Fälle nutze ich Robocopy.

 Robocopy <quelle> <ziel> /V /X /S /E /FP /NP /COPYALL /ZB /R:10 /W:30 /LOG+:C:\Temp\<logdateiname>.log /TEE  

Wobei die Angaben <quelle> <ziel> <logdateiname> sinngemäß anzupassen sind.

Man kann Robocopy so einrchten, daß es zeitgesteuert läuft.

Hinweis: Wenn Robocopy unter Windows XP | Windows Server 2003 genutzt wird, dann die Version XP010 verwenden.
Unter Vista / Windows7 / Windows Server 2008 kann die beim Betriebssystem vorhandene Version verwendet werden.

Das ist also für Win7 die optimalste Lösung? Nimmt er einen abgebrochenen Job wieder auf oder geht das nicht? Welche Vorteile hat Robocopy als Kommandozeilentool im Gegensatz zu Gui Tools wie den Total Commander?

Robocopy => Robust File Copy for Windows.
Ist dazu gedacht große Datenmenden zu kopieren. Schau Dir einfach mal die Optionen von Robocopy an, indem Du auf der Command Shell

 Robocopy /? | More

eingibst.
Auch im Internet findet man sehr viele Hinweise zur Verwendung von Robocopy.

Und Du kannst es autonom laufen lassen. Entweder per Scheduled Task oder über die eingebauten Parameter (siehe folgend)

/MON:n :: MONitor source; run again when more than n changes seen.
/MOT:m :: MOnitor source; run again in m minutes Time, if changed.

/RH:hhmm-hhmm :: Run Hours - times when new copies may be started.
/PF :: check run hours on a Per File (not per pass) basis.

/IPG:n :: Inter-Packet Gap (ms), to free bandwidth on slow lines.

Und abgebrochene Datenübertragungen kann man auch steuern:

::
:: Retry Options :
::
/R:n :: number of Retries on failed copies: default 1 million.
/W:n :: Wait time between retries: default is 30 seconds.

/REG :: Save /R:n and /W:n in the Registry as default settings.

/TBD :: wait for sharenames To Be Defined (retry error 67).

Servus

<Offtopic>
Optimal kann man nicht steigern. Entweder etwas ist optimal oder nicht!
</Offtopic>

Gruß
Norber

Hi,

Zitat von @Penny.Cilin:
Hinweis: Wenn Robocopy unter Windows XP | Windows Server 2003 genutzt wird, dann die Version XP010 verwenden.

Hat das irgend einen tieferen Sinn, nicht die zuletzt veröffentlichte Version X026 (mit GUI, dann aber nur in Verbindung mit NET2.0) zu verwenden?

Gruß

Zitat von @MrTrebron:

Servus

<Offtopic>
Optimal kann man nicht steigern. Entweder etwas ist optimal oder nicht!
</Offtopic>

Gruß
Norber

<offtopic>
Wieso es gibt doch auch aktuell, aktueller, am aktuellsten oder tot, töter am tötesten

Oder die Weisheit der Dakota Indianer bzw. das Wettrudern.
</offtopic>

<offtopic>
Ich hoffe inständig das ist nur ein Scherz
</offtopic>

<offtopic>
Wieso, Du kennt doch den Hinweis:
Bitte die aktuellsten Treiber | Softwarestände verwenden.

Ich bekomme da immer die Krise bei solchen Aussagen.

Und mit Deinem Kommentar stimme ich Dir vollkommen zu.
<offtopic>

Hallo,

erstmal vielen Dank für die nützlichen Hinweise. Ich denke für den Transfer grösserer Datenmengen ist das robocopy Kommandozeilentool sehr gut geeignet. Man kann sich ja sicherlich auch Skripte zusammenfriemeln. Kennt evtl. jemand gute Seiten bezüglich dieses Themas, wo man sich einlesen könnte oder Beispiele findet?

Vorab schon mal vielen Dank!

Moin,

wie wär's mit (S)FTP oder rsync (notfalls über ssh tunnel)? Gibt's beides in Windows versionen und ist schon allein vom Durchsatz her besser als SMB.

lg,
Slainte

Kannst mir einige Infos geben?
Besser wie Robocopy?

Hallo,

Zitat von @winlin:
Der Dateitransfer unter Win7 ist ein grosses Problem. Ursache ist die Art und Weise wie Windows mit verlorenen Paketen umgeht. Gibts Probleme wird eine neue Übertragung angestoßen, was sehr lange Übertragungszeiten bei stark ausgenutzten Netzen mit sich fuehrt. Der Open- und Close-Vorgang ist hier das ausschlagegebende Element.

Und

auch nachdem ein Kopiervorgang mal abbricht und danach wiederaufgenommen wird?!

Warum hast du in deinem Netz diese Abbrüche? Wieso bricht das Kopieren (ob jetzt eine grosse Datei oder viele kleine Dateien) denn ab und muss neu angestossen werden? Der Windowsexplorer ist nicht dazu gedacht selbsttätig abgebrochene Kopiervorgänge erneut anzustossen. da gibt es z-B. das hier schon erwähnte Robocopy (mit und ohne Skript). Warum willst du an einer Stelle eine Lösung einbauen wenn dein Problem dein fehlerhaftes Netz ist? Was passiert da das es zu diesem Problem kommt? Wenn dein Netz stabil steht sollten dort keine Kopierabbrüche entstehen und somit hättest du keine Fehler und selbst der WindowsExplorer würde ohnen Abbruch alles kopieren können. (Schnelles kopieren von über 80.000 kleinen Dateien ist wieder eine andere Baustelle

)

Gruß,
Peter

Hi,

wie oft sollen die Dateien denn kopiert werden und wie groß sind die 80.000 Dateien?

Sofern auf dem Server und den Win7 Client genügend Platz vorhanden ist, würde ich zunächst die 80.000 kleinen Dateien per Batch in eine ZIP-/Archiv-Datei packen, diese dann übers Netzwerk mit robocopy kopieren und dann am Win7 Client, vom W7 Client aus die Archiv-Datei wieder entpacken.
Falls die Archiv-Datei sehr groß wird, kannst Du sie auch splitten lassen.

Grüße,
Volker

Stimme Dateitransfer unter Windows und wie ist es am optimalsten (pjordorf) zu. Auch solltest Du Dein Problem konkretisieren:

Der Dateitransfer unter Win7 ist ein grosses Problem

Und zwar?.......hier musst Du doch reichlich Beschreibung einfügen...

Ursache ist die Art und Weise wie Windows mit verlorenen Paketen umgeht

...und nicht gleich eine Mutmaßung loslassen. Wenn schon, dann auch hier eine Erläuterung: wie kommst Du zu dieser Erkenntnis?

Gibts Probleme wird eine neue Übertragung angestoßen, was sehr lange Übertragungszeiten bei stark ausgenutzten Netzen mit sich fuehrt. Der Open- und Close-Vorgang ist hier das ausschlagegebende Element

...selber festgestellt (wie?) oder gelesen (wo?) ?

Auch solltest Du was zur Ausgangslage schreiben. Du willst (regelmäßig) kleine Dateien in großer Zahl ("ab" 80.000 ?) auf einen (/mehrere?) Windows 7 Clients kopieren? Warum muss das so gemacht werden und nicht als Archiv kopieren und dann lokal auspacken?

Zu robocopy wurde ja schon was gesagt. Generell ist das Kopieren von kleinen Dateien mit SMBv2 (falls auch der Server 2008 oder höher ist und SMBv2 kann) mit einigen alte Netzwerkkarten und Netzwerkkartentreibern oftmals langsamer gewesen als noch mit win xp/2003 Server - hier sollte man beidseitig die neuesten Treiber einsetzen oder mit anderen Karten testen.