5
Synchronisation von Millionen Dateien
Hallo Leute,
ich bin derzeit auf der Suche nach einem Performanten Sync-Client.
Folgende Ausgangssituation:
von einem Windows Server 2008R2 sollten ca. 10 Millionen Dateien (~10TB) auf einen anderen Synchronisiert werden (auch Windows Server 2008R2) (von dem anderen Serversystem geht es dann aufs Band).
Derzeit lasse ich per Robocopy (Parameter "/MIR /MT /W:1 /R:1 /B /COPYALL /NDL ") die Server ab 20 Uhr Syncen. Morgens (um 6 Uhr) muss die Synchronisation zwingend fertig sein.
Ich lasse zwar nur die Änderungen rüberschaufeln, trotzdem habe ich derzeit das Problem, dass selbst das vergleichen der Dateien und Ordner inc. dem Kopieren auf den anderen Server länger als die 10 Stunden dauert.
Gibt es eine Alternative, mit der ich scheller Synchronisieren kann? DFS Werde ich mir in einer ruhigen Minute nochmal anschauen, jedoch weiß ich nicht, ob ich das in unserem AD implementieren kann.
Am liebsten wäre (wie DFS) eine "Live-Replikation", der die Server grundsätzlich Synchron hält, aber die gemachten Änderungen nicht gleich auf Server 2 löscht, sondern dort in einen anderen Ordner verschiebt, nach dem Prinzip:
Auf Server 1 wird Datei A geändert. Die Datei wird Live auf Server 2 geschoben, dort wird aber die "alte Version" von A aber in ein sperates Verzeichnis gespeichert, z.B. in dem Ordner "D:\Sicherung\versions\%YEAR%\%MONTH%\%DAY%\%OLD_PATH%\Datei A"
Also wie eine Art Versionierung für das Dateisystem.
Wichtig wäre auch, dass die Ordner- / Dateiberechtigungen erhalten bleiben.
Ich hoffe ich konnte mich verständlich Ausdrücken, für dieses Ungewöhnliche Problem
Bei Fragen, stehe ich natürlich jederzeit zur Verfügung.
Mit freundlichen Grüßen
Xanacas
ich bin derzeit auf der Suche nach einem Performanten Sync-Client.
Folgende Ausgangssituation:
von einem Windows Server 2008R2 sollten ca. 10 Millionen Dateien (~10TB) auf einen anderen Synchronisiert werden (auch Windows Server 2008R2) (von dem anderen Serversystem geht es dann aufs Band).
Derzeit lasse ich per Robocopy (Parameter "/MIR /MT /W:1 /R:1 /B /COPYALL /NDL ") die Server ab 20 Uhr Syncen. Morgens (um 6 Uhr) muss die Synchronisation zwingend fertig sein.
Ich lasse zwar nur die Änderungen rüberschaufeln, trotzdem habe ich derzeit das Problem, dass selbst das vergleichen der Dateien und Ordner inc. dem Kopieren auf den anderen Server länger als die 10 Stunden dauert.
Gibt es eine Alternative, mit der ich scheller Synchronisieren kann? DFS Werde ich mir in einer ruhigen Minute nochmal anschauen, jedoch weiß ich nicht, ob ich das in unserem AD implementieren kann.
Am liebsten wäre (wie DFS) eine "Live-Replikation", der die Server grundsätzlich Synchron hält, aber die gemachten Änderungen nicht gleich auf Server 2 löscht, sondern dort in einen anderen Ordner verschiebt, nach dem Prinzip:
Auf Server 1 wird Datei A geändert. Die Datei wird Live auf Server 2 geschoben, dort wird aber die "alte Version" von A aber in ein sperates Verzeichnis gespeichert, z.B. in dem Ordner "D:\Sicherung\versions\%YEAR%\%MONTH%\%DAY%\%OLD_PATH%\Datei A"
Also wie eine Art Versionierung für das Dateisystem.
Wichtig wäre auch, dass die Ordner- / Dateiberechtigungen erhalten bleiben.
Ich hoffe ich konnte mich verständlich Ausdrücken, für dieses Ungewöhnliche Problem
Bei Fragen, stehe ich natürlich jederzeit zur Verfügung.
Mit freundlichen Grüßen
Xanacas
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 327596
Url: https://administrator.de/forum/synchronisation-von-millionen-dateien-327596.html
Ausgedruckt am: 22.04.2025 um 13:04 Uhr
5 Kommentare
Neuester Kommentar
Moin,
ich würde hier DFS in Verbindung mit Schattenkopien verwenden.
Gruß Krämer
ich würde hier DFS in Verbindung mit Schattenkopien verwenden.
Gruß Krämer
Moin,
zu robocopy: als Parameter würde ich
nehmen. Das sind 16 Threads mehr als "normal" und kein Warten/Retry - das sollte noch ein bisschen Performance rauskitzeln.
Ansonsten gibt's einige rsync Implementationen für Windows - da kann ich dir allerdings nicht sagen wie/ob die mit 10TB Volumes zurecht kommen
Ist das Hardware oder eine VM? Falls VM könnte dir evtl. Veeam Backup&Replication weiterhelfen.
lg,
Slainte
zu robocopy: als Parameter würde ich
/MIR /MT:24 /W:0 /R:0 /B /COPYALL /NDL /NPAnsonsten gibt's einige rsync Implementationen für Windows - da kann ich dir allerdings nicht sagen wie/ob die mit 10TB Volumes zurecht kommen
Ist das Hardware oder eine VM? Falls VM könnte dir evtl. Veeam Backup&Replication weiterhelfen.
lg,
Slainte
Das oder den einen Server auf den anderen Replizieren und ebenfalls Schattenkopien arbeiten .
Den Klassiker rsync oder Capivara
http://capivara.sourceforge.net
http://capivara.sourceforge.net
DFSR mit RDC (remote differential compression)
Allerdings soweit ich mich erinner hat auch das DFSR ein paar Größenlimits... bei 1 GBit und einer 4x CPU Maschine schafft das 3-5 GB an Rohdaten pro Minute (Dokuemnte hauptsächlich mit Textinhalten bzw. hochkomprimierare Zahlensammlungen wie Excel Tabellen)
Allerdings soweit ich mich erinner hat auch das DFSR ein paar Größenlimits... bei 1 GBit und einer 4x CPU Maschine schafft das 3-5 GB an Rohdaten pro Minute (Dokuemnte hauptsächlich mit Textinhalten bzw. hochkomprimierare Zahlensammlungen wie Excel Tabellen)
