stefankittel
Goto Top

Robocopy beschleunigen oder Alternative

Moin,

ein KMU-Kunden möchte ein Datenverzeichnis regelmäßig über eine VPN Verbindung zu einem anderen Standort replizieren. Dort soll man lesend auf die Version von gestern zugreifen können.

Es geht um ca. 2 TB mit sehr vielen kleinen Office-Dokumenten. Auf beiden Seiten stehen Windows-Server 2016 mit eigenem AD. Die Leitung hat ca. 200 MBit. Die Latenz liegt bei ca. 30ms.

Der Haustechniker hat dafür eine Batch-Datei mit Robocopy erstellt.
robocopy /MIR /B /R:1 /W:1 /COPYALL quelle ziel
Nun wundert er sich, dass der Vorgang nach 8 Stunden nicht abgeschlossen ist und, dass der reine Abgleich so langsam ist face-smile
Das mit den AD-Informationen ist eine längere Geschichte.

Warum es so langsam ist, weiß ich.
Ist die Frage wie man es auf die einfache Art beschleunigen kann.
Oder ob eine der tausenden Sync-Programme das besser hinbekommt.

Wenn man die Dateiliste an SMB vorbei überträgt und die geänderten Datein komprimiert überträgt sollte es schneller sein.
Unter Linux würde ich RSync verwenden.

Anforderung
- Skripte für Windows Server 2016
oder
- Software für Windows Server 2016
- Übertragen von 2TB kleinen Office Dokumenten one way
- Übertragen nur der geänderten Dateien
- Übertragen der Berechtigungen

Stefan

Content-Key: 91188512706

Url: https://administrator.de/contentid/91188512706

Printed on: April 13, 2024 at 00:04 o'clock

Member: Avoton
Solution Avoton Feb 25, 2024 at 09:11:55 (UTC)
Goto Top
Moin,

Hast du Mal versucht, die Threads hoch zu setzen? Kommandozeilenoption /MT:32

Gruß,
Avoton
Member: MysticFoxDE
MysticFoxDE Feb 25, 2024 at 09:13:17 (UTC)
Goto Top
Moin @StefanKittel,

Der Haustechniker hat dafür eine Batch-Datei mit Robocopy erstellt.
robocopy /MIR /B /R:1 /W:1 /COPYALL quelle ziel
Nun wundert er sich, dass der Vorgang nach 8 Stunden nicht abgeschlossen ist und, dass der reine Abgleich so langsam ist face-smile

da fehlt ja auch ein "/j", denn damit flutscht es schon um einiges schneller.

Sprich ...
robocopy /MIR /B /R:1 /W:1 /j /COPYALL quelle ziel

Und wenn du auf den Servern noch das folgende ausführst ...
(PowerShell als Administrator)
Set-SmbServerConfiguration -TreatHostAsStableStorage $true -AsynchronousCredits 2048
... dann flutschen die SMB Zugriffe über die entsprechenden Server generell etwas besser. 😉

Gruss Alex
Member: Penny.Cilin
Penny.Cilin Feb 25, 2024 at 09:23:52 (UTC)
Goto Top
da fehlt ja auch ein "/j", denn damit flutscht es schon um einiges schneller.
Der Parameter bringt aber nur bei großen Dateien etwas.

Hier geht es um sehr viele kleine Office Dateien.

Gruss Penny.
Member: MysticFoxDE
MysticFoxDE Feb 25, 2024 at 09:55:22 (UTC)
Goto Top
Moin @Penny.Cilin,

Der Parameter bringt aber nur bei großen Dateien etwas.

Hier geht es um sehr viele kleine Office Dateien.

der bringt meiner Erfahrung nach, auch eine ganze menge bei kleineren Dateien.
Einfach mal ausprobieren, dann sieht man den Unterschied ja sofort.

Gruss Alex
Member: Looser27
Looser27 Feb 25, 2024 at 10:03:56 (UTC)
Goto Top
Probier doch mal freefilesync. Damit kopiere ich täglich vom Server auf ein NAS.
Member: nEmEsIs
nEmEsIs Feb 25, 2024 at 10:16:12 (UTC)
Goto Top
Hi

Da du ja über WAN kopierst wie sieht es bzgl MTU aus ? Ist die durchgängig 1500 oder wird fragmentiert ?

Probier mal mit dem Schalter /ipg: die Größe zu beeinflussen auf die eurer WAN Verbindung inkl. Abzug overhead gestellt ist.

Werden den die 200 Mbit auch ausgelastet?
Wie schnell ist den die Gegenseite bzgl lese / Schreibrate?

Und das AD auf der Gegenseite ist eine replication des ADs oder ist es ein eigenes ?

Wenn eigenes AD mit eigenen NTFS Berechtigungen dann ist Copyall vermutlich die Bremse ? Begrenz das mal auf /copy:DAT und auch für Ordner /dcopy:DAT
Weil woher soll die Gegenseite die SIDs kennen und durch die Vererbung wird das ja wieder überschrieben und er muss jede Datei beim erneuten kopieren erneut anfassen.

Mit freundlichen Grüßen Nemesis
Member: Crusher79
Solution Crusher79 Feb 25, 2024 at 10:23:35 (UTC)
Goto Top
Würde da wie @Looser27 sagte auf Sync Software gehen.

Alternativ PS Script, das vorher Hashsummen generiert. Nur geänderte Dateien in einen tar oder ZIP Ball packt.

Unzip ist PS native. Hashummen zum Verifizieren, dass alles angekommen ist. Neue Dateien sieht man ja auf dem Quellserver anhand des LastWriteDates - Tagesdatum.

Liste mit PS erstellen ist also recht simpel. Kleine Dateien sind immer schon ein Show-Stopper gewesen.

Gelöschte Dateien sind oben nicht mit berücksichtigt. Man könnte einfach eine Dateien Liste mitgeben und dann alles löschen was nicht mit drin steht.

2 TB ist natürlich ein Brett. Wegen den ganzen Kleinkram. Erstellen der ZIP und Content Listen dauert eine Zeit. Da würde ich ggf. erst einmal freefilesync den Vorzug geben.

mfg Crusher
Member: manuel-r
manuel-r Feb 25, 2024 updated at 11:21:17 (UTC)
Goto Top
Ist die Frage wie man es auf die einfache Art beschleunigen kann.

DFSR

Auf beiden Seiten stehen Windows-Server 2016 mit eigenem AD

Hab ich gerade noch gesehen. Jeweils ein eigenes AD? Mit oder ohne Vertrauensstellung? Ob da DFSR funktioniert weiß ich ad hoc nicht.

Manuel
Member: Crusher79
Solution Crusher79 Feb 25, 2024 updated at 13:33:12 (UTC)
Goto Top
https://superuser.com/questions/1660962/windows-10-fastest-way-to-move-m ...

Das ist aber alles so ähnlich wie deine Version. Mir fiel hier nur eines auf:

/MT:10

Multithreading sorgt halt für parallel Kopie der kleinen Dateien.

Ich hatte es nur mal übertrieben und damit meinen PC abgeschossne. Schon arg lang her. Denke aber mit 10 - 20 parallelen Vorgängen sollte es gehen.

Du kannst dich ja heran tasten.

robocopy /E quelle ziel  /MIR /B /R:1 /W:1 /COPYALL /MT::10
Mitglied: 11078840001
11078840001 Feb 25, 2024 updated at 13:53:11 (UTC)
Goto Top
Wenn sich eh nur eine Seite ändert würde sich auch das Archiv-Attribut und der Parameter /m anbieten, dann entfiele das aufwendige Enumerieren der Remote-Seite was bei SMB und der Latenz doch einige Zeit kostet. Aber das Erhöhen der Threads sollte auf jeden Fall für den Kopiervorgang einiges bringen wenn es viele kleine Dateien sind die sich ändern.
SyncBackPro z.B. lässt sich diesbezüglich auch sehr fein einstellen wie gesynct wird und hat auch einen Quick-Mode ohne die Remote-Seite scannen zu müssen wenn sich nur eine Seite ändert.
Member: Avoton
Avoton Feb 25, 2024 at 13:53:11 (UTC)
Goto Top
Multithreading sorgt halt für parallel Kopie der kleinen Dateien.
Deswegen habe ich das ja auch oben vorgeschlagen ;)
Member: DivideByZero
Solution DivideByZero Feb 25, 2024 updated at 14:01:57 (UTC)
Goto Top
Moin Stefan,

ich bringe dann mal noch bvckup2 ins Spiel, das nutze ich bevorzugt für Remote-Verbindungen, wenn Source=Windows. Macht Deltacopy, multi-threading, ist sehr schnell (der Entwickler bemüht sich sehr, sozusagen auch noch das kleinste Quentchen Geschwindigkeit herauszuquetschen), und kann in der Regel den Abgleich dadurch massiv beschleunigen, dass lokal an der Quelle ein Cache mit dem Inhalt des Ziels vorgehalten wird (Metadaten). Da ja vermutlich der Abgleich das Problem ist, und weniger die Menge der geänderten Daten, würde ich das einfach mal in der Testversion für 2 Wochen laufen lassen.

Habe das im Einsatz bei hunderttausenden Dateien an der Quelle, mit wirklich guter Performance, bisher keine schnellere Lösung gefunden.

Gruß

DivideByZero
Member: Lochkartenstanzer
Lochkartenstanzer Feb 25, 2024 at 14:41:00 (UTC)
Goto Top
Zitat von @StefanKittel:

Unter Linux würde ich RSync verwenden.


Unter Windows auch. Entweder per WSL oder direkt nativ.

lks
Member: Crusher79
Crusher79 Feb 25, 2024 at 15:28:53 (UTC)
Goto Top
Zitat von @Avoton:

Multithreading sorgt halt für parallel Kopie der kleinen Dateien.
Deswegen habe ich das ja auch oben vorgeschlagen ;)

ups. 1. Antwort verschluckt face-big-smile

32 geht glaub ich auch noch. Ich hab mir mal mit 100 oder so Rechner abgeschossen. Netzwerk war tot. War noch zu Windows 7 Zeiten.

Gabs da eig. Empfehlungen zum max?
Member: Avoton
Avoton Feb 25, 2024 at 15:46:06 (UTC)
Goto Top
Gabs da eig. Empfehlungen zum max?
Empfehlungen sind mir keine bekannt, das Maximum ist 128...
Member: StefanKittel
StefanKittel Feb 25, 2024 at 15:58:50 (UTC)
Goto Top
Hallo,

das mit "/j" hat quasi nichts gebracht.

128 Threads haben die Geschwindigkeit mehr als verdoppel.

bvckup2 schaue ich mir noch an.

Das mit dem AD versuche ich noch zu verstehen was die sich gedacht haben.

Danke schon mal

Stefan
Member: MysticFoxDE
Solution MysticFoxDE Feb 26, 2024 at 01:57:11 (UTC)
Goto Top
Moin @StefanKittel,

das mit "/j" hat quasi nichts gebracht.

128 Threads haben die Geschwindigkeit mehr als verdoppel.

wenn der Parameter /j nicht viel gebracht hat und du mit 128 Threads, was dem 16fachen des Standardwerts entspricht nur die doppelte Performance hinbekommst, dann hängt meiner Ansicht nach eher etwas auf der Storageseite.
Wie viele Kerne haben den die entsprechenden Server?

Gruss Alex
Member: MysticFoxDE
MysticFoxDE Feb 26, 2024 at 02:00:54 (UTC)
Goto Top
Moin @Lochkartenstanzer,

Unter Linux würde ich RSync verwenden.


Unter Windows auch. Entweder per WSL oder direkt nativ.

👍👍👍

RSync könnte sogar um einiges schneller flutschen wie Robocopy, da es bei veränderten Dateien nur die Änderung überträgt.

Gruss Alex
Member: DerWoWusste
DerWoWusste Feb 26, 2024 at 08:44:53 (UTC)
Goto Top
Teile doch bitte einmal Deine Datenmenge durch deine Übertragungsgeschwindigkeit. Da kommen bei mir 22 Stunden raus, selbst ohne Latenzen.
Member: MayBeSec
MayBeSec Feb 26, 2024 updated at 11:53:00 (UTC)
Goto Top
Wieso kopierst du eigentlich alle Dateieigenschaften (COPYALL), wenn die User anschließend nur lesend darauf zugreifen dürfen?

COPYALL kopiert auch alle Berechtigungseinstellungen der Dateien.

Noch eine Frage: Von welcher Seite aus wird denn robocopy angestoßen, von der Quelle oder vom Ziel?
Member: StefanKittel
StefanKittel Feb 26, 2024 at 11:49:17 (UTC)
Goto Top
Moin,

die Gegenstelle ist ein Datengrab mit einem SATA RAID5 aber genug CPU Kernen.
Mit weniger Threads war es schneller.

Die Gegenstelle ist scheinbar ein AD-Server der offline gestellt wurde aber die damaligen Berechtigungen noch hat.
Deshalb vermutlich die Rechte.

Rsync ist mir für Windows ein bisschen zu weit weg von meiner Wohlfühlzone als dass ich es vorschlagen möchte.

Das was halt lange dauert ist der Abgleich. Alleine über SMB (oder FTP) ein Listing der Gegenseite mit 10tausenden Verzeichnissen zu erstellen dauert lange. Multithreading beschleunig dies. Bvckup2 würde diesen Zeitfaktor ganz eleminieren, Ich werde das mal testen.

Stefan
Member: kreuzberger
kreuzberger Feb 26, 2024 at 16:50:50 (UTC)
Goto Top
Moin @StefanKittel

für deinen Datenabgleich per Internetleitung gäbe es wohl mehrere Möglichkeiten, die auch genannt wurden:

  • DFS-Replikation (bedingt, dass alle Server im selben AD sind, ist aber auch wegen der großen Anzahl der Dateien auch mal überfordert)
  • robocopy (dauert sehr lange weil es eben sehr viele Daten sind)
  • rsync (der Klassiker für solche aufgaben, dauert aber eben auch lange, weil es sehr viele Daten sind)

Schließlich würde ich wegen der schieren Masse an Daten mehr darüber nachdenken, ob nicht große Teile des Datenabgleichs umgangen werden können, weil es eben unveränderliche Datenbereiche sind. Diese gilt es halt zu separieren und vom Abgleich auszuschließen. Auf diese weise liesse ich wohl die meiste Zeit sparen.
Eine schnellere Leitungsverbindung würde vermutlich kaum etwas bringen, da wie gesagt sehr viele kleine Dateien dem entgegenstehen.

Hier und da empfehle ich inzwischen, unveränderliche Datenbereiche in „Archiv“-Bereiche zu unterteilen/abzutrennen und als ISO-Dateien read only zusammenzuführen.
Member: MysticFoxDE
MysticFoxDE Feb 26, 2024 at 17:30:48 (UTC)
Goto Top
Moin @StefanKittel,

die Gegenstelle ist ein Datengrab mit einem SATA RAID5 aber genug CPU Kernen.

Ist das ein HDD RAID, wenn ja welches ist es und wie viele Platten hat dieses ?
Ist es ein Software- oder Hardware-RAID?

Wenn Hardware-RAID, ist auf dem Controller/LUN eventuell "Read Ahead" aktiviert?
Wenn ja, dann schalte das mal aus, das ist in deinem Fall glaube ich nicht wirklich hilfreich.

Gruss Alex
Member: Lochkartenstanzer
Lochkartenstanzer Feb 26, 2024 at 17:48:22 (UTC)
Goto Top
Moin,

Kurz nochmal zu dem Protokoll über das synchronisiert wird.

Solange man über shares synchronisiert. d.h smb cifs oder sonstwas, hat man das Problem, daß die sync-Programm die daten über die leitung ziehen müssen, um zu vergleichen, sofern man nicht nur über Medtadaten (Filegröße oder Datum) die Kriterien festlegt.

Daher sollten man z.B. auch rsync nicht direkt über die Shares synchronisieren lassen, sondern eher direkt über rsync-Protokoll oder einen sshtunnel, so daß auf beiden seiten die passenden Sync-prozesse laufen und die Daten erstmal nur lokal gelesen werden können statt über die Leitung. Das hllft die menge an daten minimal zu halten und die lokalen rsync-prozesse können die lokalen Filesystem auch deutlich schneller druchlaufen als über ein netzwerk-Filing-Protokoll wie cifs, AFP NFS & Co.

Ich würde da einen ssh oder rsync-Server auf dem Ziel aufsetzen und damit alles syncronisieren..

lks
Member: Cptlars
Cptlars Feb 27, 2024 at 18:16:05 (UTC)
Goto Top
Goodsync kann deine Anforderungen erfüllen.
Member: StefanKittel
Solution StefanKittel Mar 03, 2024 updated at 11:14:52 (UTC)
Goto Top
Moin,

kurzer Nachtrag nochmal zum Parameter /MT für die Anzahl der Threads.
Der funktioniert super, ist aber ein bisschen Tricki.

Ich habe in verschiedenen mal mit dem Parameter experimentiert.
Er erhöht die z.B. durchschnittliche Geschwindigkeit bei einem JOB von SATA-HDD-NAS auf SATA-HDD-Cloud-Server bei einer 300MBit Leitung.

Ohne MT schwankt der zwischen 60 und 260 MBit.
Mit MT 8 schwankt der zwischen 240 und 260 MBit.
Mit MT 128 liegt er nur noch bei 40 MBit (Zu viele parallele Zugriffe für die 7200er SATA HDDs im RAID5 mit je 8 HDDs)

Bei sehr vielen kleinen Dateien ist der Zeitaufwand um den Unterschied festzustellen ein massiver Zeitfaktor.
Teilweise 4 Stunden nur um einen Abgleich zu erstellen. Da helfen solche Tools wie bvckup2 die das nur lokal ausführen. Mit dem Risiko, dass es schiefgeht.

Man bräuchte eine aktive Software auf Client- und Serverseite die das beschleunigt und sicher abgleichen kann.
Ich schreibe das auf meine Projekte-Liste. So auf Platz 37 oder so. face-smile

Viele Grüße

Stefan
Member: Lochkartenstanzer
Lochkartenstanzer Mar 03, 2024 at 12:32:41 (UTC)
Goto Top
Zitat von @StefanKittel:

Man bräuchte eine aktive Software auf Client- und Serverseite die das beschleunigt und sicher abgleichen kann.

Du meinst rsync/rsyncd!

lks
Member: StefanKittel
StefanKittel Mar 03, 2024 at 12:51:52 (UTC)
Goto Top
Zitat von @Lochkartenstanzer:
Zitat von @StefanKittel:
Man bräuchte eine aktive Software auf Client- und Serverseite die das beschleunigt und sicher abgleichen kann.
Du meinst rsync/rsyncd!
lks

ähh, ja.
Mir fehlt hier eine native Windows-Anbindung. Nicht eine Portierung von Jemanden irgendwo im Web.
Und der Umweg über das Linux-Dings ist auch nicht so mein Fall.

Also sollte Jemand eine native Windows-Portierung erstellen und als eigenständiges Produkt vermarkten.

Stefan
Member: kreuzberger
kreuzberger Mar 03, 2024 at 12:59:43 (UTC)
Goto Top
@StefanKittel

Zitat von @StefanKittel:

Mir fehlt hier eine native Windows-Anbindung. Nicht eine Portierung von Jemanden irgendwo im Web.
Und der Umweg über das Linux-Dings ist auch nicht so mein Fall.

Also sollte Jemand eine native Windows-Portierung erstellen und als eigenständiges Produkt vermarkten.

Stefan


das nennt sich DeltaCopy.
https://www.heise.de/download/product/deltacopy-62565

Kann direkt in Verbindung mit den Linux-Versionen oder mit SYNOLOGY oder QNap oder...... Verbindung aufnehmen.

Kreuzberger
Member: StefanKittel
StefanKittel Mar 03, 2024 at 13:22:03 (UTC)
Goto Top
Klingt fast super.
Bis auf "available only on Microsoft platforms (XP, 2000, 2003, Vista, Windows 7 & 2008).
Eine aktuelle Version gibt es nicht oder?
Member: nEmEsIs
nEmEsIs Mar 03, 2024 at 13:28:36 (UTC)
Goto Top
Hi

https://web.synametrics.com/syncrifyvsdeltacopy.htm

Vielleicht das hier?

Mit freundlichen Grüßen Nemesis
Member: kreuzberger
kreuzberger Mar 03, 2024 at 13:48:57 (UTC)
Goto Top
@StefanKittel

ich hatte es mal auf Server 2012R2 und Server 2016 installiert, es funktionierte darauf.

Kreuzberger
Member: DivideByZero
DivideByZero Mar 03, 2024 at 14:23:19 (UTC)
Goto Top
Zitat von @StefanKittel:
Bei sehr vielen kleinen Dateien ist der Zeitaufwand um den Unterschied festzustellen ein massiver Zeitfaktor.
Teilweise 4 Stunden nur um einen Abgleich zu erstellen. Da helfen solche Tools wie bvckup2 die das nur lokal ausführen. Mit dem Risiko, dass es schiefgeht.

Hast Du denn bvckup2 einmal im Vergleich laufen lassen? Zum einen interessiert es mich, zum anderen kann ich das Risiko, von dem Du sprichts, nicht nachvollziehen. bvckup2 arbeitet, wie ich schon sagte, in verschiedenen Installationen seit Jahren fehlerfrei.

Gruß

DivideByZero
Member: StefanKittel
StefanKittel Mar 03, 2024 at 14:46:44 (UTC)
Goto Top
Moin

Zitat von @DivideByZero:
Hast Du denn bvckup2 einmal im Vergleich laufen lassen? Zum einen interessiert es mich, zum anderen kann ich das Risiko, von dem Du sprichts, nicht nachvollziehen. bvckup2 arbeitet, wie ich schon sagte, in verschiedenen Installationen seit Jahren fehlerfrei.

bis jetzt nicht.
Jede Form von Delta-Kopie bringt das prinzipbedingte Risiko mit sich, dass das Original und die Kopie mit der Zeit auseinanderlaufen. Irgendein Bit was irgendwo mal, aus welchem Grund auch immer, verloren geht. Oder eine Datei die aus unbekannten Grund auf der Serverseite gelöscht wird.

Ich bin noch am überlegen wie man hier 4 Fliegen mit einer Klappe schlagen kann face-smile

Stefan
Member: StefanKittel
StefanKittel Mar 03, 2024 at 14:51:39 (UTC)
Goto Top

Syncrify scheint in der Tat die gewünschte Software zu sein.
"Syncrify uses the Rsync algorithms with a custom implementation. This eliminates the need for CYGWIN on Windows"
Es enthält eine Client- und eine Server-Komponente.

Damit bietet es neben der Kopierfunktion auch eine Verifizierungsfunktion ohne alles wieder runterzuladen.

Preislich finde ich es günstig.
Ich brauche nur wenige Lizenzen.

Ich werde das mal demnächst ausprobieren.

Stefan
Member: kreuzberger
kreuzberger Mar 03, 2024 at 16:19:35 (UTC)
Goto Top
Zitat von @StefanKittel:
Jede Form von Delta-Kopie bringt das prinzipbedingte Risiko mit sich, dass das Original und die Kopie mit der Zeit auseinanderlaufen. Irgendein Bit was irgendwo mal, aus welchem Grund auch immer, verloren geht. Oder eine Datei die aus unbekannten Grund auf der Serverseite gelöscht wird.

Es könnte natürlich auch sein, dass verbaute SSDs sich plötzlich schneller drehen.

Kreuberger
Member: DivideByZero
DivideByZero Mar 03, 2024 at 16:54:17 (UTC)
Goto Top
Zitat von @StefanKittel:
bis jetzt nicht.
Jede Form von Delta-Kopie bringt das prinzipbedingte Risiko mit sich, dass das Original und die Kopie mit der Zeit auseinanderlaufen. Irgendein Bit was irgendwo mal, aus welchem Grund auch immer, verloren geht. Oder eine Datei die aus unbekannten Grund auf der Serverseite gelöscht wird.

Natürlich, aber solche Fälle, die im Übrigen auch bei normalen Backups Thema sind (z.B. Bit Rot), können in der Regel durch regelmäßiges Überprüfen und Hashen abgefangen werden. Bvckup2 macht im Rahmen von Delta Copy genau das: Erläuterung Delta Copying - andere Programme gehen da ähnlich vor, wenn sie das Thema berücksichtigen. Aber wenn solche Mechanismen zum Einsatz kommen, sehe ich das "prinzipbedingte" Risiko nicht, da es dafür eine Lösung gibt.
Und Dateien, die auf der Serverseite einfach so gelöscht werden, sind wohl gänzlich programmunabhängig ein Problem...

Gruß

DivideByZero
Member: StefanKittel
StefanKittel Mar 03, 2024 at 17:36:17 (UTC)
Goto Top
Zitat von @DivideByZero:
Natürlich, aber solche Fälle, die im Übrigen auch bei normalen Backups Thema sind (z.B. Bit Rot), können in der Regel durch regelmäßiges Überprüfen und Hashen abgefangen werden. Bvckup2 macht im Rahmen von Delta Copy genau das: Erläuterung Delta Copying - andere Programme gehen da ähnlich vor, wenn sie das Thema berücksichtigen. Aber wenn solche Mechanismen zum Einsatz kommen, sehe ich das "prinzipbedingte" Risiko nicht, da es dafür eine Lösung gibt.
Und Dateien, die auf der Serverseite einfach so gelöscht werden, sind wohl gänzlich programmunabhängig ein Problem...

Ich habe bvckup2 noch nicht ausprobiert.
Aber so weit ich das gesehen habe, läuft es nur auf dem Client und nicht dem SMB-Ziel. Es hat keine Server-Komponente.
Also kann die Software den Hash-Wert von den Dateien auf dem Ziel nur überprüfen indem es sie runterlädt.
Oder gibt es doch eine Server-Komponente?

RSync empfängt vom Server nur den Hash-Wert einer Datei von der Server-Komponenten am Server live erstellt wird.
Deshalb muss man trotzdem die 3TB einmal Hashen, aber nicht über die 300MBit Leitung schicken. Nur um zu erfahren ob sich etwas geändert hat.

Stefan
Member: StefanKittel
StefanKittel Mar 03, 2024 at 17:38:24 (UTC)
Goto Top
Zitat von @kreuzberger:
Es könnte natürlich auch sein, dass verbaute SSDs sich plötzlich schneller drehen.
(Zunge rausstreck)
Ich hatte es schon zweimal mit meinen persönlichen Bilder, dass auf einmal ein 10 Jahre altes Bild, inmitten von tausenden, defekt war. Einmal auf einem QNAP NAS und einmal auf einem Windows-Server-OS. Da man da nicht regelmäßig raufschaut, konnte ich die Gründe dafür nie ermitteln. Also möchte ich gerne überall, bei mir und bei meinen Kunden, eine Verifikation der Daten.

Stefan
Member: kreuzberger
kreuzberger Mar 03, 2024 at 19:18:53 (UTC)
Goto Top
@StefanKittel

ggf. siehst du die die Optionen von rsync mal an und probierst es aus. Was du da erreichen magst ist faktisch das zentrale, eigentliche, wofür rsync gemacht wurde und auch allgemein anerkannt perfekt funktioniert.

https://wiki.ubuntuusers.de/rsync/

Siehe option -c
"aktiviert einen Dateivergleich, basierend auf Prüfsumme und nicht auf Größe und Zeitstempel. Die eigentliche Prüfsummenbildung dauert deutlich länger als der Vergleich Größe und Änderungs-Zeitstempel; andererseits werden überflüssige Kopiervorgänge (z.B. bei nur geänderter Änderungszeit) vermieden.“

Die Optionen/Parameter/Schalter werden soweit ich mich recht erinnere von allen Varianten (DeltaCopy, Linux, Unix, Apple etc) unterstützt, das rsync-Protokoll ebenfalls. Eben genau dieser Umstand ist es ja, der dich von Herstellern wie SYNOLOGY unabhängig macht und du alles mögliche mischen kannst.

Anleitungen und weitere Beschreibungen zu rsync findest du massenweise im Internet.

Kreuzberger
Member: StefanKittel
StefanKittel Mar 03, 2024 at 22:46:01 (UTC)
Goto Top
Hallo Kreuzberger,
ich habe nix gegen rsync und nutzte es selber viel im Linux-Bereich.
Im Windows-Bereich sind mir die Implentierungen nur nicht "stabil" genug.

Syncrify ist die bisher erste Implentierung die mir stabil genug und Systemkonform aussieht.

Stefan
Member: Looser27
Looser27 Mar 04, 2024 at 08:38:33 (UTC)
Goto Top
Im Windows-Bereich sind mir die Implentierungen nur nicht "stabil" genug.

Aus genau dem Problem heraus habe ich mich damals für FreeFileSync entschieden. Das läuft über die Aufgabenplanung vom Server seither völlig unauffällig.
Member: StefanKittel
StefanKittel Mar 04, 2024 at 08:54:42 (UTC)
Goto Top
Moin,

Zitat von @Looser27:
Aus genau dem Problem heraus habe ich mich damals für FreeFileSync entschieden. Das läuft über die Aufgabenplanung vom Server seither völlig unauffällig.

Und solange es keine aktive Komponente am Server gibt bleibt das Problem des Abgleiches und der Verifikation.
Einen Abgleich von 3 Millionen Dateien über SMB (oder FTP, WebDac, CFS, etc) dauert halt. Über RSync geht das viel flotter.

Stefan
Member: -WeBu-
-WeBu- Mar 04, 2024 at 10:40:56 (UTC)
Goto Top
dass auf einmal ein 10 Jahre altes Bild, inmitten von tausenden, defekt war.

Wenn dir das originale Bild kaputt geht, ist das Backup einen Tag später auch hin, wenn delta-copy-Algorithmen (statt Größe/Datum) genutzt werden. Geht aber die Kopie kaputt, ist diese einen Tag später (mit delta) wieder aktuell.

Alles hat Vor- und Nachteile.
Member: kreuzberger
kreuzberger Mar 04, 2024 at 11:47:45 (UTC)
Goto Top
Schließlich und endlich macht man ja auch mehrere Generationen von Backups, und nicht bloss eine Synchronkopie.

Kreuzberger
Member: -WeBu-
-WeBu- Mar 04, 2024 at 12:00:27 (UTC)
Goto Top
Ob "man" im vorliegenden Fall auch Generationen erstellt, weiß ich nicht. Und gerade bei dem erwähnten "Bild"-Beispiel kann man sich an einer Hand abzählen, wann und ob man das rechtzeitig bemerken würde
Member: StefanKittel
StefanKittel Mar 04, 2024 at 12:16:53 (UTC)
Goto Top
Zitat von @kreuzberger:
Schließlich und endlich macht man ja auch mehrere Generationen von Backups, und nicht bloss eine Synchronkopie.
Ja, mache ich auch.
Aber nicht über Jahre hinweg.

Und das stelle ich mir auch bei vielen Kunden als Problem vor.
Irgendjemand löscht eine Datei vom Jahresabschluss und 3 Jahre später braucht man die wieder.
Die Datensicherung geht aber nur 1 Jahr zurück (viele KMUs eher 90 Tage).

Stefan
Member: viragomann
viragomann Mar 05, 2024 at 14:13:44 (UTC)
Goto Top
Servus,

ich hatte dasselbe Problem mit robocopy und habe mir mit der Option "/MAXAGE:1" geholfen. Erfasse also nur Files des letzten Tages. Das ist bei den zu synchronisierenden 600 GB in wenigen Sekunden erledigt.
Am Wochenende wird dann der Job ohne MAXAGE und mit PURGE gestartet. Das dauert dann aber auch nicht allzu lange.

Außerdem läuft die Synchronisation während der Produktivzeit ständig mit den Monitoring-Optionen "/MON:10 /MOT:28".
Erstere schaut auf die Anzahl an Änderungen und startet den Sync erst nach 10. Die 2. ist die Zeit in Minuten, nach welcher frühestens wieder synchronisiert wird.

Grüße
Member: StefanKittel
StefanKittel Mar 05, 2024 at 14:18:32 (UTC)
Goto Top
Danke viragomann
Das probiere ich gerne aus.