16
Tool zum synchronisieren von Daten über das Internet gesucht (Client - Server)
Hallo,
ich suche ein Tool um größere Datenbestände über das Internet zu synchronisieren zu können.
Auf beiden Seiten läuft ein Windows Server mit ADSL und fester IP.
Die Datenmenge beträgt ca. 8 GB mit 300.000 Dateiein.
Dabei ändern sich aber nur ca. 50 Dateiein mit 5 MB (die gepackt 500KB groß sind).
Ich habe schon verschiedenes über FTP und Co probiert, aber allein der Ableich dauert dort Stunden bis Tage.
RSync und Co sollen nicht zum Einsatz kommen (nicht meine Entscheidung).
Das ganze darf auch was kosten.
Eigentlich müßte das Programm ja "nur"
- auf beiden Servern eine Liste erstellen
- auf dem Remote diese Liste komprimieren
- die Listen vergleich
- die geänderten Dateien komprimieren, übertragen und entpacken
Ich habe aber gar nichts in der Form im Internet gefunden.
Ich nichts im professionellen Bereich.
Ist das ne Marktlücke oder übersehe ich da was.
Für mich Interessehalber: könnte rsync das (vor allem das mit dem komprimieren?)
Danke
Stefan
ich suche ein Tool um größere Datenbestände über das Internet zu synchronisieren zu können.
Auf beiden Seiten läuft ein Windows Server mit ADSL und fester IP.
Die Datenmenge beträgt ca. 8 GB mit 300.000 Dateiein.
Dabei ändern sich aber nur ca. 50 Dateiein mit 5 MB (die gepackt 500KB groß sind).
Ich habe schon verschiedenes über FTP und Co probiert, aber allein der Ableich dauert dort Stunden bis Tage.
RSync und Co sollen nicht zum Einsatz kommen (nicht meine Entscheidung).
Das ganze darf auch was kosten.
Eigentlich müßte das Programm ja "nur"
- auf beiden Servern eine Liste erstellen
- auf dem Remote diese Liste komprimieren
- die Listen vergleich
- die geänderten Dateien komprimieren, übertragen und entpacken
Ich habe aber gar nichts in der Form im Internet gefunden.
Ich nichts im professionellen Bereich.
Ist das ne Marktlücke oder übersehe ich da was.
Für mich Interessehalber: könnte rsync das (vor allem das mit dem komprimieren?)
Danke
Stefan
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 102923
Url: https://administrator.de/contentid/102923
Printed on: April 23, 2024 at 12:04 o'clock
16 Comments
Latest comment
rsync macht das gut, aber es komprimiert m.W. nicht.
Hallo,
schon mal über Terminalserver/Citrix nachgedacht?
schon mal über Terminalserver/Citrix nachgedacht?
Windows Server können sich mit dem DFS von Haus aus synchronisieren, wenn Sie in einer Domäne sind.
Dann solltest du aber ein Site-to-Site-VPN benutzen.
Grüße
Max
Dann solltest du aber ein Site-to-Site-VPN benutzen.
Grüße
Max
Ja, funktioniert in diesem Fall aber nicht da die Software nicht TS fähig ist (NEXT sei dank)
Zitat von @dog:
Windows Server können sich mit dem DFS von Haus aus
synchronisieren, wenn Sie in einer Domäne sind.
Dann solltest du aber ein Site-to-Site-VPN benutzen.
DFS ist leider kaum schneller als ein FTP SyncWindows Server können sich mit dem DFS von Haus aus
synchronisieren, wenn Sie in einer Domäne sind.
Dann solltest du aber ein Site-to-Site-VPN benutzen.
Hallo,
hab eben mal geschaut, selbst robocopy kann nicht komprimieren.
Aber bei 5 MB Änderungsvolumen am Tag (?) brauchst Du doch keine Komprimierung, das sollte doch auch über ADSL gehen.
Oder sollen wir das wirklich so verstehen, dass Du erstmal die ganzen 8 GB über die Leitung pusten willst?
hab eben mal geschaut, selbst robocopy kann nicht komprimieren.
Aber bei 5 MB Änderungsvolumen am Tag (?) brauchst Du doch keine Komprimierung, das sollte doch auch über ADSL gehen.
Oder sollen wir das wirklich so verstehen, dass Du erstmal die ganzen 8 GB über die Leitung pusten willst?
Zitat von @StefanKittel:
> Zitat von @n.o.b.o.d.y:
> schon mal über Terminalserver/Citrix nachgedacht?
Ja, funktioniert in diesem Fall aber nicht da die Software nicht TS
fähig ist (NEXT sei dank)
> Zitat von @n.o.b.o.d.y:
> schon mal über Terminalserver/Citrix nachgedacht?
Ja, funktioniert in diesem Fall aber nicht da die Software nicht TS
fähig ist (NEXT sei dank)
Dann wird es schwierig bis unmöglich. Wir verwenden i.d.R. auch TS wo immer es geht, weil durch das RDP die Datenmenge, die auf Reisen geht, sehr gering ist (manchmal muss man MS auch loben, das haben sie gut hingekriegt).
Früher gab es Modeme, die haben automatisch komprimiert. Vielleicht gibt es ja so was auch für Netzwerkkarten.
Zitat von @n.o.b.o.d.y:
hab eben mal geschaut, selbst robocopy kann nicht komprimieren.
Aber bei 5 MB Änderungsvolumen am Tag (?) brauchst Du doch keine
Komprimierung, das sollte doch auch über ADSL gehen.
Oder sollen wir das wirklich so verstehen, dass Du erstmal die ganzen
8 GB über die Leitung pusten willst?
Das Problem ist nicht das übertragen. Sonder der Abgleich.hab eben mal geschaut, selbst robocopy kann nicht komprimieren.
Aber bei 5 MB Änderungsvolumen am Tag (?) brauchst Du doch keine
Komprimierung, das sollte doch auch über ADSL gehen.
Oder sollen wir das wirklich so verstehen, dass Du erstmal die ganzen
8 GB über die Leitung pusten willst?
Per FTP dauert das (wenn die Verbindung nicht wieder mal abreist) ca 8 Stunden!
Die Menge der Dateien machts
..wie bereits erwähnt: rsync sollte das machen oder das SyncToy von MS selber:
http://technet.microsoft.com/de-de/magazine/cc162483.aspx
http://technet.microsoft.com/de-de/magazine/cc162483.aspx
Hallo,
für den initialen Datenabgleich kann man die 8 GB doch sicher offline kopieren, oder?
Denn mit dem geringen upstream vom ADSL....
google ist dein "freund":
http://truemirror.schlichtherle.de/en/
für den initialen Datenabgleich kann man die 8 GB doch sicher offline kopieren, oder?
Denn mit dem geringen upstream vom ADSL....
google ist dein "freund":
http://truemirror.schlichtherle.de/en/
Zitat von @n.o.b.o.d.y:
für den initialen Datenabgleich kann man die 8 GB doch sicher
offline kopieren, oder?
Denn mit dem geringen upstream vom ADSL....
klar...für den initialen Datenabgleich kann man die 8 GB doch sicher
offline kopieren, oder?
Denn mit dem geringen upstream vom ADSL....
setzt ein Netzwerklaufwerk vorraus -> abgleich wird wieder schweinelangsam sein (so wie netzwerklaufwerke mit vpn)
Zitat von @aqui:
..wie bereits erwähnt: rsync sollte das machen oder das
SyncToy von MS selber:
http://technet.microsoft.com/de-de/magazine/cc162483.aspx
..wie bereits erwähnt: rsync sollte das machen oder das
SyncToy von MS selber:
http://technet.microsoft.com/de-de/magazine/cc162483.aspx
SyncToy hat mir schon zweimal beide Datenbestände gelöscht, wenn die Netzverbindung instabil war. Ich verwende das nur noch bei stabiler Kabelverbindung. Ich denke auch, dass SyncToy irgendwie bei rsync abgekupfert ist.
Ich denke auch, dass SyncToy irgendwie bei
rsync abgekupfert ist.
rsync abgekupfert ist.
m.W. nach ist das schlicht eine GUI von MS für robocopy.
Hallo,
ich halte mal fest, dass es anscheinend für das von mir beschriebene Szenarion kein Programm gibt. Weder Freeware noch Kommerziell.
Selbst rsync braucht ewig für den Abgleich. Es müssen ja nur wenige MB kopiert werden. Aber welche von den 300.000 Dateien...
Ich habe mal ein working Sample erstellt.
Das braucht für diesen Abgleich ca. 17 Sekunden und ist beim kopieren sogar schneller als rsync.
Wenn ich mal Zeit habe überlege ich das fertig zu programmieren.
Stefan
ich halte mal fest, dass es anscheinend für das von mir beschriebene Szenarion kein Programm gibt. Weder Freeware noch Kommerziell.
Selbst rsync braucht ewig für den Abgleich. Es müssen ja nur wenige MB kopiert werden. Aber welche von den 300.000 Dateien...
Ich habe mal ein working Sample erstellt.
Das braucht für diesen Abgleich ca. 17 Sekunden und ist beim kopieren sogar schneller als rsync.
Wenn ich mal Zeit habe überlege ich das fertig zu programmieren.
Stefan
Zitat von @StefanKittel:
Hallo,
ich halte mal fest, dass es anscheinend für das von mir
beschriebene Szenarion kein Programm gibt. Weder Freeware noch
Kommerziell.
Selbst rsync braucht ewig für den Abgleich. Es müssen ja
nur wenige MB kopiert werden. Aber welche von den 300.000 Dateien...
Hallo,
ich halte mal fest, dass es anscheinend für das von mir
beschriebene Szenarion kein Programm gibt. Weder Freeware noch
Kommerziell.
Selbst rsync braucht ewig für den Abgleich. Es müssen ja
nur wenige MB kopiert werden. Aber welche von den 300.000 Dateien...
Wenn erst mal der initiale Vollsync gelaufen ist macht Rsync das extrem schnell, jedenfalls bei mir. Was dauert ist die erstmalige 1:1 Kopie. Die würde ich w.o. beschrieben auch nicht mit Rsync machen sondern physisch, wenn möglich.
Ich habe mal ein working Sample erstellt.
Das braucht für diesen Abgleich ca. 17 Sekunden und ist beim
kopieren sogar schneller als rsync.
Schön, aber als IT-Vernatwortlicher würde ich nur ausnahmsweise eine Bastellösung nehmen, weil ich nicht weiss, wer das für wie lange warten wird.
Zitat von @sysad:
Wenn erst mal der initiale Vollsync gelaufen ist macht Rsync das
extrem schnell, jedenfalls bei mir.
Bei welcher Datenmenge (primär Anzahl der Dateien) und welcher Verbindung?Wenn erst mal der initiale Vollsync gelaufen ist macht Rsync das
extrem schnell, jedenfalls bei mir.
Bei mir sind es ca. 300.000 und auf jeder Seite einen DSL 16.000 mit Fastpath
Zitat von @sysad:
Was dauert ist die erstmalige 1:1
Kopie. Die würde ich w.o. beschrieben auch nicht mit Rsync machen
sondern physisch, wenn möglich.
Ja. Das lasse ich bei meiner Betrachtung auch aussen vorWas dauert ist die erstmalige 1:1
Kopie. Die würde ich w.o. beschrieben auch nicht mit Rsync machen
sondern physisch, wenn möglich.
Zitat von @sysad:
Schön, aber als IT-Vernatwortlicher würde ich nur
ausnahmsweise eine Bastellösung nehmen, weil ich nicht weiss, wer
das für wie lange warten wird.
Nee... das war nur für mich zum testen was technisch möglich ist.Schön, aber als IT-Vernatwortlicher würde ich nur
ausnahmsweise eine Bastellösung nehmen, weil ich nicht weiss, wer
das für wie lange warten wird.
