Suche Tool zum Syncronisieren von NAS Datenlaufwerken
Hallo zusammen.
Das Daten syncronisieren von NAS-Datenlaufwerken dauert zu lange.
ca. 1TB Daten wo sich 3-10 GB täglich ändern die syncronisiert werden sollen.
Bin nun auf der Suche nach einer besseren Software, da die alte dafür im Durchschnitt 20 Stunden braucht.
Bisher nutzte ich viceversa pro. http://www.tgrmn.com/
Dieses Tool ist eindeutig zu langsam, was es fehleranfällig macht.
Einlesen von NAS-Datenlaufwerk 1 und vergleichen mit NAS-Datenlaufwerk 2 dauert mal eben 2-4 Stunden.
Das syncronisieren selbst auch noch mal 10-20 Stunden. (im lokalen GB-LAN) Die Differenzdaten wären so 3-10 GB pro Tag.
Bis alles durchgelaufen ist sind schnell mal 10-20 Stunden um. Bis dahin hat sich viel verändert
Der vergleich der Datensätze erfolgt etwas unglücklich.
Erst werden alle Daten von dem NAS 1 (ca. 600.000 Dateien) eingelesen. Dann die Daten auf dem NAS 2. Jetzt erst erfolgt der vergleich der Datensätze.
Nach den vielen Stunden beginnt erst die Kopieraktion von 10-20 Stunden
Ich denke mal das es so lahmt liegt daran das die Software (installiert auf einem Win 2K3 Server) erst die Daten File für File zu sich holt und dann auf das 2. NAS schreibt statt direkt.
Eigentlich ist die Datenmenge nicht so groß was pro Tag geändert oder erzeugt wird.
Daher sollte eine weitere Syncronisation (NAS-Datenlaufwerk 3 ) über eine VPN Leitung prinzipiel möglich sein.
Optimal wäre ein Tool welches:
- Ordnerweise vergleicht und schreibt /syncronisiert.
- Skalierbar in der Bandbreite ist (wegen der 2. Syncronisation über die Standleitung)
- Zeit/Datumsstempel nutzt zum vergleich.
- Dateipfade und Namen von mehr als 256 Zeichen unterstützt.
Nice to have
- wenn es die NTFS Rechtestruktur mit übertragen kann.
- Auf dem Sycronisiertem Laufwerk die geänderten in einen "Papierkorb" erst ablegt.
Hat jemand einen Vorschlag? Vorzugsweise ein Tool was wirklich mit den Mengen umgehen kann.
In der Theorie und den Produktbeschreibungen können es viele
Gruß Nex
Das Daten syncronisieren von NAS-Datenlaufwerken dauert zu lange.
ca. 1TB Daten wo sich 3-10 GB täglich ändern die syncronisiert werden sollen.
Bin nun auf der Suche nach einer besseren Software, da die alte dafür im Durchschnitt 20 Stunden braucht.
Bisher nutzte ich viceversa pro. http://www.tgrmn.com/
Dieses Tool ist eindeutig zu langsam, was es fehleranfällig macht.
Einlesen von NAS-Datenlaufwerk 1 und vergleichen mit NAS-Datenlaufwerk 2 dauert mal eben 2-4 Stunden.
Das syncronisieren selbst auch noch mal 10-20 Stunden. (im lokalen GB-LAN) Die Differenzdaten wären so 3-10 GB pro Tag.
Bis alles durchgelaufen ist sind schnell mal 10-20 Stunden um. Bis dahin hat sich viel verändert
Der vergleich der Datensätze erfolgt etwas unglücklich.
Erst werden alle Daten von dem NAS 1 (ca. 600.000 Dateien) eingelesen. Dann die Daten auf dem NAS 2. Jetzt erst erfolgt der vergleich der Datensätze.
Nach den vielen Stunden beginnt erst die Kopieraktion von 10-20 Stunden
Ich denke mal das es so lahmt liegt daran das die Software (installiert auf einem Win 2K3 Server) erst die Daten File für File zu sich holt und dann auf das 2. NAS schreibt statt direkt.
Eigentlich ist die Datenmenge nicht so groß was pro Tag geändert oder erzeugt wird.
Daher sollte eine weitere Syncronisation (NAS-Datenlaufwerk 3 ) über eine VPN Leitung prinzipiel möglich sein.
Optimal wäre ein Tool welches:
- Ordnerweise vergleicht und schreibt /syncronisiert.
- Skalierbar in der Bandbreite ist (wegen der 2. Syncronisation über die Standleitung)
- Zeit/Datumsstempel nutzt zum vergleich.
- Dateipfade und Namen von mehr als 256 Zeichen unterstützt.
Nice to have
- wenn es die NTFS Rechtestruktur mit übertragen kann.
- Auf dem Sycronisiertem Laufwerk die geänderten in einen "Papierkorb" erst ablegt.
Hat jemand einen Vorschlag? Vorzugsweise ein Tool was wirklich mit den Mengen umgehen kann.
In der Theorie und den Produktbeschreibungen können es viele
Gruß Nex
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 133795
Url: https://administrator.de/contentid/133795
Ausgedruckt am: 22.11.2024 um 11:11 Uhr
13 Kommentare
Neuester Kommentar
Hallo,
da linux wohl rsync?
da linux wohl rsync?
Wenn Ihr einen Windows Server habt, könnt ihr ein DFS einrichten, da habt ihr Bandbreitenmanagement und es repliziert in beide Richtungen!
Microsoft Distributed File System
Gruß
Kim
Microsoft Distributed File System
Gruß
Kim
Hallo Nex,
ich finde nicht das Robocopy zu aufwendig ist.
Allerdings, da hast du Recht, muss man sich erst einmal in das Thema einlesen und ausführliche Test durchführen
bevor man sich an das Produktivsystem trauen sollte.
Robocopy ist extrem schnell und es stehen viele Schalter zur Verfügung um Deine Wünsche umzusetzen.
Ich setze Robocopy wegen seiner hohen Geschwindigkeit und seiner Stabilität ein. Kostenlos ist es natürlich auch.
Mit Buffalo Hardware habe ich im Firmenkundenbereich keine Erfahrung.
Tschö
ErdNageL
ich finde nicht das Robocopy zu aufwendig ist.
Allerdings, da hast du Recht, muss man sich erst einmal in das Thema einlesen und ausführliche Test durchführen
bevor man sich an das Produktivsystem trauen sollte.
Robocopy ist extrem schnell und es stehen viele Schalter zur Verfügung um Deine Wünsche umzusetzen.
Ich setze Robocopy wegen seiner hohen Geschwindigkeit und seiner Stabilität ein. Kostenlos ist es natürlich auch.
Mit Buffalo Hardware habe ich im Firmenkundenbereich keine Erfahrung.
Tschö
ErdNageL
Hallo,
wenn auf der Kste debian läuft, dann läuft doch auch rsync?
und wenn dir das nicht einfach genug ist, dann nimm eins davon
http://www.debianhelp.co.uk/rsyncweb.htm
wenn auf der Kste debian läuft, dann läuft doch auch rsync?
und wenn dir das nicht einfach genug ist, dann nimm eins davon
http://www.debianhelp.co.uk/rsyncweb.htm
Hi!
Die Bremse liegt im System selbst nicht unbedingt an der Software - mit Buffalo hast du nicht viel gewonnen, es besitzt zwar ein Gigabitanschluss nur ist die Hardware selbst dafür zu klein ausgelegt. Die Transferraten sind nur mäßig.
Wir haben Buffalo aus gleichem Grund rausgeschmissen und sind auf QNAP umgestiegen.
Schau mal bei Google mit den Begriffen "Buffalo langsam" und du wirst überschüttet mit Beiträgen.
Gruß!
Chris
Die Bremse liegt im System selbst nicht unbedingt an der Software - mit Buffalo hast du nicht viel gewonnen, es besitzt zwar ein Gigabitanschluss nur ist die Hardware selbst dafür zu klein ausgelegt. Die Transferraten sind nur mäßig.
Wir haben Buffalo aus gleichem Grund rausgeschmissen und sind auf QNAP umgestiegen.
Schau mal bei Google mit den Begriffen "Buffalo langsam" und du wirst überschüttet mit Beiträgen.
Gruß!
Chris