nexutron
Goto Top

Suche Tool zum Syncronisieren von NAS Datenlaufwerken

Hallo zusammen.

Das Daten syncronisieren von NAS-Datenlaufwerken dauert zu lange.
ca. 1TB Daten wo sich 3-10 GB täglich ändern die syncronisiert werden sollen.
Bin nun auf der Suche nach einer besseren Software, da die alte dafür im Durchschnitt 20 Stunden braucht.

Bisher nutzte ich viceversa pro. http://www.tgrmn.com/
Dieses Tool ist eindeutig zu langsam, was es fehleranfällig macht.
Einlesen von NAS-Datenlaufwerk 1 und vergleichen mit NAS-Datenlaufwerk 2 dauert mal eben 2-4 Stunden.
Das syncronisieren selbst auch noch mal 10-20 Stunden. (im lokalen GB-LAN) Die Differenzdaten wären so 3-10 GB pro Tag.
Bis alles durchgelaufen ist sind schnell mal 10-20 Stunden um. Bis dahin hat sich viel verändert face-smile

Der vergleich der Datensätze erfolgt etwas unglücklich.
Erst werden alle Daten von dem NAS 1 (ca. 600.000 Dateien) eingelesen. Dann die Daten auf dem NAS 2. Jetzt erst erfolgt der vergleich der Datensätze.
Nach den vielen Stunden beginnt erst die Kopieraktion von 10-20 Stunden
Ich denke mal das es so lahmt liegt daran das die Software (installiert auf einem Win 2K3 Server) erst die Daten File für File zu sich holt und dann auf das 2. NAS schreibt statt direkt.

Eigentlich ist die Datenmenge nicht so groß was pro Tag geändert oder erzeugt wird.
Daher sollte eine weitere Syncronisation (NAS-Datenlaufwerk 3 ) über eine VPN Leitung prinzipiel möglich sein.

Optimal wäre ein Tool welches:

- Ordnerweise vergleicht und schreibt /syncronisiert.
- Skalierbar in der Bandbreite ist (wegen der 2. Syncronisation über die Standleitung)
- Zeit/Datumsstempel nutzt zum vergleich.
- Dateipfade und Namen von mehr als 256 Zeichen unterstützt.

Nice to have

- wenn es die NTFS Rechtestruktur mit übertragen kann.
- Auf dem Sycronisiertem Laufwerk die geänderten in einen "Papierkorb" erst ablegt.

Hat jemand einen Vorschlag? Vorzugsweise ein Tool was wirklich mit den Mengen umgehen kann.
In der Theorie und den Produktbeschreibungen können es viele face-smile

Gruß Nex

Content-ID: 133795

Url: https://administrator.de/contentid/133795

Ausgedruckt am: 04.11.2024 um 22:11 Uhr

45877
45877 19.01.2010 um 12:53:26 Uhr
Goto Top
Hallo,

da linux wohl rsync?
Kim
Kim 19.01.2010 um 13:20:55 Uhr
Goto Top
Wenn Ihr einen Windows Server habt, könnt ihr ein DFS einrichten, da habt ihr Bandbreitenmanagement und es repliziert in beide Richtungen!

Microsoft Distributed File System

Gruß
Kim
ErdNageL
ErdNageL 19.01.2010 um 13:38:35 Uhr
Goto Top
Ich verwende ROBOCOPY für diesen Zweck und bin damit sehr zufrieden.

ErdNageL
nexutron
nexutron 19.01.2010 um 14:07:17 Uhr
Goto Top
Hallo,

danke erst mal für die raschen Antworten.

Der Hauptspeicher ist ein NAS wo als OS Debian läuft. Im Gerät befindet sich ein USB Modul, welches den NAS Dienst bereit stellt (Open-E) http://www.open-e.com/
Von daher lass ich mal die Finger von dem System face-smile Nicht weil ein Linux darauf läuft, sondern weil das Linux nur zum Booten und unterstützen des Open-E Software genutzt wird.

Das 2. NAS ist ein im lokalen Netzwerk stehendes System von Buffalo (Schlichtes Gerät, 2TB kappazität, Weboberfläche mit der option das ADS einzulesen, und ein GigaBit LAN anschluss)

Das 3. NAS steht in dem anderen Standort als I-SCSI eingebundes Gerät an dem lokalen Server.
Es wäre aber auch ein andes Gerät an dem Standort für die Syncronisation nutzbar (wie NAS 2)

Ach ja, Windows Server (alle Win 2K3) haben wir,

Mit dem DFS habe ich bisher nichts gemacht.
Geht das auch mit Externen Speichern / Netzfreigaben wie dem NAS?

Kopiert jemand z.B. 5 G-Byte Daten von seinem Laptop an dem Standort auf den Speicher
Ist dann die Leitung tot ?

Robocopy wäre etwas aufwendig um alles zu konfigurieren (was wohin mit den rechten Änderungen und der Berücksichtigung der Bandbreite)
Oder täusche ich mich da?

Gruß Nex
ErdNageL
ErdNageL 19.01.2010 um 14:47:16 Uhr
Goto Top
Hallo Nex,

ich finde nicht das Robocopy zu aufwendig ist.
Allerdings, da hast du Recht, muss man sich erst einmal in das Thema einlesen und ausführliche Test durchführen
bevor man sich an das Produktivsystem trauen sollte.face-wink

Robocopy ist extrem schnell und es stehen viele Schalter zur Verfügung um Deine Wünsche umzusetzen.
Ich setze Robocopy wegen seiner hohen Geschwindigkeit und seiner Stabilität ein. Kostenlos ist es natürlich auch.face-wink

Mit Buffalo Hardware habe ich im Firmenkundenbereich keine Erfahrung.

Tschö
ErdNageL
Arch-Stanton
Arch-Stanton 19.01.2010 um 14:55:54 Uhr
Goto Top
open-e unterstützt doch rsync, wo ist nun das Problem? Du synchronisierst doch wohl nicht über einen per Netzwerk angebundenen Windowssrechner?!? Wenn ja, dann nicht gut. Lies Dir mal die open-e Dokumentation durch.

Gruß, Arch Stanton
nexutron
nexutron 19.01.2010 um 16:14:29 Uhr
Goto Top
Hallo Arch

Open-E lässt zu das man mit rsync zugreifen kann. Mehr nicht.
Eigene Spiegelung von Open-E gibt es da nur, wenn man 2 Open-E Server hat.

Ja ich nutze Windowsrechner ^^
Es wäre etwas über das Ziel hinaus wenn man nur für eine Spiegelung einen extra Server / Rechner mit Linux bereitstellen will / müsste.

Windows kann das ja auch face-smile Nur eine Frage der Software.
Meine Symantec Backup Software auf einem Windows Server zieht ja die Daten 20X schnelle wie mein Sync. Tool.
Daher gilt es das Sync Tool (oder Verfahren) zu wechseln.

Gruß Nex
45877
45877 19.01.2010 um 16:32:52 Uhr
Goto Top
Hallo,

wenn auf der Kste debian läuft, dann läuft doch auch rsync?

und wenn dir das nicht einfach genug ist, dann nimm eins davon

http://www.debianhelp.co.uk/rsyncweb.htm
nexutron
nexutron 19.01.2010 um 17:09:39 Uhr
Goto Top
Moin

Hatte ich oben schon beschrieben.
liegt an Open-E das ich da nicht rumfingere.
Wäre es eine einache Freigabe auf einem Linux Fileserver wäre ich dabei face-smile

Gruß Nex
Arch-Stanton
Arch-Stanton 20.01.2010 um 11:00:56 Uhr
Goto Top
wenn Du über einen dritten Rechner synchronisierst, müssen die Daten immer über diesen Knecht kopiert werden, also doppelt und dreifach.

Gruß, Arch Stanton
nexutron
nexutron 20.01.2010 um 12:59:57 Uhr
Goto Top
Das ist klar.

Z.B. Die Symantec Backup Exec Software schafft es ja auch mit einer akzeptablen Geschwindigkeit. 60MB /Sec (WEnn es über den 3. geht)
Das Viceversa pro barauch 20 X so lange. (3MB /sec)

Optimal wäre .... schön
Es müssen aber 2-3 NAS gespiegelt werden und die aktuelle Software ist ungünstig.

Das mit dem DFS habe ich mir mal angesehen. im Prinziep wäre das schon die "Lösung"
NMur konnte ich da nichtg herrausfinden ob man eine NAS dafür nutzen kann. Oder ob es nur LAufwerken in den Servern geht.

Gruß Nex
Schnuffo
Schnuffo 30.09.2010 um 08:21:20 Uhr
Goto Top
Hi!
Die Bremse liegt im System selbst nicht unbedingt an der Software - mit Buffalo hast du nicht viel gewonnen, es besitzt zwar ein Gigabitanschluss nur ist die Hardware selbst dafür zu klein ausgelegt. Die Transferraten sind nur mäßig.
Wir haben Buffalo aus gleichem Grund rausgeschmissen und sind auf QNAP umgestiegen.

Schau mal bei Google mit den Begriffen "Buffalo langsam" und du wirst überschüttet mit Beiträgen.

Gruß!

Chris
nexutron
nexutron 30.09.2010 um 11:34:43 Uhr
Goto Top
Moin Chris,

Die Buffalos (die Modelle die ich einsetze) sind nicht zu langsam. Klar ist Buffallo günstig, aber als Ablage völlig ausreichend.
Das große Kopierproblem bzw. der geringe Durchsatz habe ich auch zwischen 2 Dell Pro Liant oder den HP Server(n)
Die Software benötigt schon Stunden lokal zum prüfen / erfassen was syncronisiert werden soll. Daher sind die Büffelplatten hier mal unschuldig face-smile

Gruß Nex