21
Backup über WAN - sinnvolle Lösung zur Synchronisation von großen Datenmengen?
Hallo zusammen,
folgende Situation (privat, kein Produktivsystem o.Ä.):
Standort A: ESXi Server, mehrere Win 2008 Installationen. Daten liegen auf einem NDAS, RAID1, ~ 1TB, Dateien haben sehr unterschiedliche Größen (von Word-Dokumenten bis Archiven mit einigen GB ist alles dabei)
Standort B: Ein noch anzuschaffendes, kleines, kostengünstiges NAS-System.
Zwischen den beiden Standorten existiert eine VPN Verbindung, Standort A verfügt über einen DSL16k-Anschluss, Standort B ist mit VDSL25 angebunden.
Die Grundidee war, über Nacht die veränderten Dateien von A nach B zu spiegeln (im Grunde würde diese Richtung reichen, in beide Richtungen wäre eher nice-to-have).
Klassische Synchronisations-Tools würden ja nun hingehen und jedes mal alle Ordner auch in Standort B durchgehen - eher ungünstig über WAN.
Gibt es andere Lösungen, die schauen, welche Dateien sich in A geändert haben und dann diese Änderungen stumpf nach B übertragen?
Was haltet ihr für praktikabel?
Den ersten Datenabgleich kann ich auch "Offline" per externer Fesplatte durchführen.
Bin für Ideen dankbar.
folgende Situation (privat, kein Produktivsystem o.Ä.):
Standort A: ESXi Server, mehrere Win 2008 Installationen. Daten liegen auf einem NDAS, RAID1, ~ 1TB, Dateien haben sehr unterschiedliche Größen (von Word-Dokumenten bis Archiven mit einigen GB ist alles dabei)
Standort B: Ein noch anzuschaffendes, kleines, kostengünstiges NAS-System.
Zwischen den beiden Standorten existiert eine VPN Verbindung, Standort A verfügt über einen DSL16k-Anschluss, Standort B ist mit VDSL25 angebunden.
Die Grundidee war, über Nacht die veränderten Dateien von A nach B zu spiegeln (im Grunde würde diese Richtung reichen, in beide Richtungen wäre eher nice-to-have).
Klassische Synchronisations-Tools würden ja nun hingehen und jedes mal alle Ordner auch in Standort B durchgehen - eher ungünstig über WAN.
Gibt es andere Lösungen, die schauen, welche Dateien sich in A geändert haben und dann diese Änderungen stumpf nach B übertragen?
Was haltet ihr für praktikabel?
Den ersten Datenabgleich kann ich auch "Offline" per externer Fesplatte durchführen.
Bin für Ideen dankbar.
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 134809
Url: https://administrator.de/forum/backup-ueber-wan-sinnvolle-loesung-zur-synchronisation-von-grossen-datenmengen-134809.html
Ausgedruckt am: 22.12.2024 um 17:12 Uhr
21 Kommentare
Neuester Kommentar
Hi
ich habe sowas im Einsatz bei einer Firma bei der am Backup alles gespart wurde. Ich nutze rsync, da es nur veränderte Daten überträgt (dumm nur bei großen DBs wie Exchange oder SQL, da hilft nur eine Deduplizierung) da es kostenlos verfügbar ist und Archiv Snapshots (rsync) damit machbar sind und uns der Online Speicher nichts kostet. Wichtig dabei ist klar der Upliunk von deinem Standort A. Da uns (ist ein Internetprovider) der Uplink nichts kostet gehts (=2*34M), aber wenn du bei dem 16M nur 1M uplink hast (=110kB/s) dann nützt die zweite Seite nichts und ein 10GB Pro Tag dauert dann auch mal ein wenig (=85k s=1d)... Modernere rsync Versionen nutzen mittlerweile auch die VSS vom Windows wodurch dies entspannter ist; der Uplink ist aber Dreh- und Angelpunkt.
Gruß
Sam
ich habe sowas im Einsatz bei einer Firma bei der am Backup alles gespart wurde. Ich nutze rsync, da es nur veränderte Daten überträgt (dumm nur bei großen DBs wie Exchange oder SQL, da hilft nur eine Deduplizierung) da es kostenlos verfügbar ist und Archiv Snapshots (rsync) damit machbar sind und uns der Online Speicher nichts kostet. Wichtig dabei ist klar der Upliunk von deinem Standort A. Da uns (ist ein Internetprovider) der Uplink nichts kostet gehts (=2*34M), aber wenn du bei dem 16M nur 1M uplink hast (=110kB/s) dann nützt die zweite Seite nichts und ein 10GB Pro Tag dauert dann auch mal ein wenig (=85k s=1d)... Modernere rsync Versionen nutzen mittlerweile auch die VSS vom Windows wodurch dies entspannter ist; der Uplink ist aber Dreh- und Angelpunkt.
Gruß
Sam
Hey. Danke für die schnelle Reaktion.
Klar, der DSL Anschluss gibt in Upload-Richtung nicht viel her. Ich hätte vielleicht dazu schrieben sollen, dass selten mehr als 200MB / Tag an Übertragung anfallen würde. Also sehr überschaubar alles!
Zum Thema rsync werde ich mal ein bisschen googeln.
Problem ist aber, dass es sich bei dem NDAS an Standort A um zwei solche Geräte geht: http://www.dawicontrol.com/ndas/dc-8310_buero.shtml
Soll heißen, der Zugriff erfolgt (im Moment) direkt auf das NDAS ohne Umweg über einen der Server. Da würde also VSS etc nicht viel bringen.
Wollte hier auch keinen riesen Umstrukturierungsaufwand betreiben - wie gesagt, alles privat. Nur hätte ich gerne ein Backup außerhalb des Gebäudes - man weiß ja nie.
Klar, der DSL Anschluss gibt in Upload-Richtung nicht viel her. Ich hätte vielleicht dazu schrieben sollen, dass selten mehr als 200MB / Tag an Übertragung anfallen würde. Also sehr überschaubar alles!
Zum Thema rsync werde ich mal ein bisschen googeln.
Problem ist aber, dass es sich bei dem NDAS an Standort A um zwei solche Geräte geht: http://www.dawicontrol.com/ndas/dc-8310_buero.shtml
Soll heißen, der Zugriff erfolgt (im Moment) direkt auf das NDAS ohne Umweg über einen der Server. Da würde also VSS etc nicht viel bringen.
Wollte hier auch keinen riesen Umstrukturierungsaufwand betreiben - wie gesagt, alles privat. Nur hätte ich gerne ein Backup außerhalb des Gebäudes - man weiß ja nie.
Hi Osterhase,
Du kannst hierfür auch kostenlose Tools von Microsoft nutzen:
Robocopy
SyncToy (mit GUI)
Dann kannst Du Dir auch noch PowerFolder ansehen. http://www.powerfolder.com/
Gruß,
Volker
Du kannst hierfür auch kostenlose Tools von Microsoft nutzen:
Robocopy
SyncToy (mit GUI)
Dann kannst Du Dir auch noch PowerFolder ansehen. http://www.powerfolder.com/
Gruß,
Volker
Hi
bei 200MB/d soltle das super damit gehen. Die NDAS werden typisch (FC/iSCSI ist eigentlich auch nichts anderes) über treiber wie eine lokale HD eingebunden; das passt da auch. Gegenüber den üblichen 1:1 Kopien mit Incrementen unterstützt rsync halt Snapshots, also diue Möglichkeit nur mit den Unterschieden einen beliebigen Stand wieder herstellen zu können mit einem einfachen "Klick". Praktisch kann das aber auch nahezu jedes Backup Programm (da ist es aber wesentlich mehr aufwand einen beliebigen Stand zurück zu ziehen). Wir nutzen eben rsync über SSL.
Gruß
Sam
bei 200MB/d soltle das super damit gehen. Die NDAS werden typisch (FC/iSCSI ist eigentlich auch nichts anderes) über treiber wie eine lokale HD eingebunden; das passt da auch. Gegenüber den üblichen 1:1 Kopien mit Incrementen unterstützt rsync halt Snapshots, also diue Möglichkeit nur mit den Unterschieden einen beliebigen Stand wieder herstellen zu können mit einem einfachen "Klick". Praktisch kann das aber auch nahezu jedes Backup Programm (da ist es aber wesentlich mehr aufwand einen beliebigen Stand zurück zu ziehen). Wir nutzen eben rsync über SSL.
Gruß
Sam
Moin,
ich verwende SyncBack für sowas. Hat den Vorteil das es auch direkt ne Backup und ne Restore-Funktion kennt. Ebenfalls kannst du notfalls auf nen FTP-Server sichern.
Rsync nutze ich nur unter Linux in Verbindung mit SSH. Unter Windows war mir das bisher noch zuviel Tipperei für Dinge die ich nicht benötige ;)
ich verwende SyncBack für sowas. Hat den Vorteil das es auch direkt ne Backup und ne Restore-Funktion kennt. Ebenfalls kannst du notfalls auf nen FTP-Server sichern.
Rsync nutze ich nur unter Linux in Verbindung mit SSH. Unter Windows war mir das bisher noch zuviel Tipperei für Dinge die ich nicht benötige ;)
Okay, danke für die Antworten.
Soweit würden die o.g. Programme ja meine Anforderungen erfüllen.
Frage: Elegant wäre es natürlich, wenn man vermeiden würde, dass das RAID1 in Standort A jede Nacht einmal komplett nach Änderungen durchforstet werden müsste (Festplatte schonen).
Ansatz wäre: Auf die Festplatten wird nicht mehr direkt zugegriffen, sondern sie werden nur noch an einem Server angebunden, der Zugriff erfolgt hierüber. Er könnte ja prinzipiell mitloggen, welche Dateien angefasst wurden und entsprechende Aktualisierungen planen.
Wie Praxistauglich das dann ist, müsste man ausprobieren (Lese/Schreibperformance)
Gibts für die Idee "Festplatten ein bisschen schonen" auch Lösungen, oder gehört das eher in die Theorie-Schublade?
Soweit würden die o.g. Programme ja meine Anforderungen erfüllen.
Frage: Elegant wäre es natürlich, wenn man vermeiden würde, dass das RAID1 in Standort A jede Nacht einmal komplett nach Änderungen durchforstet werden müsste (Festplatte schonen).
Ansatz wäre: Auf die Festplatten wird nicht mehr direkt zugegriffen, sondern sie werden nur noch an einem Server angebunden, der Zugriff erfolgt hierüber. Er könnte ja prinzipiell mitloggen, welche Dateien angefasst wurden und entsprechende Aktualisierungen planen.
Wie Praxistauglich das dann ist, müsste man ausprobieren (Lese/Schreibperformance)
Gibts für die Idee "Festplatten ein bisschen schonen" auch Lösungen, oder gehört das eher in die Theorie-Schublade?
Das neue NAS N4200 von Thecus.
Spricht rsync zur Datensyncronisation und kann zum "Festplatten ein bisschen schonen" die Festplatten zu festen Zeiten schlafen legen und wieder aufwecken..oder auch das gesamte NAS. Ein Aufwecken "außer der Reihe" macht dann z.B. WoL. Das wäre dann die eierlegende Wollmilchsau für dich !
Spricht rsync zur Datensyncronisation und kann zum "Festplatten ein bisschen schonen" die Festplatten zu festen Zeiten schlafen legen und wieder aufwecken..oder auch das gesamte NAS. Ein Aufwecken "außer der Reihe" macht dann z.B. WoL. Das wäre dann die eierlegende Wollmilchsau für dich !
Hm das sprengt natürlich den Investitionsrahmen etwas, zumal ich an Standort A nicht so viel ändern wollte. Das läuft ja an für sich ganz gut. Da fahre ich ja günstiger, wenn ich die etwas stärkere Beanspruchung der Platten in Kauf nehme und - falls mal eine kaputt geht - diese einfach austausche. Dank RAID1 und externem Backup passiert meinen Daten ja nicht viel. Und ein paar Tage Ausfallzeit kann ich durchaus verkraften (wie gesagt, alles ne private Veranstaltung)
Hallo nochmal,
irgendwie werde ich mit dem SyncToy von MS nicht so richtig glücklich.
teste es gerade noch innerhalb des lokalen Netzwerks, aber selbst da dauert die "Echo"-Operation (also one-way Synchronisation) schon ewig...
Problem ist: SyncToy scannt auch auf dem Backup-Medium alle Verzeichnisse und vergleicht dann.
Für mich wäre besser, wenn sich die Backup-Software lokal jeweils die letzte Version von einer Datei merkt und dann, wenn ein neuer Backup-Job angestoßen wird, einfach die Quelle mit der lokalen Datenbank (vom letzten Backup-Job) abgleicht ("wurde die Quelldatei verändert?") und die dort festgestellten Änderungen dann auf das Backup-Ziel überträgt.
Ein derartiges Vorgehen konnte ich auf den Webseiten der o.g. Programme nicht finden. Oder habe ich etwas übersehen?
irgendwie werde ich mit dem SyncToy von MS nicht so richtig glücklich.
teste es gerade noch innerhalb des lokalen Netzwerks, aber selbst da dauert die "Echo"-Operation (also one-way Synchronisation) schon ewig...
Problem ist: SyncToy scannt auch auf dem Backup-Medium alle Verzeichnisse und vergleicht dann.
Für mich wäre besser, wenn sich die Backup-Software lokal jeweils die letzte Version von einer Datei merkt und dann, wenn ein neuer Backup-Job angestoßen wird, einfach die Quelle mit der lokalen Datenbank (vom letzten Backup-Job) abgleicht ("wurde die Quelldatei verändert?") und die dort festgestellten Änderungen dann auf das Backup-Ziel überträgt.
Ein derartiges Vorgehen konnte ich auf den Webseiten der o.g. Programme nicht finden. Oder habe ich etwas übersehen?
Backup Exec führt log dazu; welches Sync Toy meinst du (=Robocopy?); Für Remote habe ich Drive Snapshot bisher benutzt aber durch Exchange war die Tagesänderung größer als wir pro Tag durch bekommen (bis wir richtig =16MBit Upload hatten). PST Dateien sind genau so ein Fall; ein Bit geändert und 1.4GB übertragen. DatenDeplizierung ist da der Einstiegspunkt; da werden nur die geänderten Blöcke übertragen; ZFS beherrscht sowas auch geht aber nur für NAS Systeme
Gruß
Sam
Gruß
Sam
Ja, SyncToy scheint die GUI für Robocopy zu sein. Irgendwie ist das aber etwas buggy... bleibt nach ner Weile an einer Stelle stehen und bricht dann den Sync-Vorgang ab, Unknown error....
Werde mich da vielleicht doch mal mit den Parametern auf Kommandozeilen ebene auseinandersetzen.
Aber das löst mein Problem ja nicht, wenn ich das richtig sehe?
Die Datenstruktur besteht aus vielen kleineren Dateien (Word/Excel Dokumente, mal ein paar Fotos oder Audio-Dateien... was in einem Privathaushalt eben so anfällt)
Das von Dir genannte Problem ergibt sich hier also eher selten. Mir geht es ja nur um ein "räumliches Auslagern" der Daten, falls hier mal die Bude abbrennen sollte o.Ä.
Und bei einem Gesamtvolumen von >1TB einsortiert in unzählige Ordner und eben verteilt auf viele kleine Dateien ist der Lösungsweg, jedes mal über die DSL Leitung die Verzeichnisstruktur vom Backup-NAS zu durchlaufen, einfach nicht realisierbar.
Da Privat, sollte sich auch das Investitionsvolumen irgendwo in Grenzen halten..... Im Prinzip klingt doch die Problemstellung so banal. ;)
Werde mich da vielleicht doch mal mit den Parametern auf Kommandozeilen ebene auseinandersetzen.
Aber das löst mein Problem ja nicht, wenn ich das richtig sehe?
Die Datenstruktur besteht aus vielen kleineren Dateien (Word/Excel Dokumente, mal ein paar Fotos oder Audio-Dateien... was in einem Privathaushalt eben so anfällt)
Das von Dir genannte Problem ergibt sich hier also eher selten. Mir geht es ja nur um ein "räumliches Auslagern" der Daten, falls hier mal die Bude abbrennen sollte o.Ä.
Und bei einem Gesamtvolumen von >1TB einsortiert in unzählige Ordner und eben verteilt auf viele kleine Dateien ist der Lösungsweg, jedes mal über die DSL Leitung die Verzeichnisstruktur vom Backup-NAS zu durchlaufen, einfach nicht realisierbar.
Da Privat, sollte sich auch das Investitionsvolumen irgendwo in Grenzen halten..... Im Prinzip klingt doch die Problemstellung so banal. ;)
Hi
bei dir dürfte es mit Programmen wie rsync am besten gehen da die beiderseitig eine Protokoll führen was bereits da ist und was noch fehlt (Damit sparst du dir intelligente Programme wie BE). Dein Problem ist bisher ja gar nicht die Datenmenge oder der Up/Downlink sondern die hohe Latenzzeit in der die Anfrage (hast du schon) zum Sender unterwegs ist. Praktisch 200ms pro Anfrage ist da normal mit standard ADSL. Mit meinem benutzten Drivesnapshot wird beim beginn einmal das Inventory gezogen und dann differentiell hinzukopiert. Das ging war aber am Anfang auch sehr störend bis mal was passierte. Wie gesagt würde sich entweder rsync oder subversion eignen da diese Versionierungen beherschen. Beide sind genau für solche Fernwartungen gedacht (und freeware).
Gruß
Sam
bei dir dürfte es mit Programmen wie rsync am besten gehen da die beiderseitig eine Protokoll führen was bereits da ist und was noch fehlt (Damit sparst du dir intelligente Programme wie BE). Dein Problem ist bisher ja gar nicht die Datenmenge oder der Up/Downlink sondern die hohe Latenzzeit in der die Anfrage (hast du schon) zum Sender unterwegs ist. Praktisch 200ms pro Anfrage ist da normal mit standard ADSL. Mit meinem benutzten Drivesnapshot wird beim beginn einmal das Inventory gezogen und dann differentiell hinzukopiert. Das ging war aber am Anfang auch sehr störend bis mal was passierte. Wie gesagt würde sich entweder rsync oder subversion eignen da diese Versionierungen beherschen. Beide sind genau für solche Fernwartungen gedacht (und freeware).
Gruß
Sam
Vielen Dank für die Antwort.
Im Moment war für den Ziel-Standort (wo das Backup landen soll) nur ein ganz simples NAS gedacht, was nicht viel kann. Hier stehen auch keine Server o.Ä.
Am Quell-Standort habe ich bezgl. Server alle Möglichkeiten offen. Hatte gehofft da gibt es eine Möglichkeit, dass "problem" vollständig am Quellstandort abzuhandeln.
Zum Imaging: Acronis hätte ich auch da, aber da ist es ja auch so, dass beim differentiellen Backup das Grund-Image einmal geladen werden muss und dann prüft er, was sich seit dem geändert hat (oder? Geht das ohne laden des kompletten Ursprungs-Image?) Das Problem wird bei DriveSnapshot vermutlich ähnlich sein oder?
Dann wäre es also für mich am sinnvollsten das einfachste Rsync-sprechende NAS Gehäuse zu kaufen ...
(in welcher Preisklasse lande ich hier? braucht ja echt nichts besonderes sein...)
Im Moment war für den Ziel-Standort (wo das Backup landen soll) nur ein ganz simples NAS gedacht, was nicht viel kann. Hier stehen auch keine Server o.Ä.
Am Quell-Standort habe ich bezgl. Server alle Möglichkeiten offen. Hatte gehofft da gibt es eine Möglichkeit, dass "problem" vollständig am Quellstandort abzuhandeln.
Zum Imaging: Acronis hätte ich auch da, aber da ist es ja auch so, dass beim differentiellen Backup das Grund-Image einmal geladen werden muss und dann prüft er, was sich seit dem geändert hat (oder? Geht das ohne laden des kompletten Ursprungs-Image?) Das Problem wird bei DriveSnapshot vermutlich ähnlich sein oder?
Dann wäre es also für mich am sinnvollsten das einfachste Rsync-sprechende NAS Gehäuse zu kaufen ...
(in welcher Preisklasse lande ich hier? braucht ja echt nichts besonderes sein...)
Hi
Acronis, Ghost, Snapshot,.... arbeiten alle mit einem Inhaltsverzeichnis welches einmal geladen und verglichen wird. Die Dateien selbst geht er dazu nicht an da er eine eigene 2Do Liste daraus baut. Ein NAS auf Basis von FreeNAS wäre da anzuraten; im Preisbereich kommt es nur darauf an welches Mainboard (vermutlich ein Embedded wie bei mir ein PicoPX10000 von Via), dazu ein Gehäuse, Netzteil, RAM, HDs, USB Stick (da residiert dann das OS) fertig; mit 300EUR habe ich da schon ein 2*1TB (=RAID1) NAS gebaut welches im Preis-Stromverbrauch-Nutzen jedem anderen NAS mit mehrere Einschüben mithalten und dank der x86 Plattform kann ich beliebig wechseln was ich will (zur Not käme da auch ein anderes Linux drauf um Web Server oder sonst was zu spielen; noch dazu ist mir wichtig die Komponenten wählen zu können, was bei einem fertigen nie geht (HDs von xy, Netzteil von xy, Mainboard je nach Gewichtsklasse); im NAS Bereich hier im Board habe ich da mal drei Szenarien beschrieben von einer 1HD Lösung bis hin zu 16 mit Fibrechannel und GBX. Der Erstaufwand ist erst mal höher, aber du kannst halt an allen Schrauben was drehen ohne wieder neu investieren zu müssen.
Gruß
Sam
Beispiel:
1*kleiner ATOM230 60EUR
1*Min Netzteil 120W 30EUR
1*1GB RAM 15EUR
2*1TB HD 120EUR
1*64MB USB Stick 10EUR
Das selbe kann mit guten/Sparsamen Geräten auch schnell 400EUR verschlingen aber so zum Fühlen reicht das Beispiel mal
Acronis, Ghost, Snapshot,.... arbeiten alle mit einem Inhaltsverzeichnis welches einmal geladen und verglichen wird. Die Dateien selbst geht er dazu nicht an da er eine eigene 2Do Liste daraus baut. Ein NAS auf Basis von FreeNAS wäre da anzuraten; im Preisbereich kommt es nur darauf an welches Mainboard (vermutlich ein Embedded wie bei mir ein PicoPX10000 von Via), dazu ein Gehäuse, Netzteil, RAM, HDs, USB Stick (da residiert dann das OS) fertig; mit 300EUR habe ich da schon ein 2*1TB (=RAID1) NAS gebaut welches im Preis-Stromverbrauch-Nutzen jedem anderen NAS mit mehrere Einschüben mithalten und dank der x86 Plattform kann ich beliebig wechseln was ich will (zur Not käme da auch ein anderes Linux drauf um Web Server oder sonst was zu spielen; noch dazu ist mir wichtig die Komponenten wählen zu können, was bei einem fertigen nie geht (HDs von xy, Netzteil von xy, Mainboard je nach Gewichtsklasse); im NAS Bereich hier im Board habe ich da mal drei Szenarien beschrieben von einer 1HD Lösung bis hin zu 16 mit Fibrechannel und GBX. Der Erstaufwand ist erst mal höher, aber du kannst halt an allen Schrauben was drehen ohne wieder neu investieren zu müssen.
Gruß
Sam
Beispiel:
1*kleiner ATOM230 60EUR
1*Min Netzteil 120W 30EUR
1*1GB RAM 15EUR
2*1TB HD 120EUR
1*64MB USB Stick 10EUR
Das selbe kann mit guten/Sparsamen Geräten auch schnell 400EUR verschlingen aber so zum Fühlen reicht das Beispiel mal
Zitat von @SamvanRatt:
Hi
Acronis, Ghost, Snapshot,.... arbeiten alle mit einem Inhaltsverzeichnis welches einmal geladen und verglichen wird. Die Dateien
selbst geht er dazu nicht an da er eine eigene 2Do Liste daraus baut.
Hi
Acronis, Ghost, Snapshot,.... arbeiten alle mit einem Inhaltsverzeichnis welches einmal geladen und verglichen wird. Die Dateien
selbst geht er dazu nicht an da er eine eigene 2Do Liste daraus baut.
Okay, aber dieses "Inhaltsverzeichnis" ist in der Image-Datei enthalten bzw. wird am Zielpfad des Backups abgespeichert oder?
Oder können diese Daten tatsächlich lokal auf dem Quellserver vorgehalten werden?
Wenn nicht... in welcher Größenordnung liegen diese Datenmengen, die dabei abgerufen werden müssen?
Wenn es da wirklich nur im eine mittelgroße "Indexdatei" geht, könnte man das ja auch noch gut verschmerzen, wenn die einmal über die DSL Leitung muss. Ob das Backup nun 20 min länger dauert, spielt nachts auch keine Rolle.
EDIT: Noch eine kurze Frage, bevor ich mich in das Rsync Thema einlese... Unterstützt ein NAS System von der Stange typischerweise entweder Rsync oder eben nicht, oder gibt es da auch Einschränkungen wie Richtung der Synchronisation o.Ä.?
Auf die schnelle hätte ich dann nämlich diese beiden Kandidaten gefunden, die recht preisgünstig zu haben sind.
Synology Disk Station DS110j
Qnap Turbo Station TS-110
Hi
der Index liegt fern wird aber in einem Stück runtergezogen (Thema Latenzzeit), sprich geht recht flott im Vergleich dazu das du bei 200ms Latenz nur 5 Dateien pro Sekunde überprüfen kannst via DSL direktaustausch. Rsync ist eher selten da es wenige Erfordern. Mußt du halt nachsehen, da SMB/CIFS manchmal auch NFS dominieren, der Rest eher per Zufall. Neuere haben nun eher Mediaprotokolle (Apple, MS, ....) mit dabei um den Home Entertainment Markt zu befüllen; hilft hier aber nicht.
der Index liegt fern wird aber in einem Stück runtergezogen (Thema Latenzzeit), sprich geht recht flott im Vergleich dazu das du bei 200ms Latenz nur 5 Dateien pro Sekunde überprüfen kannst via DSL direktaustausch. Rsync ist eher selten da es wenige Erfordern. Mußt du halt nachsehen, da SMB/CIFS manchmal auch NFS dominieren, der Rest eher per Zufall. Neuere haben nun eher Mediaprotokolle (Apple, MS, ....) mit dabei um den Home Entertainment Markt zu befüllen; hilft hier aber nicht.
Danke für deine Hilfe! Habe gestern mal mit einem kleinen Testordner ein diff. Backup angestoßen. Die erste Runde dauerte wirklich ewig (4 Std für knapp 500MB...), aber der Datenabgleich danach ging sehr schnell, wie von Dir beschrieben.
Wahrscheinlich werde ich mich aber doch für die rsync-Lösung entscheiden, da ich so auch im Ziel-Standort immer einen direkten Zugriff auf die Dateien habe und nicht erst ein Image irgendwo mounten muss.
Besten Dank für deine Unterstützung!
Wahrscheinlich werde ich mich aber doch für die rsync-Lösung entscheiden, da ich so auch im Ziel-Standort immer einen direkten Zugriff auf die Dateien habe und nicht erst ein Image irgendwo mounten muss.
Besten Dank für deine Unterstützung!
Hallo zusammen,
ich würde gerne den Thread noch mal ausgraben, da ein bisschen neue Hardware eingetroffen ist
Standort A: Server + NAS (iSCSI + rsync fähig)
Standort B: NAS (iSCSI + rsync fähig)
Die Standorte könnten per VPN verbunden werden.
Zur Diskussionen stehen folgende Alternativen:
Erste Möglichkeit: Beide NAS Systeme via iSCSI am Server einrichten, Abgleich über die Dateireplikation. (Wie verhält sich Windows mit der Problematik, dass das zweite iSCSI Target beim 24 Stunden reconnect mal kurz "weg" ist? Alternativ: Das "entfernte" NAS per CIFS/SMB ansprechen)
Zweite Möglichkeit: Synchronisation der beiden NAS-Systeme mit rsync in der Nacht
Was haltet ihr für sinnvoller?
ich würde gerne den Thread noch mal ausgraben, da ein bisschen neue Hardware eingetroffen ist
Standort A: Server + NAS (iSCSI + rsync fähig)
Standort B: NAS (iSCSI + rsync fähig)
Die Standorte könnten per VPN verbunden werden.
Zur Diskussionen stehen folgende Alternativen:
Erste Möglichkeit: Beide NAS Systeme via iSCSI am Server einrichten, Abgleich über die Dateireplikation. (Wie verhält sich Windows mit der Problematik, dass das zweite iSCSI Target beim 24 Stunden reconnect mal kurz "weg" ist? Alternativ: Das "entfernte" NAS per CIFS/SMB ansprechen)
Zweite Möglichkeit: Synchronisation der beiden NAS-Systeme mit rsync in der Nacht
Was haltet ihr für sinnvoller?
Hi
wenn du iSCSI nutzt, dann kannst du nicht mit rsync dann von A nahc B replizieren, da rsync ein Datei Dienst ist, iSCSI aber ein Blocklevel Dienst, sprich er würde dir immer alles syncen, da er von den Veränderungen oben drüber nichts mitbekommt. Eine Erfahrung habe ich mittlerweile mal mit ZFS gemacht (auf Basis von FreeNAS mit ZFS_V13: da ist es möglich Offline Syncs zu erstellen UND er synced nur was sich verändert hat. Die Möglichkeit wird direkt im ZFS (sog zpool) organisiert und stellt bisher die Profilösungen durchaus von der Funktion her in den Schatten. Einer meiner Versuche war mit einem raidz+1 (=RAID5) welche ich auf einen zweiten Rechner verbunden habe, einen sog pool gebildet, welcher als Mirror oben drüber läuft. Wenn ich B abgeschalten habe und einen Tag später wieder angeschalten habe, hat er von den 480GB nur etwa 1GB transferriert/abgeglichen UND blieb auf B weiterhin Online und integer.
Nimm dir mal zwei Maschinen mit min je einer HD und probier's mal. Mit dem jetzigen mußt du wenn dann nur mit einem Dienst (also rsync) arbeiten von allen Stationen dort aus, sonst ziehen die keinen Vorteil von der Snapshot Funktion.
Gruß
Sam
wenn du iSCSI nutzt, dann kannst du nicht mit rsync dann von A nahc B replizieren, da rsync ein Datei Dienst ist, iSCSI aber ein Blocklevel Dienst, sprich er würde dir immer alles syncen, da er von den Veränderungen oben drüber nichts mitbekommt. Eine Erfahrung habe ich mittlerweile mal mit ZFS gemacht (auf Basis von FreeNAS mit ZFS_V13: da ist es möglich Offline Syncs zu erstellen UND er synced nur was sich verändert hat. Die Möglichkeit wird direkt im ZFS (sog zpool) organisiert und stellt bisher die Profilösungen durchaus von der Funktion her in den Schatten. Einer meiner Versuche war mit einem raidz+1 (=RAID5) welche ich auf einen zweiten Rechner verbunden habe, einen sog pool gebildet, welcher als Mirror oben drüber läuft. Wenn ich B abgeschalten habe und einen Tag später wieder angeschalten habe, hat er von den 480GB nur etwa 1GB transferriert/abgeglichen UND blieb auf B weiterhin Online und integer.
Nimm dir mal zwei Maschinen mit min je einer HD und probier's mal. Mit dem jetzigen mußt du wenn dann nur mit einem Dienst (also rsync) arbeiten von allen Stationen dort aus, sonst ziehen die keinen Vorteil von der Snapshot Funktion.
Gruß
Sam
Moin,
wollte noch mal kurz Feedback geben. Die Synchronisation über rsync funktioniert prima. Die gut 1TB an Daten werden in ca. 20 Minuten abgeglichen (+ Zeit, welche für die Datenübertragung beansprucht wird). Bin positiv überrascht von der Geschwindigkeit
wollte noch mal kurz Feedback geben. Die Synchronisation über rsync funktioniert prima. Die gut 1TB an Daten werden in ca. 20 Minuten abgeglichen (+ Zeit, welche für die Datenübertragung beansprucht wird). Bin positiv überrascht von der Geschwindigkeit
Das schöne an der IT Welt ist ja: Für jedes Problem eine (eigene proprietäre) Lösung. Schön wenn's mit rsync läuft was ich ja auch schon zwischen zwei Niederlassungen mit FreeNAS Servern im Einsatz habe.
