4
FreeNAS (ZFS) replizieren, aber nur nachts und vielleicht mit SSD - gibt es da schon was?
Hallo zusammen!
Ich möchte mir ein NAS bauen. Ein Freund von mir baut auch auch eins. Auf die NASes wollen wir unsere Daten sichern.
Wir verwenden FreeNAS, also ZFS. Zwischen den beiden NASes sollen die Daten repliziert werden, sodass, wenn man beim Saubermachen das NAS runter wirft, noch ein Offsite-Backup da ist.
Problem: So eine Replikation wird bei unseren Internetverbindungen lang dauern. Nach Möglichkeit soll sie also nachts stattfinden, damit sie nicht den normalen Traffic blockiert.
Level 1: Gibt es bereits etwas*, wie man so ein "Mach eine ZFS-Replikation, von dem Status von gestern Abend, und wenn du morgen früh nicht fertig bist, mach morgen Nacht weiter!" realisieren kann?
Ich habe zwar gesehen, dass es bei FreeNAS sowas in der Art gibt, aber wenn ich es recht verstehe, ist das "mach weiter, wo du zuletzt aufgehört hast" und das "um 8 ist aber Schluss!" noch nicht implementiert.
(https://www.ixsystems.com/documentation/freenas/11.2-U5/tasks.html?highl ...): "These times control when replication task are allowed to start, but will not stop a replication task that is already running. Once a replication task has begun, it will run until finished."
Level 2: Das Replizieren übers Internet wird lang dauern, gleichzeitig wird aber des Nachts sonst nix los sein - dauernd alle Platten laufen lassen wäre Verschwendung. Gibt's schon was*, womit man das nächste Paket für die Replikation auf z. B. ner SSD cachen kann?
*: "Gibt es bereits etwas" impliziert ein "...oder muss ich das selber skripten?".
Ich möchte mir ein NAS bauen. Ein Freund von mir baut auch auch eins. Auf die NASes wollen wir unsere Daten sichern.
Wir verwenden FreeNAS, also ZFS. Zwischen den beiden NASes sollen die Daten repliziert werden, sodass, wenn man beim Saubermachen das NAS runter wirft, noch ein Offsite-Backup da ist.
Problem: So eine Replikation wird bei unseren Internetverbindungen lang dauern. Nach Möglichkeit soll sie also nachts stattfinden, damit sie nicht den normalen Traffic blockiert.
Level 1: Gibt es bereits etwas*, wie man so ein "Mach eine ZFS-Replikation, von dem Status von gestern Abend, und wenn du morgen früh nicht fertig bist, mach morgen Nacht weiter!" realisieren kann?
Ich habe zwar gesehen, dass es bei FreeNAS sowas in der Art gibt, aber wenn ich es recht verstehe, ist das "mach weiter, wo du zuletzt aufgehört hast" und das "um 8 ist aber Schluss!" noch nicht implementiert.
(https://www.ixsystems.com/documentation/freenas/11.2-U5/tasks.html?highl ...): "These times control when replication task are allowed to start, but will not stop a replication task that is already running. Once a replication task has begun, it will run until finished."
Level 2: Das Replizieren übers Internet wird lang dauern, gleichzeitig wird aber des Nachts sonst nix los sein - dauernd alle Platten laufen lassen wäre Verschwendung. Gibt's schon was*, womit man das nächste Paket für die Replikation auf z. B. ner SSD cachen kann?
*: "Gibt es bereits etwas" impliziert ein "...oder muss ich das selber skripten?".
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 489793
Url: https://administrator.de/contentid/489793
Ausgedruckt am: 05.11.2024 um 02:11 Uhr
4 Kommentare
Neuester Kommentar
Moin,
ob es so etwas schon fertig gibt!? Keine Ahnung.
Grundsätzlich solltet Ihr Euch zunächst mal Gedanken machen, wie das genau ablaufen soll/welche Datenmengen da täglich synchronisiert werden müssen.
Nützt ja nix, wenn die Nacht nicht ausreicht um das tägliche Delta zu syncen. Nächste Nacht dann wieder nicht, usw...
So wie ich das verstehe, wollt Ihr ja eine Synchronisation in beide Richtungen. Also deine Daten zu Deinem Freund und umgekehrt.
Bisher habe ich so etwas nur einseitig realisiert. Sprich die Daten von A -> B syncen.
Müsste man halt mal ausprobieren, wenn Daten von A -> B und gleichzeitig B -> A gesynct werden. Insbesondere was die Performance angeht.
Wenn Ihr auf beiden Seiten eine Firewall (z.B. pfsense/OPNsense) einsetzt, könntet Ihr per QOS auch eine ständige Synchronisation einrichten und das Ganze auch tagsüber laufen lassen. Die Synchronisation würde z.B. tagsüber 10 % der mögl. Bandbreite zugewiesen bekommen und nachts dann 90%.
Nichts gegen Eure Freundschaft, aber grundsätzlich würde ich bei solchen Konstrukten die Daten ausschließlich verschlüsselt syncen/speichern!
Machbar ist fast Alles.
Gruß
Dirk
ob es so etwas schon fertig gibt!? Keine Ahnung.
Grundsätzlich solltet Ihr Euch zunächst mal Gedanken machen, wie das genau ablaufen soll/welche Datenmengen da täglich synchronisiert werden müssen.
Nützt ja nix, wenn die Nacht nicht ausreicht um das tägliche Delta zu syncen. Nächste Nacht dann wieder nicht, usw...
So wie ich das verstehe, wollt Ihr ja eine Synchronisation in beide Richtungen. Also deine Daten zu Deinem Freund und umgekehrt.
Bisher habe ich so etwas nur einseitig realisiert. Sprich die Daten von A -> B syncen.
Müsste man halt mal ausprobieren, wenn Daten von A -> B und gleichzeitig B -> A gesynct werden. Insbesondere was die Performance angeht.
Wenn Ihr auf beiden Seiten eine Firewall (z.B. pfsense/OPNsense) einsetzt, könntet Ihr per QOS auch eine ständige Synchronisation einrichten und das Ganze auch tagsüber laufen lassen. Die Synchronisation würde z.B. tagsüber 10 % der mögl. Bandbreite zugewiesen bekommen und nachts dann 90%.
Nichts gegen Eure Freundschaft, aber grundsätzlich würde ich bei solchen Konstrukten die Daten ausschließlich verschlüsselt syncen/speichern!
Machbar ist fast Alles.
Gruß
Dirk
Hallo,
um welche Art von Daten geht es hierbei ? Welche Datenmengen werden vorgehalten / müssen bewegt werden und welchen datenschutzrechtlichen Rahmen gilt es einzuhalten?
Je nach Art, Umfang und Schutzbedarf der Daten bieten sich auch andere Technologien an:
Online Storage, SVN (bei gemeinsamen Softwareentwicklungsprojekten), GoogleDrive (und wenn es nur temporär für die Übertragung genutzt wird).
Auch sollte man sich Gedanken machen, wie man beim Ausfall eines der beiden NAS-Geräte die Daten zum "Datenpartner" bekommt.
Je nach Szenario kann es auch praktisch sein, dass alle Daten nur auf einem NAS (mit entsprechenendem lokalen Backup) liegen und der andere Teilnehmer aus der Ferne zugreift.
Greetz,
thejoker2305
um welche Art von Daten geht es hierbei ? Welche Datenmengen werden vorgehalten / müssen bewegt werden und welchen datenschutzrechtlichen Rahmen gilt es einzuhalten?
Je nach Art, Umfang und Schutzbedarf der Daten bieten sich auch andere Technologien an:
Online Storage, SVN (bei gemeinsamen Softwareentwicklungsprojekten), GoogleDrive (und wenn es nur temporär für die Übertragung genutzt wird).
Auch sollte man sich Gedanken machen, wie man beim Ausfall eines der beiden NAS-Geräte die Daten zum "Datenpartner" bekommt.
Je nach Szenario kann es auch praktisch sein, dass alle Daten nur auf einem NAS (mit entsprechenendem lokalen Backup) liegen und der andere Teilnehmer aus der Ferne zugreift.
Greetz,
thejoker2305
rsync.. Das kann jedes NAS auf der Welt und natürlich auch FreeNAS. So banal das man vermutlich deshalb nix bei Dr. Google findet...
Verbindung zwischen den beiden NAS per VPN vorrausgesetzt. 
Zitat von @aqui:
rsync.. Das kann jedes NAS auf der Welt und natürlich auch FreeNAS. So banal das man vermutlich deshalb nix bei Dr. Google findet...
rsync.. Das kann jedes NAS auf der Welt und natürlich auch FreeNAS. So banal das man vermutlich deshalb nix bei Dr. Google findet...
