10
Overlay filesystem für Windows Server 2019
Hallo,
wir migrieren ein Verzeichnis mit zirka 1 Mio. Dateien in Zehntausenden Unterverzeichnissen auf eine SAN.
Es werden von den Benutzer täglich viele neue Dateien angelegt.
Wir dachte daran Robocopy zu verwenden und die Dateien zu kopieren, Robocopy so oft auszuführen bis alles gesynct ist und dann den Pfad in der Anwendung auf die NAS umstellen.
Nun stellt sich heraus, dass schon allein die Kontrolle durch Robocopy ob die Verzeichnisse synchron sind, sehr lange dauert und es so für die Nutzer zu einem langen Ausfall kommen würde.
Eine theoretische Lösung, die mir eingefallen ist, wäre ein Overlay Filesystem. Die Anwendung sollte die Dateien im originalen FS und auf der NAS überlagert sehen. Neue Dateien sollten auf die NAS geschrieben werden.
Inzwischen könnten wir die Dateien verschieben.
Gibt es für Windows Server 2019 ein solches Filesystem?
Grüße
Andreas
wir migrieren ein Verzeichnis mit zirka 1 Mio. Dateien in Zehntausenden Unterverzeichnissen auf eine SAN.
Es werden von den Benutzer täglich viele neue Dateien angelegt.
Wir dachte daran Robocopy zu verwenden und die Dateien zu kopieren, Robocopy so oft auszuführen bis alles gesynct ist und dann den Pfad in der Anwendung auf die NAS umstellen.
Nun stellt sich heraus, dass schon allein die Kontrolle durch Robocopy ob die Verzeichnisse synchron sind, sehr lange dauert und es so für die Nutzer zu einem langen Ausfall kommen würde.
Eine theoretische Lösung, die mir eingefallen ist, wäre ein Overlay Filesystem. Die Anwendung sollte die Dateien im originalen FS und auf der NAS überlagert sehen. Neue Dateien sollten auf die NAS geschrieben werden.
Inzwischen könnten wir die Dateien verschieben.
Gibt es für Windows Server 2019 ein solches Filesystem?
Grüße
Andreas
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 7381723129
Url: https://administrator.de/contentid/7381723129
Printed on: May 4, 2024 at 19:05 o'clock
10 Comments
Latest comment
Wie lange dauert denn euer Backup und mit welcher Lösung arbeitet ihr, kann die nicht vielleicht ein Restore auf die SAN machen?
Kommt DFS zum Einsatz?
Kommt DFS zum Einsatz?
Moin,
ist Rsync keine Option? Vielleicht läuft das performanter als Robocopy.
Gruß
Spirit
ist Rsync keine Option? Vielleicht läuft das performanter als Robocopy.
Gruß
Spirit
Zitat von @Spirit-of-Eli:
Moin,
ist Rsync keine Option? Vielleicht läuft das performanter als Robocopy.
Gruß
Spirit
Moin,
ist Rsync keine Option? Vielleicht läuft das performanter als Robocopy.
Gruß
Spirit
Hallo Spirit,
leider nicht. Ist eine NAS in einem RZ, da habe wir keine Möglichkeit rsync zu installieren/starten.
Grüße
Andreas
Zitat von @ukulele-7:
Wie lange dauert denn euer Backup und mit welcher Lösung arbeitet ihr, kann die nicht vielleicht ein Restore auf die SAN machen?
Kommt DFS zum Einsatz?
Wie lange dauert denn euer Backup und mit welcher Lösung arbeitet ihr, kann die nicht vielleicht ein Restore auf die SAN machen?
Kommt DFS zum Einsatz?
Hallo Ukulele,
wir verwenden Veeam. Full backup dauert 30h !
Auf der NAS können wir leider keinen Agent installieren, daher wäre es wohl nicht schneller als der Kopiervorgang mit robocopy.
DFS kommt nicht zum Einsatz.
Grüße
Andreas
Ich habe noch keine Erfahrung mit gespiegelten DFS Volumes aber ich könnte mir vorstellen das man den bestehenden Pfad über DFS abbilden kann und dann mit einem weiteren gespiegelten Volume im Betrieb eine Replikation durchführen könnte.
Hi,
hast Du bei den Differenz-Kopien den Schalter /MT dabei? Dieser beschleunigt die Suche nach geänderten, zu kopierenden Dateien enorm!
Ebenso, die Ausgabe in eine Logdatei (ohne /TEE !).
robocopy Quelle Ziel /MIR /ZB /R:0 /W:0 /MT /NP /LOG:Pfad-zur-lokalen-Logdatei
Sowas habe ich schon oft gemacht mit noch größeren Datenstrukturen.
Wie dick ist denn die Leitung effektiv, über welche kopiert wird?
E.
hast Du bei den Differenz-Kopien den Schalter /MT dabei? Dieser beschleunigt die Suche nach geänderten, zu kopierenden Dateien enorm!
Ebenso, die Ausgabe in eine Logdatei (ohne /TEE !).
robocopy Quelle Ziel /MIR /ZB /R:0 /W:0 /MT /NP /LOG:Pfad-zur-lokalen-Logdatei
Sowas habe ich schon oft gemacht mit noch größeren Datenstrukturen.
Wie dick ist denn die Leitung effektiv, über welche kopiert wird?
E.
DFS-N kann jedes SAN mit CIFS-Emulation. (Ziel eines DFS-Ordners sein)
Aber welches kann denn DFS-R? Ich kenne da keins.
Aber welches kann denn DFS-R? Ich kenne da keins.
Hallo Andreas,
wie in einem anderen Thread gerade geschrieben: das Tool bckup2 ist leider viel zu wenig bekannt.
Reines Windows-Programm, sehr kompakt, sehr schnell, arbeitet effizient und als Windows-Service. Wird auf der Quelle installiert und kopiert dann per SMB zum Ziel.
Das Feature, dass Du brauchst, ist "Fast parallel scanning": The program uses multi-threaded scanning to build indexes of source and backup locations.
Damit werden Abweichungen in sehr kurzer Zeit erkannt und die Quelle durchlaufen.
Sprich: Erstsicherung. Dann sind die anschließenden Differenzsicherungen ausgesprochen schnell.
Dürfte Dir die Arbeit mit sonstigen Krücken ersparen.
Download ist eine 2-Wochen-Trial, einfach einmal ausprobieren.
Viele Grüße
DivideByZero
wie in einem anderen Thread gerade geschrieben: das Tool bckup2 ist leider viel zu wenig bekannt.
Reines Windows-Programm, sehr kompakt, sehr schnell, arbeitet effizient und als Windows-Service. Wird auf der Quelle installiert und kopiert dann per SMB zum Ziel.
Das Feature, dass Du brauchst, ist "Fast parallel scanning": The program uses multi-threaded scanning to build indexes of source and backup locations.
Damit werden Abweichungen in sehr kurzer Zeit erkannt und die Quelle durchlaufen.
Sprich: Erstsicherung. Dann sind die anschließenden Differenzsicherungen ausgesprochen schnell.
Dürfte Dir die Arbeit mit sonstigen Krücken ersparen.
Download ist eine 2-Wochen-Trial, einfach einmal ausprobieren.
Viele Grüße
DivideByZero
Hi
ist das NAS in eine onpremis RZ oder via WAN?
Wie ist das SAN oder das NAS den verbunden? Mal schreibst du NAS mal SAN.
Welche Parameter verwendest du bei robocopy bestimmte Parameter machen es langsamer.
Auch bei anderen Migrationsprojekten mit robocopy musste ich x mal syncen bis ich an nem Tag X zb We dann nen cut over machen konnte.
Ist eine NAS bei der angeforderten Uptime überhaupt das richtige?
Macht es dann mit Blick in die Zukunft und ggf mehr Daten nicht Sinn das auf ein wirkliches SAN zu Migrieren und dort am besten auf virtuellen Festplatten ?
Für mich klingt das nach Einbahnstraße mit der NAS.
Wenn 30h Restore für ein so wichtiges System hinnehmbar ist...
Mit freundlichen Grüßen Nemesis
ist das NAS in eine onpremis RZ oder via WAN?
Wie ist das SAN oder das NAS den verbunden? Mal schreibst du NAS mal SAN.
Welche Parameter verwendest du bei robocopy bestimmte Parameter machen es langsamer.
Auch bei anderen Migrationsprojekten mit robocopy musste ich x mal syncen bis ich an nem Tag X zb We dann nen cut over machen konnte.
Ist eine NAS bei der angeforderten Uptime überhaupt das richtige?
Macht es dann mit Blick in die Zukunft und ggf mehr Daten nicht Sinn das auf ein wirkliches SAN zu Migrieren und dort am besten auf virtuellen Festplatten ?
Für mich klingt das nach Einbahnstraße mit der NAS.
Wenn 30h Restore für ein so wichtiges System hinnehmbar ist...
Mit freundlichen Grüßen Nemesis
Moin,
Du möchtest uns doch nicht erzählen, dass in der (Vor)planung des Vorhabens keiner an die enorme Datenmenge gedacht hat oder die Frage einfach mit robocopy abgehakt wurde?!
@emeriks
Gruß,
Dani
wir verwenden Veeam. Full backup dauert 30h !
Wenn das für eure Umgebung und Anforderung in Ordnung ist, Ok. Anderenfalls wurden die Rahmenbedingungen nicht definiert bzw. ignoriert und damit eine Lösung eingekauft, die von Anfang an eigentlich nicht den Anforderungen entspricht. Wie lange dauert dann eine Wiederherstellung?Gibt es für Windows Server 2019 ein solches Filesystem?
Naja, es müsste ein Filesystem sein, welches sowohl Windows Server als auch das NAS unterstützen. Alleine schon Windows Server schränkt die Möglichkeiten massiv ein.leider nicht. Ist eine NAS in einem RZ, da habe wir keine Möglichkeit rsync zu installieren/starten.
Die Meisten NAS System basieren auf Linux und damit sind evtl. solche Tools wie rsync auch verfügbar.Du möchtest uns doch nicht erzählen, dass in der (Vor)planung des Vorhabens keiner an die enorme Datenmenge gedacht hat oder die Frage einfach mit robocopy abgehakt wurde?!
@emeriks
Aber welches kann denn DFS-R? Ich kenne da keins.
Mir fällt ad-hoc auch kein Hersteller ein. Bei den NAS sieht es nicht anders aus. Die haben meist ihre eigenen Apps dafür am Start.Gruß,
Dani
