9
Millionen von Dateien synchronisieren
Millionen von Dateien zwischen zwei Servern synchronisieren
Wir haben zwei Server, die im Moment mittels MirrorFolder repliziert werden. Hierbei kommt eine so genannte RAID1-Spiegelung zum Einsatz (neue Dateien werden also sofort auf den zweiten Server repliziert). Seit dem wir allerdings eine Grenze von über 20 Millionen Dateien (bei knapp 500GB Datenvolumen) überschritten haben, streikt der MirrorFolder und der Hauptserver stürtzt ab.
Auf beiden Servern ist Windows 2003 Server Standard installiert. Nun suche ich nach einer Leistungsfähigereren Software, damit die Dateien noch synchronisiert werden können.
Ein trennen der Daten auf verschiedene Server ist aus Komplexitätsgründen leider nicht möglich.
Mit welchem Tool synchronisert ihr eure Dateien? Wichtig wäre halt die direkte Spiegelung und nicht eine Zeitplan Synchronisierung, da beide Server aktiv im Einsatz sind.
Ich hoffe ihr könnt mir irgendwie helfen.
Gruß Malus0815
Wir haben zwei Server, die im Moment mittels MirrorFolder repliziert werden. Hierbei kommt eine so genannte RAID1-Spiegelung zum Einsatz (neue Dateien werden also sofort auf den zweiten Server repliziert). Seit dem wir allerdings eine Grenze von über 20 Millionen Dateien (bei knapp 500GB Datenvolumen) überschritten haben, streikt der MirrorFolder und der Hauptserver stürtzt ab.
Auf beiden Servern ist Windows 2003 Server Standard installiert. Nun suche ich nach einer Leistungsfähigereren Software, damit die Dateien noch synchronisiert werden können.
Ein trennen der Daten auf verschiedene Server ist aus Komplexitätsgründen leider nicht möglich.
Mit welchem Tool synchronisert ihr eure Dateien? Wichtig wäre halt die direkte Spiegelung und nicht eine Zeitplan Synchronisierung, da beide Server aktiv im Einsatz sind.
Ich hoffe ihr könnt mir irgendwie helfen.
Gruß Malus0815
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 153989
Url: https://administrator.de/contentid/153989
Ausgedruckt am: 23.11.2024 um 06:11 Uhr
9 Kommentare
Neuester Kommentar
schau dir doch einfach mal robocopy an.
so kannst du zum beispiel verzeichnis abgleichen
(1:1 kopie)
hier aus der hilfe:
/MON:n :: Überwacht die Quelle. Wird erneut ausgeführt, wenn mehr als n Änderungen gefunden werden.
du hast ja schon das meiste der dateien abgeglichen also sollte das auch nicht so lange dauern den ordner auf dem stand zu halten.
gruß michael
robocopy "c:\source" "netzlaufwerk\dest" MIR /MON:1 so kannst du zum beispiel verzeichnis abgleichen
(1:1 kopie)
hier aus der hilfe:
/MON:n :: Überwacht die Quelle. Wird erneut ausgeführt, wenn mehr als n Änderungen gefunden werden.
du hast ja schon das meiste der dateien abgeglichen also sollte das auch nicht so lange dauern den ordner auf dem stand zu halten.
gruß michael
Hallo,
beide Server sind im Einsatz? Wie verhindert ihr inkonsistenzen?
Warum nehmt ihr nicht DFS?
beide Server sind im Einsatz? Wie verhindert ihr inkonsistenzen?
Warum nehmt ihr nicht DFS?
ist denke ich auch eine möglichkeit, nur so wie ich es verstanden habe hatten Malus0815
so die daten doppelt, ist einer ausgefallen sind nicht gleich alle daten wech.
gruß michael
so die daten doppelt, ist einer ausgefallen sind nicht gleich alle daten wech.
gruß michael
Also mir kommt das vorgehen ein wenig Spanisch vor.
Wie schon gesagt wie haltet ihr alles konsistent?
An sonsten würden mir 2 SAN's einfallen die man koppelt.
Wie schon gesagt wie haltet ihr alles konsistent?
An sonsten würden mir 2 SAN's einfallen die man koppelt.
ich nutze unter linux rsync, und unter windows robocopy
gruß michael
gruß michael
rsync setzen wir bei unseren NAS-Maschinen auch ein (Thecus Geräte).
Robocopy kennen wir bereits und setzen wir auch ein, allerdings nicht für eine direkte Spiegelung sondern nur für den ersten Vollabgleich. Der Schalter /MON hatten wir bis jetzt noch nicht im Einsatz. Wie läuft das ganze ab? Bleibt das cmd-Fenster mit robocopy dann die ganze Zeit offen oder muss die Batch-Datei dann alle paar Sekunden per Taskplaner erneut ausgeführt werden?
Zum Verständis:
Die beiden Maschinen werden durch einen AppDirector von der Firma Radware loadbalanced. Das heißt, dass unsere Webserver auf eine Virtuelle IP-Adresse zugreifen und der AppDirector dann je nach Auslastung die Anfragen an einen von den beiden File-Servern weiterleitet. Im Moment läuft der eine nicht synchron zu dem anderen, somit kommt es je nach Seitenaufruf zu unterschiedlichen Bildern.
Wie meint ihr das mit Datenkonsitenz? Durch den automatischen abgleich durch MirrorFolder (so wie es früher funktionierte) waren beide Server innerhalb weniger Sekunden synchron und konnten genutzt werden. Hierbei ist wichtig, dass einer der File-Server nur als Leseserver genutzt wird und neue bzw. geänderte Daten nur auf den anderen File-Server geschrieben werden (Also ein Schreib/Lese Fileserver und ein reiner Leseserver). So haben wir im Falle eines totalausfalls eines Servers immer noch den Stand auf der anderen Maschine und die Schreibroutinen müssen nur auf den noch vorhandenen Server umgestellt werden.
Eine erneute Synchronisation mit MirrorFolder dauert ca. eine Woche, da es wie gesagt viele kleine Dateien sind. Ingesamt sind es knapp 500GB an Daten.
Gruß Malus0815
Robocopy kennen wir bereits und setzen wir auch ein, allerdings nicht für eine direkte Spiegelung sondern nur für den ersten Vollabgleich. Der Schalter /MON hatten wir bis jetzt noch nicht im Einsatz. Wie läuft das ganze ab? Bleibt das cmd-Fenster mit robocopy dann die ganze Zeit offen oder muss die Batch-Datei dann alle paar Sekunden per Taskplaner erneut ausgeführt werden?
Zum Verständis:
Die beiden Maschinen werden durch einen AppDirector von der Firma Radware loadbalanced. Das heißt, dass unsere Webserver auf eine Virtuelle IP-Adresse zugreifen und der AppDirector dann je nach Auslastung die Anfragen an einen von den beiden File-Servern weiterleitet. Im Moment läuft der eine nicht synchron zu dem anderen, somit kommt es je nach Seitenaufruf zu unterschiedlichen Bildern.
Wie meint ihr das mit Datenkonsitenz? Durch den automatischen abgleich durch MirrorFolder (so wie es früher funktionierte) waren beide Server innerhalb weniger Sekunden synchron und konnten genutzt werden. Hierbei ist wichtig, dass einer der File-Server nur als Leseserver genutzt wird und neue bzw. geänderte Daten nur auf den anderen File-Server geschrieben werden (Also ein Schreib/Lese Fileserver und ein reiner Leseserver). So haben wir im Falle eines totalausfalls eines Servers immer noch den Stand auf der anderen Maschine und die Schreibroutinen müssen nur auf den noch vorhandenen Server umgestellt werden.
Eine erneute Synchronisation mit MirrorFolder dauert ca. eine Woche, da es wie gesagt viele kleine Dateien sind. Ingesamt sind es knapp 500GB an Daten.
Gruß Malus0815
Hallo,
ich würde die Fileserver auf Linux umstellen und dann DRDB und heartbeat nehmen.
Bei robocopy muss das scipt alle x sek/min laufen, um änderungen festzustellen.
Wenn es windows bleiben soll, dann DFS oder ein drittanbieter produkt.
mit konsistenz meinen wir, dass wenn du dateien auf beiden Servern bearbeiten würdest, die meisten
tools in stolpern kommen.
ich würde die Fileserver auf Linux umstellen und dann DRDB und heartbeat nehmen.
Bei robocopy muss das scipt alle x sek/min laufen, um änderungen festzustellen.
Wenn es windows bleiben soll, dann DFS oder ein drittanbieter produkt.
mit konsistenz meinen wir, dass wenn du dateien auf beiden Servern bearbeiten würdest, die meisten
tools in stolpern kommen.
@Malus0815
das fenster bleibt dann offen in dem robocopy läuft,
ich hatte auch mal gesehen irgend wo im netzt wo man robocopy als dienst nutzen konnte.
und robocopy muß nicht alle x sekunden/minuten prüfen ob sich was geändert hat per task planer.
mit der option /MON:1 wird selbst ständig festgestellt das sich eine änderung ergeben hat und diese schiebt er in das zielverzeichnis
@Malus0815 teste das doch einfach mal mit 2 verzeicchnissen, ich würde sowas nicht fragen sondern erstmal testdaten nehmen und probieren.
gruß michael
das fenster bleibt dann offen in dem robocopy läuft,
ich hatte auch mal gesehen irgend wo im netzt wo man robocopy als dienst nutzen konnte.
und robocopy muß nicht alle x sekunden/minuten prüfen ob sich was geändert hat per task planer.
mit der option /MON:1 wird selbst ständig festgestellt das sich eine änderung ergeben hat und diese schiebt er in das zielverzeichnis
@Malus0815 teste das doch einfach mal mit 2 verzeicchnissen, ich würde sowas nicht fragen sondern erstmal testdaten nehmen und probieren.
gruß michael
Auf Linux umstellen geht leider nicht. Unsere anderen Administratoren haben keinerlei Linux Kenntnisse und deswegen müssen wir auf Windowsbasis bleiben 
@micneu
Habe das mit dem Robocopy und /MON jetzt mal getestet. Konnte es vor meinen letzten Beitrag noch nicht testen, da ich da unterwegs war und nur schnell mit meinem Desire geantwortet hatte.
Problem bei dem /MON ist, dass er immer mit mindestens /MOT:1 arbeitet, also auch kein realtime sondern immer nur jede Minute. Das ist bei uns leider nicht ausreichend.
@all
Ich werde jetzt mal auf unseren ESX Servern zwei Server 2003 R2 VMs erstellen und dann mal DFS testen. Hatte damit noch nicht wirklich viel zutun, aber so wie es scheint, bietet es ja eine Realtime Synchronisierung und ein LoadBalancing für einen Namensraum, vorrausgesetzt der Root-Server läuft. Habe ich das soweit richtig verstanden?
@micneu
Habe das mit dem Robocopy und /MON jetzt mal getestet. Konnte es vor meinen letzten Beitrag noch nicht testen, da ich da unterwegs war und nur schnell mit meinem Desire geantwortet hatte.
Problem bei dem /MON ist, dass er immer mit mindestens /MOT:1 arbeitet, also auch kein realtime sondern immer nur jede Minute. Das ist bei uns leider nicht ausreichend.
@all
Ich werde jetzt mal auf unseren ESX Servern zwei Server 2003 R2 VMs erstellen und dann mal DFS testen. Hatte damit noch nicht wirklich viel zutun, aber so wie es scheint, bietet es ja eine Realtime Synchronisierung und ein LoadBalancing für einen Namensraum, vorrausgesetzt der Root-Server läuft. Habe ich das soweit richtig verstanden?
