18
Synchroniserung von großen Datenmengen mit einem Webserver
beste Möglichkeit über FTP?
Guten Tag zusammen,
ich habe folgendes Problem:
Ich müsste einen großen Datenbestand (ca. über 15 GB) auf unseren Webserver hochladen. Nachdem der Bestand auf dem Webserver liegt, müssten alle neuen Dateien die dazukommen in Echtzeicht "hochgepusht" werden. Der Webserver liegt zwar im Netzwerk, wir haben jedoch aus Sicherheitsgründen eine Firewall dazwischen geschaltet. Für den Datentransport haben wir lediglich den FTP-Port nach außen freigeschaltet.
Funktionieren tut das Ganze nur bedingt... irgendwann bricht die Verbindung zusammen...
Was würdet Ihr empfehlen?
Gruß
Hkhan
Guten Tag zusammen,
ich habe folgendes Problem:
Ich müsste einen großen Datenbestand (ca. über 15 GB) auf unseren Webserver hochladen. Nachdem der Bestand auf dem Webserver liegt, müssten alle neuen Dateien die dazukommen in Echtzeicht "hochgepusht" werden. Der Webserver liegt zwar im Netzwerk, wir haben jedoch aus Sicherheitsgründen eine Firewall dazwischen geschaltet. Für den Datentransport haben wir lediglich den FTP-Port nach außen freigeschaltet.
Funktionieren tut das Ganze nur bedingt... irgendwann bricht die Verbindung zusammen...
Was würdet Ihr empfehlen?
Gruß
Hkhan
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 91549
Url: https://administrator.de/forum/synchroniserung-von-grossen-datenmengen-mit-einem-webserver-91549.html
Ausgedruckt am: 22.12.2024 um 20:12 Uhr
18 Kommentare
Neuester Kommentar
Ich würde mit dem Total commander arbeiten, der kann auch FTP Server synchronisieren. Sprich links dann den ftp server, rechts das Lokale laufwerk. Auf synchronisieren, der schaut dann nach, was gleich ist. Nach Dateidatum und größe und natürlich name. Was nicht passt, wird wohl neu sein, das kannste dann synchronisieren lassen.
Um wieviele Dateien handelt es sich denn? weil ftp ja nur für große Dateien schnell ist.
Um wieviele Dateien handelt es sich denn? weil ftp ja nur für große Dateien schnell ist.
das sind alles nur .tif Dokumente. Die Dateien werden immer mehr. Wenn ich mal grob schätze sind das locker 100.000 Dokumente auf X Unterverzeichnissen.
Kann da der Total Commander mithalten?
Ich habe es bereits mit FTP-Voyager, Super Flexible Synchroniser und anderen Tools probiert.
Momentan habe ich den NetDrive von Novell draufgespielt, in der Hoffnung dass Sync Tools besser damit zurechtkommen, bringt aber auch nicht wirklich viel...
Kann da der Total Commander mithalten?
Ich habe es bereits mit FTP-Voyager, Super Flexible Synchroniser und anderen Tools probiert.
Momentan habe ich den NetDrive von Novell draufgespielt, in der Hoffnung dass Sync Tools besser damit zurechtkommen, bringt aber auch nicht wirklich viel...
au, soviele files sind echt heftig. Für jeden Ordner wechsel ist halt nur ein Listdir erforderlich. Bei sehrvielen Ordnern kann das echt schon Traffic machen. Ich synchronisiere mit dem Totalcommander z.b. mein Ct Offline update auf den Server. Das sind mittlerweile auch schon so diverse Dateien. Aber max 2000.
Ich würde es einfach mal testen, die Testversion vom TotalCommander hat auch den vollen Funktionsumfang.
Ich würde es einfach mal testen, die Testversion vom TotalCommander hat auch den vollen Funktionsumfang.
naja, hab wenig Hoffnung 
hab gerade nachgeschaut und es sind weit über 100.000...
werde es trotzdem versuchen...
trotzdem vielen Dank für die schnellen Antworten und für den heißen Tipp
Gruß
Hkhan
hab gerade nachgeschaut und es sind weit über 100.000...werde es trotzdem versuchen...
trotzdem vielen Dank für die schnellen Antworten und für den heißen Tipp
Gruß
Hkhan
Servus,
zum einmaligen "massiven" befüllen...
- nimm eine USB Platte schieb die Tifs da drauf - klemme die lokal an den FTP Server und hole Sie dir dann davon.
Dauert zwar auch lange und ist "umständlich" dafür klappt es aber reibungsloser.
An Ende kannst du mit Wget oder ähnlichem die aktuellen Daten synchron halten.
zum einmaligen "massiven" befüllen...
- nimm eine USB Platte schieb die Tifs da drauf - klemme die lokal an den FTP Server und hole Sie dir dann davon.
Dauert zwar auch lange und ist "umständlich" dafür klappt es aber reibungsloser.
An Ende kannst du mit Wget oder ähnlichem die aktuellen Daten synchron halten.
Hi Timo,
auf die Idee bin ich auch schon gekommen. Das war sogar das erste was ich gemacht hatte. Die neuen Dateien, die dazugekommen sind werden mit WatchDirectory auf den FTP gepusht. Leider ist dieses Programm sehr unzuverlässig.
Wie gut ist Wget?
Gruß
Hkhan
auf die Idee bin ich auch schon gekommen. Das war sogar das erste was ich gemacht hatte. Die neuen Dateien, die dazugekommen sind werden mit WatchDirectory auf den FTP gepusht. Leider ist dieses Programm sehr unzuverlässig.
Wie gut ist Wget?
Gruß
Hkhan
Servus,
Wget ist so ziemlich das genialste, was es für den Bereich gibt.
Übrigens läuft das CT Offline Patch System, das D3S3RT angesprochen hat auch damit (so holt es sich die Patche von M$)
Ist Open Source, gibt es für Tux & Win
Gruß
Wget ist so ziemlich das genialste, was es für den Bereich gibt.
Übrigens läuft das CT Offline Patch System, das D3S3RT angesprochen hat auch damit (so holt es sich die Patche von M$)
Ist Open Source, gibt es für Tux & Win
Gruß
ok, jetzt brauch ich nur noch eine Bedienungsanleitung für Wget
oh ok, danke!
komme mit dem jedoch nicht ganz weiter...
kannst du mir mal eine Beispiel Syntax aufschreiben. Bsp:
download des gesamten verzeichnisses auf dem FTP auf lokale platte C:\download\
komme mit dem jedoch nicht ganz weiter...
kannst du mir mal eine Beispiel Syntax aufschreiben. Bsp:
download des gesamten verzeichnisses auf dem FTP auf lokale platte C:\download\
download des gesamten verzeichnisses auf dem FTP auf lokale platte C:\download\
c:
cd download
wget --mirror ftp://user:pass@server.local/path
Hi Timo,
ok, den Download hab ich bereits hinbekommen. Wie sieht es mit Upload Spiegelung aus?
Gruß
Hkhan
ok, den Download hab ich bereits hinbekommen. Wie sieht es mit Upload Spiegelung aus?
Gruß
Hkhan
Moin Timo,
wput ist doch unabhängig von wget?? dachte ich zumindest... ist also wget tatsächlich nur zum download...
klingt auch logisch get und put..
Vielen vielen Dank!
Gruß
Hkhan
wput ist doch unabhängig von wget?? dachte ich zumindest... ist also wget tatsächlich nur zum download...
klingt auch logisch get und put..
Vielen vielen Dank!
Gruß
Hkhan
Ich habe leider nun zu diesem Problem ein weiteres Problem:
wput funktioniert "eigentlich" super! So wie ich es mir vorstelle. Das Problem ist nur, dass ich Dokumente von dem Archivsystem "DocuWare" nicht pushen kann! wput zeigt keine Reaktion? Was könnte den wput stören? Normalerweise bekommt ja irgendwelche Fehlermeldungen, wenn was nicht stimmt. Aber bei den Dokumenten von DocuWare zeigt er überhaupt keine Raktion
bin noch weiter am Verzweifeln
Freue mich über jeden Tipp!
Gruß
Hkhan
wput funktioniert "eigentlich" super! So wie ich es mir vorstelle. Das Problem ist nur, dass ich Dokumente von dem Archivsystem "DocuWare" nicht pushen kann! wput zeigt keine Reaktion? Was könnte den wput stören? Normalerweise bekommt ja irgendwelche Fehlermeldungen, wenn was nicht stimmt. Aber bei den Dokumenten von DocuWare zeigt er überhaupt keine Raktion
bin noch weiter am Verzweifeln
Freue mich über jeden Tipp!
Gruß
Hkhan
Servus,
kannst du die Daten "normal" in einen anderen Ordner kopieren oder zippen?
Dokuware wird die Dateien wahrscheinlich sperren.....
Falls das ein Service / Dienst ist - kannst du den vor dem Wput mit Net stop beenden und mit Net start wieder starten?
kannst du die Daten "normal" in einen anderen Ordner kopieren oder zippen?
Dokuware wird die Dateien wahrscheinlich sperren.....
Falls das ein Service / Dienst ist - kannst du den vor dem Wput mit Net stop beenden und mit Net start wieder starten?
Das hab ich mir auch erst gedacht, dass DocuWare die Dateien sperrt. Dürfte jedoch nicht zutreffen, da ich mit anderen Programmen z. B. Total Commander oder mit einem normalen FTP Programm die Dateien hochladen kann!?
ich habe noch einen Anhaltspunkt gefunden: die Ordner die mit wput auf den FTP kopiert werden sollen, sind schreibgeschützt! Könnte das der Grund dafür sein, dass wput auf diese Ordner/Dateien nicht reagiert? Gibt es denn einen speziellen Befehl?
Gruß
Hkhan
Gruß
Hkhan
