Datei automatisch downloaden (Problem mit robots.txt Restriktion und wget)
Moin zusammen,
ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD manuell auf funktioniert der Download.
Über die Aufgabenplanung geht's nicht. Fehler: "Entferne "Hosts.zip.1", da dies zurückgewiesen werden soll.
Hintergrund ist, dass wget sich an dieses weiche Verbot der Robots.txt hält und diese Datei nicht mir zur Verfügung stellen will.
Mein Skript
Nachdem was ich bei Google fand, soll ich dennoch downloaden können mit -e robots=off
Geht aber nicht. (Meldung wie oben)
Hat jemand eine Idee, wie ich das mit wget lösen kann? Oder anders?
Danke für eure Hilfe.
Peter
ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD manuell auf funktioniert der Download.
Über die Aufgabenplanung geht's nicht. Fehler: "Entferne "Hosts.zip.1", da dies zurückgewiesen werden soll.
Hintergrund ist, dass wget sich an dieses weiche Verbot der Robots.txt hält und diese Datei nicht mir zur Verfügung stellen will.
Mein Skript
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off -A zip "http://winhelp2002.mvps.org/hosts.zip"
Nachdem was ich bei Google fand, soll ich dennoch downloaden können mit -e robots=off
Geht aber nicht. (Meldung wie oben)
Hat jemand eine Idee, wie ich das mit wget lösen kann? Oder anders?
Danke für eure Hilfe.
Peter
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 243180
Url: https://administrator.de/contentid/243180
Ausgedruckt am: 05.11.2024 um 15:11 Uhr
7 Kommentare
Neuester Kommentar
Hallo Peter,
hast du mal versucht, eine Wartezeit einzubauen (Parameter --wait 1).
Vgl. http://wget.addictivecode.org/FrequentlyAskedQuestions#How_can_I_make_W ...
Gruß,
Marius
hast du mal versucht, eine Wartezeit einzubauen (Parameter --wait 1).
Vgl. http://wget.addictivecode.org/FrequentlyAskedQuestions#How_can_I_make_W ...
Gruß,
Marius
Moin,
bei mir funktioniert das ganze problemlos mit wget und zwar komplett ohne zusätzliche Paramter ("-p -nd -l 1" sind in dem Fall sowieso obsolet)
lg,
Slainte
bei mir funktioniert das ganze problemlos mit wget und zwar komplett ohne zusätzliche Paramter ("-p -nd -l 1" sind in dem Fall sowieso obsolet)
wget http://winhelp2002.mvps.org/hosts.txt
--08:56:35-- http://winhelp2002.mvps.org/hosts.txt
=> `hosts.txt'
Resolving winhelp2002.mvps.org... done.
Connecting to winhelp2002.mvps.org[216.155.126.40]:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 509,407 [text/plain]
08:56:38 (204.30 KB/s) - `hosts.txt' saved [509407/509407]
lg,
Slainte
Hallo,
zwei nützliche Optionen für WGET:
-N (lädt die Datei nur herunter, wenn sie neuer ist und überschreibt die ursprüngliche Datei - d.h., es entstehen keine hosts.txt.1, 2, 3 etc.)
-O Pfad\zur\Datei (lädt die Datei herunter und speichert sie -unter dem neuen Namen- im angegebenen Ordner).
Gruß,
Gersen
zwei nützliche Optionen für WGET:
-N (lädt die Datei nur herunter, wenn sie neuer ist und überschreibt die ursprüngliche Datei - d.h., es entstehen keine hosts.txt.1, 2, 3 etc.)
-O Pfad\zur\Datei (lädt die Datei herunter und speichert sie -unter dem neuen Namen- im angegebenen Ordner).
Gruß,
Gersen