3
Parallele Downloads via Shellscript
Hallo!
Zurzeit arbeite ich an einem Shellscript, welches eine gewisse Anzahl (ca. 20-25) Dateien von verschiedenen Servern (http und ftp) herunterläd. Nach dem download dieser Dateien werden diese verschoben und umbenannt. Der Download erfolgt via wget.
Problem ist nun, das ich immer nur einen Download starte, warte bis dieser fertig ist und anschließend den nächsten starte. wget bietet zwar die möglichkeit als Hintergrundprozess zu arbeiten, womit ich dann, so wie ich mir das denke, mehrer Downloads auf einmal durchführen könnte, aber dann läuft mein Script weiter und bringt mir dadurch natürlich einige Fehlermeldungen, da manche Dateien ja noch nicht vorhanden sind.
Wie könnte ich es nun erreichen, das der Script solange wartet bis alle Downloads abgeschlossen sind? Habe dazu auch schon einige Zeit in die Suche investiert, aber leider noch nicht wirklich etwas dazu gefunden.
Danke schonmal für Eure Hilfe!
Mfg
Zurzeit arbeite ich an einem Shellscript, welches eine gewisse Anzahl (ca. 20-25) Dateien von verschiedenen Servern (http und ftp) herunterläd. Nach dem download dieser Dateien werden diese verschoben und umbenannt. Der Download erfolgt via wget.
Problem ist nun, das ich immer nur einen Download starte, warte bis dieser fertig ist und anschließend den nächsten starte. wget bietet zwar die möglichkeit als Hintergrundprozess zu arbeiten, womit ich dann, so wie ich mir das denke, mehrer Downloads auf einmal durchführen könnte, aber dann läuft mein Script weiter und bringt mir dadurch natürlich einige Fehlermeldungen, da manche Dateien ja noch nicht vorhanden sind.
Wie könnte ich es nun erreichen, das der Script solange wartet bis alle Downloads abgeschlossen sind? Habe dazu auch schon einige Zeit in die Suche investiert, aber leider noch nicht wirklich etwas dazu gefunden.
Danke schonmal für Eure Hilfe!
Mfg
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 78004
Url: https://administrator.de/contentid/78004
Ausgedruckt am: 26.11.2024 um 18:11 Uhr
3 Kommentare
Neuester Kommentar
Ich habe zwar fast keine Ahnung von Linux, aber ich würde für jeden Download ein eigenes Script erstellen und dann von einem zentralen Script aus alle Download-Scripts starten. Das wäre der Ansatz, den ich verfolgen würde.
Leider bringt das nichts, wenn ich die Downloads auslagere. Mal schaun vielleicht ergibt sich ja noch ne andere Möglichkeit. So an sich läuft der Shell-Script gut nur für Anwender die keine schnelle Internetleitung zur Verfügung haben und damit nicht die gesammte Bandbreite eines Servers nutzen können ist es halt weniger angenehm da dauerts dann schon knapp ne Stunde und das sind insgesammt nur knapp 150 MB. Aber danke trotzdem 
Hallo
Baue doch eine Sleep Time ein
sleep 3 = (wartet 3 Sekunden nach dem Prozess und geht automatisch dann weiter)
oder eine Überrüfung ob die Dateien die du runterlädst an dem Ort sind.
Letzteres weiss ich nicht wie es geht, aber es geht das weiss ich.
gruss
bennos
Jobbörse
Baue doch eine Sleep Time ein
sleep 3 = (wartet 3 Sekunden nach dem Prozess und geht automatisch dann weiter)
oder eine Überrüfung ob die Dateien die du runterlädst an dem Ort sind.
Letzteres weiss ich nicht wie es geht, aber es geht das weiss ich.
gruss
bennos
Jobbörse
