Wie eine statisch Kopie einer Webseite unter Linux erstellen, mit https-Proxy support und Multithreading
Hallo,
ich möchte gerne regelmäßig eine statische Kopie einer Webseite erstellen.
Klingt einfach.
1. Das Programm muss unter Linux (Ubuntu 18 LTS)
2. Die Webseite ist nur per https und per Proxy erreichbar.
3. Der Vorgang muss in einer bestimmten Zeit abgeschlossen sein.
4. Recursiv die ganze Webseite mit Bildern sowie nestet CSS und JS
5. Der Vorgang muss programmgesteuert ohne menschliche Hilfe ablaufen
httrack
Leider hat httrack einen Bug und der Proxy funktioniert nur mit http und nicht mit https.
Kein Update seit 2017
wget
kann kein Multithreading und benötigt fast 20 mal so lange wie htttrack.
wget2
alpha
aria2
kann nur einzelne Dateien runterladen aber nicht parsen.
Kennt Jemand ein Tool was ich einsetzen kann.
Es darf auch etwas kosten.
Stefan
ich möchte gerne regelmäßig eine statische Kopie einer Webseite erstellen.
Klingt einfach.
1. Das Programm muss unter Linux (Ubuntu 18 LTS)
2. Die Webseite ist nur per https und per Proxy erreichbar.
3. Der Vorgang muss in einer bestimmten Zeit abgeschlossen sein.
4. Recursiv die ganze Webseite mit Bildern sowie nestet CSS und JS
5. Der Vorgang muss programmgesteuert ohne menschliche Hilfe ablaufen
httrack
Leider hat httrack einen Bug und der Proxy funktioniert nur mit http und nicht mit https.
Kein Update seit 2017
wget
kann kein Multithreading und benötigt fast 20 mal so lange wie htttrack.
wget2
alpha
aria2
kann nur einzelne Dateien runterladen aber nicht parsen.
Kennt Jemand ein Tool was ich einsetzen kann.
Es darf auch etwas kosten.
Stefan
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 565585
Url: https://administrator.de/forum/wie-eine-statisch-kopie-einer-webseite-unter-linux-erstellen-mit-https-proxy-support-und-multithreading-565585.html
Ausgedruckt am: 14.03.2025 um 16:03 Uhr
16 Kommentare
Neuester Kommentar
Moin,
schau Dir mal curl an, hier eine Feature-Vergleichstabelle: https://curl.haxx.se/docs/comparison-table.html (dort finden sich auch noch andere Tools).
Gruß
cykes
schau Dir mal curl an, hier eine Feature-Vergleichstabelle: https://curl.haxx.se/docs/comparison-table.html (dort finden sich auch noch andere Tools).
Gruß
cykes
Hallo Stefan,
vielleicht fehlt für die korrekte Beantwortung der Hintergrund, aber für eine pure statische und oder offline Kopie hat Httrack bisher wunderbar funktioniert.
Mit Proxy hab ich es noch nie probiert, sure. aber vielleicht liegt es auch am Proxy, dass es generell nicht funktioniert. Daher hintergrund..
Grüße,
Christian
certifiedit.net
vielleicht fehlt für die korrekte Beantwortung der Hintergrund, aber für eine pure statische und oder offline Kopie hat Httrack bisher wunderbar funktioniert.
Mit Proxy hab ich es noch nie probiert, sure. aber vielleicht liegt es auch am Proxy, dass es generell nicht funktioniert. Daher hintergrund..
Grüße,
Christian
certifiedit.net
erfüllt folgende Anforderung nicht so ganz:

Gruß
cykes
1. Das Programm muss unter Linux (Ubuntu 18 LTS) [laufen]
Gruß
cykes

Zitat von @cykes:
erfüllt folgende Anforderung nicht so ganz:

Na und, geht doch mit fast jedem Wind o o f Programm 😁.erfüllt folgende Anforderung nicht so ganz:
1. Das Programm muss unter Linux (Ubuntu 18 LTS) [laufen]