Frage Wie kann ich eine komplette Website herunterladen?


Wie kann ich alle Seiten von einer Website herunterladen?

Jede Plattform ist in Ordnung.


314


Ursprung


Auschecken serverfault.com/questions/45096/website-backup-and-download auf Serverfehler. - Marko Carter
@tnorthcutt, ich bin auch überrascht. Wenn ich mich nicht schrecklich irre, war meine Wget-Antwort die akzeptierte, und das sah nach einer festen Sache aus. Ich beschwere mich jedoch nicht - auf einmal gab mir die erneute Aufmerksamkeit mehr als die Reputation der Bounty. : P - Jonik
hast du IDM versucht? superuser.com/questions/14403/ ... meine Post ist begraben. Was hast du bei IDM vermisst? - Lazer
@joe: Könnte helfen, wenn Sie Details darüber geben würden, was die fehlenden Features sind ... - Ilari Kajaste
browse-offline.com kann den kompletten Baum der Website herunterladen, so dass Sie ... offline blättern können - Menelaos Vergis


Antworten:


HTTRACK funktioniert wie ein Champion, um den Inhalt einer ganzen Site zu kopieren. Dieses Tool kann sogar die Teile greifen, die benötigt werden, um eine Website mit aktivem Code-Inhalt offline arbeiten zu lassen. Ich bin erstaunt über die Dinge, die es offline replizieren kann.

Dieses Programm wird alles tun, was Sie benötigen.

Fröhliches Jagen!


302



Ich benutze dies seit Jahren - sehr zu empfehlen. - Umber Ferrule
Sie können auch die Geschwindigkeit des Downloads begrenzen, so dass Sie nicht zu viel Bandbreite zum Nachteil aller anderen verwenden. - Umber Ferrule
Würde das den tatsächlichen ASP-Code kopieren, der auf dem Server ausgeführt wird? - Taptronic
@Optimal Solutions: Nein, das ist nicht möglich. Sie benötigen dafür Zugriff auf die Server oder den Quellcode. - Sasha Chedygov
Nachdem ich sowohl httrack als auch wget für Sites mit Autorisierung getestet habe, muss ich mich für wget entscheiden. In diesen Fällen konnte httrack nicht funktionieren. - Leo


Wget ist ein klassisches Befehlszeilentool für diese Art von Aufgabe. Es kommt mit den meisten Unix / Linux-Systemen, und Sie können es bekommen für Windows auch. Auf einem Mac Homebrew ist der einfachste Weg, es zu installieren (brew install wget).

Sie würden etwas tun wie:

wget -r --no-parent http://site.com/songs/

Für weitere Details, siehe Wget-Handbuch und sein Beispieleoder z.B. diese:


240



Es gibt keine bessere Antwort als dies - wget kann alles tun: 3 - Phoshi
+1 für die Aufnahme des --no-parent. verwende definitiv --mirror statt -r. und Sie sollten -L / - relativ einschließen, um Links zu anderen Servern nicht zu folgen. - quack quixote
Da ich auch nach httrack.com gefragt habe - würde dieses cmd line tool den ASP bekommen Code Oder würde es nur das Rendern des HTML bekommen? Ich muss das versuchen. Dies könnte für Entwickler ein wenig Besorgnis erregend sein, wenn es ... - Taptronic
@optimal, die HTML-Ausgabe natürlich - es würde den Code nur bekommen, wenn der Server schlecht falsch konfiguriert wurde - Jonik
Leider funktioniert es nicht für mich - es gibt ein Problem mit Links zu CSS-Dateien, sie sind nicht zu relativ geändert, dh Sie können so etwas in Dateien sehen: <link rel = "stylesheet" type = "text / css" href = "/ static / css / reset.css" media = "screen" /> was lokal nicht gut funktioniert, es sei denn, es gibt ein waz, um firefox auszutricksen, um zu denken, dass ein bestimmtes Verzeichnis ein root ist. - gorn


Verwende wget:

wget -m -p -E -k www.example.com

Die Optionen erklärt:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

123



+1 für die Erläuterungen zu den vorgeschlagenen Optionen. (Obwohl ich nicht denke --mirror ist sehr selbsterklärend. Hier ist von der Manpage: "Diese Option aktiviert Rekursion und Zeitstempelung, legt die unendliche Rekursionstiefe fest und speichert FTP-Verzeichnislisten. Es entspricht derzeit -r-N -l inf --no-remove-listing") - Ilari Kajaste
Wenn Sie nicht alles in einen Ordner mit dem Namen der Domäne, die Sie spiegeln möchten, herunterladen möchten, erstellen Sie einen eigenen Ordner und verwenden Sie die Option -nH (die den Host-Teil überspringt). - Rafael Bugajewski
Was ist, wenn die Auth erforderlich ist? - Val
Ich habe versucht, deine zu benutzen wget --mirror -p --html-extension --convert-links www.example.com und es hat gerade den Index heruntergeladen. Ich denke du brauchst das -r um die gesamte Website herunterzuladen. - Eric Brotto
Für diejenigen, die wegen des Treibens einer Website aufgrund von Verkehr / zu vielen Anfragen besorgt sind, verwenden Sie die -w seconds (um eine Anzahl von Sekunden zwischen den Anfragen zu warten, oder die --limit-rate=amount, um die maximale Bandbreite anzugeben, die beim Herunterladen verwendet werden soll - vlad-ardelean


Sie sollten einen Blick darauf werfen Sammelalbum, eine Firefox-Erweiterung. Es hat eine Tiefenerfassungsmodus.

enter image description here


8



Nicht mehr kompatibel mit Firefox nach Version 57 (Quantum). - Yay295


Internet-Download-Manager hat ein Site-Grabber-Dienstprogramm mit vielen Optionen - mit dem Sie jede gewünschte Website ganz nach Ihren Wünschen herunterladen können.

  1. Sie können die Größe der zu downloadenden Seiten / Dateien begrenzen

  2. Sie können die Anzahl der zu besuchenden Zweigstellen festlegen

  3. Sie können die Art ändern, wie sich Skripte / Popups / Duplikate verhalten

  4. Sie können eine Domäne angeben, nur unter dieser Domäne werden alle Seiten / Dateien heruntergeladen, die die erforderlichen Einstellungen erfüllen

  5. Die Links können zum Surfen in Offline-Links umgewandelt werden

  6. Sie haben Vorlagen, mit denen Sie die oben genannten Einstellungen für Sie auswählen können

enter image description here

Die Software ist jedoch nicht kostenlos - sehen Sie, ob es Ihren Anforderungen entspricht, verwenden Sie die Testversion.


8





es nervt - so heißt das Programm!


7





Ich werde auf die Online-Pufferung eingehen, die Browser verwenden ...

In der Regel verwenden die meisten Browser einen Browsing-Cache, um die von einer Website heruntergeladenen Dateien ein wenig beizubehalten, sodass Sie statische Bilder und Inhalte nicht immer wieder herunterladen müssen. Dies kann die Situation unter Umständen etwas beschleunigen. Im Allgemeinen sind die meisten Browser-Caches auf eine feste Größe beschränkt und wenn sie dieses Limit erreichen, werden die ältesten Dateien im Cache gelöscht.

ISPs neigen dazu, Caching-Server zu verwenden, die Kopien häufig aufgerufener Websites wie ESPN und CNN speichern. Dies erspart ihnen die Mühe, diese Seiten jedes Mal zu treffen, wenn jemand in ihrem Netzwerk dorthin geht. Dies kann zu erheblichen Einsparungen bei der Anzahl duplizierter Anforderungen an externe Websites für den ISP führen.


5





ich mag Offline-Explorer.
Es ist eine Shareware, aber es ist sehr gut und einfach zu bedienen.


5





Ich habe das seit vielen Jahren nicht mehr gemacht, aber es gibt immer noch ein paar Utilities da draußen. Vielleicht möchten Sie es versuchen Web Schlange. Ich glaube, ich habe es vor Jahren benutzt. Ich habe mich sofort an den Namen erinnert, als ich deine Frage gelesen habe.

Ich stimme Stacy zu. Bitte hämmer ihre Website nicht. Sehr schlecht.


5





WebZip ist auch ein gutes Produkt.


4





Versuchen BackStreet-Browser.

Es ist ein kostenloser, leistungsstarker Offline-Browser. Ein Hochgeschwindigkeits-Multithreading   Programm zum Herunterladen und Ansehen von Webseiten. Indem Sie mehrere gleichzeitig machen   Serveranforderungen, BackStreet Browser kann schnell herunterladen ganze   Website oder Teil einer Website, einschließlich HTML, Grafiken, Java Applets,   Sound und andere benutzerdefinierbare Dateien und speichert alle Dateien in Ihrem   Festplatte, entweder in ihrem ursprünglichen Format oder als komprimierte ZIP-Datei   und offline anzeigen.

enter image description here


3