Différences

Ci-dessous, les différences entre deux révisions de la page.

--- archiver_et_rendre_statique_un_wiki [2020/10/09 07:01] – Tag0 Added: web serge
+++ archiver_et_rendre_statique_un_wiki [2026/04/22 23:28] (Version actuelle) – [Avec httrack] Labomedia
@@ Ligne 1: / Ligne 1: @@
 ====== Archiver et rendre statique un site web ======
-Ne pas utiliser httrack qui veux toujours aspirer tous les internets !
+Voir aussi le projet [[https://github.com/rhizome-conifer/conifer|Conifer]] de [[https://rhizome.org|Rhizome.org]] pour archiver des sites web complexes (net-art, javascript, ...)
-Par contre, cette commande aspire tout un site en bourrant le serveur de requêtes (attention à pas se faire bannir) :
+===== Avec httrack =====
-  wget --mirror --convert-links --html-extension -o log http://monsite.org
+[[https://www.httrack.com/|httrack]] est un logiciel qui aspire un site avec de nombreuses options et qui peut aussi s'executer en ligne de commande. Souvent meilleur que wget, c'est surement le meilleur choix actuellement.
+Il suffit de l'installer via le gestionnaire de paquet de votre distribution Linux / BSD, ou via les binaires à télécharger sur le site pour Windows, OSX, Linux et même Android.
+Une fois installé, lancer simplement en ligne de commande :
+  httrack
+Puis suivre le processus en répondant aux questions.
+Par exemple, pour télécharger un site complet exemple.org (html, css, js, images, pdf...etc), en limitant à 4 connections / seconde, 400kb/s et 8 connections en même temps max :
+  httrack --mirror --robots=0 --stay-on-same-domain --keep-links=0 --path /directory/where/to/backup --max-rate=409600 --connection-per-second=4 --sockets=8 --disable-security-limits --quiet https://exemple.org/ -* +exemple.org/*
+===== Avec wget =====
+Avec wget, ça aspire tout un site en bourrant le serveur de requêtes (attention à pas se faire bannir) :
+  wget --mirror --convert-links --html-extension --adjust-extension --page-requisites --no-parent -o log http://monsite.org
 Cela aspirera le site en écrivant tout ce qu'il se passe dans un fichier log. En enlevant le paramètre <code>-o log</code> cela affichera tout devant vos yeux victorieux. Pour y aller + molo avec le nombre de requêtes par secondes, vous pouvez ajouer un paramètre <code>--wait=1</code> qui ne fera une requête que toutes les secondes. Du coup ça risque de durer un moment pour un gros site. Pour les autres paramètres :
@@ Ligne 17: / Ligne 35: @@
 <code>
 --html-extension : Ajoute une extension .html à tous les fichiers téléchargés. Votre Apache/Nginx/etc... vous remerciera.
+--adjust-extension : Ajoute les bonnes extensions aux noms de fichier(html or css) selon leur type
+--page-requisites : télécharge le CSS et les images pour bien afficher la page offline
+--no-parent : quand récursif, évite de remonter au répertoire parent, pour par exeple, ne copier qu'un bout du site
 </code>
+Pour archiver un site web dont une partie des images est stockée sur une autre url : utiliser l'option --domains= (marche presque)
+  wget --recursive --level=inf --page-requisites --adjust-extension --span-hosts --convert-links --restrict-file-names=windows --domains=i0.wp.com,feministfrequency.com feministfrequency.com
 ====Ressources====
   * https://alvinalexander.com/linux-unix/how-to-make-offline-mirror-copy-website-with-wget
   * http://meng6.net/pages/computing/sysadmin/backup_mediawiki/
+  * https://itprohelper.com/mirror-a-website-using-wget/
 {{tag>web}}