Différences

Ci-dessous, les différences entre deux révisions de la page.

--- archiver_et_rendre_statique_un_wiki [2019/10/11 15:36] – Labomedia
+++ archiver_et_rendre_statique_un_wiki [2024/02/27 11:27] (Version actuelle) – [Avec httrack] Benjamin Labomedia
@@ Ligne 1: / Ligne 1: @@
-====== Archiver et rendre statique un wiki ======
+====== Archiver et rendre statique un site web ======
-Ne pas utiliser httrack qui veux toujours aspirer tous les internets !
+Voir aussi le projet [[https://github.com/rhizome-conifer/conifer|Conifer]] de [[https://rhizome.org|Rhizome.org]] pour archiver des sites web complexes (net-art, javascript, ...)
-Exemples de commandes :
+===== Avec httrack =====
-  wget --mirror --convert-links --html-extension --wait=2 -o log http://monsite.org
+[[https://www.httrack.com/|httrack]] est un logiciel qui aspire un site avec de nombreuses options et qui peut aussi s'executer en ligne de commande. Souvent meilleur que wget, c'est surement le meilleur choix actuellement.
-  wget -k -p -r --user-agent='Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36' -R '*Special*' -R '*Help*' -E https://monsite.org
+Il suffit de l'installer via le gestionnaire de paquet de votre distribution Linux / BSD, ou via les binaires à télécharger sur le site pour Windows, OSX, Linux et même Android.
+Une fois installé, lancer simplement en ligne de commande :
+  httrack
-Explication des paramètres :
+Puis suivre le processus en répondant aux questions.
--k: convert links to suit local viewing
+Par exemple, pour télécharger un site complet exemple.org (html, css, js, images, pdf...etc), en limitant à 4 connections / seconde, 400kb/s et 8 connections en même temps max :
--p: download page requisites/dependencies
--r: download recursively
+  httrack --mirror --robots=0 --stay-on-same-domain --keep-links=0 --path example.org --max-rate=409600 --connection-per-second=4 --sockets=8 --quiet https://exemple.org/ -* +exemple.org/*
---user-agent: set "fake" user agent for the purpose of emulating regular browsing as sometimes site checks user agent.
+  httrack --mirror --robots=0 --stay-on-same-domain --keep-links=0 --path /home/pipi/Documents/httrack --max-rate=67108854 --sockets=8 --quiet monsiteweb.org
+===== Avec wget =====
+Avec wget, ça aspire tout un site en bourrant le serveur de requêtes (attention à pas se faire bannir) :
+  wget --mirror --convert-links --html-extension wget --adjust-extension --page-requisites --no-parent -o log http://monsite.org
+Cela aspirera le site en écrivant tout ce qu'il se passe dans un fichier log. En enlevant le paramètre <code>-o log</code> cela affichera tout devant vos yeux victorieux. Pour y aller + molo avec le nombre de requêtes par secondes, vous pouvez ajouer un paramètre <code>--wait=1</code> qui ne fera une requête que toutes les secondes. Du coup ça risque de durer un moment pour un gros site. Pour les autres paramètres :
+<code>
+--mirror : Equivalent à '-r -N -l inf --no-remove-listing', cela permet de faire un mirroir le + exact possible.
+</code>
+<code>
+--convert-links : Cela converti les liens après que le téléchargement est terminé pour relier les assets au HTML (pour une vue locale. Ce qu'il nous faut quoi).
+</code>
+<code>
+--html-extension : Ajoute une extension .html à tous les fichiers téléchargés. Votre Apache/Nginx/etc... vous remerciera.
+--adjust-extension : Ajoute les bonnes extensions aux noms de fichier(html or css) selon leur type
+--page-requisites : télécharge le CSS et les images pour bien afficher la page offline
+--no-parent : quand récursif, évite de remonter au répertoire parent, pour par exeple, ne copier qu'un bout du site
+</code>
 ====Ressources====
   * https://alvinalexander.com/linux-unix/how-to-make-offline-mirror-copy-website-with-wget
   * http://meng6.net/pages/computing/sysadmin/backup_mediawiki/
+  * https://itprohelper.com/mirror-a-website-using-wget/
+{{tag>web}}