Outils pour utilisateurs

Outils du site


archiver_et_rendre_statique_un_wiki

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
archiver_et_rendre_statique_un_wiki [2020/10/09 07:01] – Tag0 Added: web sergearchiver_et_rendre_statique_un_wiki [2024/02/27 11:27] (Version actuelle) – [Avec httrack] Benjamin Labomedia
Ligne 1: Ligne 1:
 ====== Archiver et rendre statique un site web ====== ====== Archiver et rendre statique un site web ======
  
-Ne pas utiliser httrack qui veux toujours aspirer tous les internets !+Voir aussi le projet [[https://github.com/rhizome-conifer/conifer|Conifer]] de [[https://rhizome.org|Rhizome.org]] pour archiver des sites web complexes (net-art, javascript, ...)
  
-Par contre, cette commande aspire tout un site en bourrant le serveur de requêtes (attention à pas se faire bannir) :+===== Avec httrack =====
  
-  wget --mirror --convert-links --html-extension -o log http://monsite.org+[[https://www.httrack.com/|httrack]] est un logiciel qui aspire un site avec de nombreuses options et qui peut aussi s'executer en ligne de commande. Souvent meilleur que wget, c'est surement le meilleur choix actuellement. 
 + 
 +Il suffit de l'installer via le gestionnaire de paquet de votre distribution Linux / BSD, ou via les binaires à télécharger sur le site pour Windows, OSX, Linux et même Android. 
 + 
 +Une fois installé, lancer simplement en ligne de commande : 
 + 
 +  httrack 
 +   
 +Puis suivre le processus en répondant aux questions. 
 + 
 +Par exemple, pour télécharger un site complet exemple.org (html, css, js, images, pdf...etc), en limitant à 4 connections / seconde, 400kb/s et 8 connections en même temps max : 
 + 
 +  httrack --mirror --robots=0 --stay-on-same-domain --keep-links=0 --path example.org --max-rate=409600 --connection-per-second=4 --sockets=8 --quiet https://exemple.org/ -* +exemple.org/
 +  httrack --mirror --robots=0 --stay-on-same-domain --keep-links=0 --path /home/pipi/Documents/httrack --max-rate=67108854 --sockets=8 --quiet monsiteweb.org 
 + 
 +===== Avec wget ===== 
 + 
 +Avec wget, ça aspire tout un site en bourrant le serveur de requêtes (attention à pas se faire bannir) : 
 + 
 +  wget --mirror --convert-links --html-extension wget --adjust-extension --page-requisites --no-parent -o log http://monsite.org
      
 Cela aspirera le site en écrivant tout ce qu'il se passe dans un fichier log. En enlevant le paramètre <code>-o log</code> cela affichera tout devant vos yeux victorieux. Pour y aller + molo avec le nombre de requêtes par secondes, vous pouvez ajouer un paramètre <code>--wait=1</code> qui ne fera une requête que toutes les secondes. Du coup ça risque de durer un moment pour un gros site. Pour les autres paramètres : Cela aspirera le site en écrivant tout ce qu'il se passe dans un fichier log. En enlevant le paramètre <code>-o log</code> cela affichera tout devant vos yeux victorieux. Pour y aller + molo avec le nombre de requêtes par secondes, vous pouvez ajouer un paramètre <code>--wait=1</code> qui ne fera une requête que toutes les secondes. Du coup ça risque de durer un moment pour un gros site. Pour les autres paramètres :
Ligne 17: Ligne 36:
 <code> <code>
 --html-extension : Ajoute une extension .html à tous les fichiers téléchargés. Votre Apache/Nginx/etc... vous remerciera. --html-extension : Ajoute une extension .html à tous les fichiers téléchargés. Votre Apache/Nginx/etc... vous remerciera.
 +--adjust-extension : Ajoute les bonnes extensions aux noms de fichier(html or css) selon leur type
 +--page-requisites : télécharge le CSS et les images pour bien afficher la page offline
 +--no-parent : quand récursif, évite de remonter au répertoire parent, pour par exeple, ne copier qu'un bout du site
 </code> </code>
  
Ligne 23: Ligne 45:
   * https://alvinalexander.com/linux-unix/how-to-make-offline-mirror-copy-website-with-wget   * https://alvinalexander.com/linux-unix/how-to-make-offline-mirror-copy-website-with-wget
   * http://meng6.net/pages/computing/sysadmin/backup_mediawiki/   * http://meng6.net/pages/computing/sysadmin/backup_mediawiki/
 +  * https://itprohelper.com/mirror-a-website-using-wget/
  
 {{tag>web}} {{tag>web}}
archiver_et_rendre_statique_un_wiki.1602226883.txt.gz · Dernière modification : 2020/10/09 07:01 de serge