Différences

Ci-dessous, les différences entre deux révisions de la page.

--- bestiaire_ia_fables_de_la_fontaine [2022/02/08 15:21] – [Première expérience en Juillet 2020] serge
+++ bestiaire_ia_fables_de_la_fontaine [2022/03/07 16:09] (Version actuelle) – Simon Deplat
@@ Ligne 9: / Ligne 9: @@
 =====Ressources=====
+Les pages du wiki sur le TAL:{{topic>tal}}
   * **[[tal_traitement_automatique_du_langage_avec_des_fables_de_la_fontaine|]]** Approche rapide  du Traitement Automatique du Langage
   * [[archives:textgenrnn|Générer du texte en python avec textgenrnn]] Page archivée, il faut utiliser aitextgen
   * **[[aitextgen|Génération de textes avec aitextgen et GPT-2]]**
+  * [[aitextgen#why_do_we_like_word2vec|Why do we like word2vec]] Nous partons d'un Pre-trained model, puis nous entraînons un Fine-tuned model.
+  * [[https://ressources.labomedia.org/numeriser_jean_de_la_fontaine|Numériser Jean de La Fontaine]] : documentation de l'installation artistique associée à //aitextgen//.
 =====Première expérience en Juillet 2020=====
   * **[[https://ressources.labomedia.org/aitextgen#fables_de_la_fontaine_a_partir_du_model_tf_gpt2_124m_et_vocab_50275|Fables de La Fontaine à partir du model tf_gpt2="124M" et vocab = 50275]]** avec textgenrnn
 =====aitextgen=====
@@ Ligne 22: / Ligne 24: @@
   * **[[https://docs.aitextgen.io/|docs.aitextgen.io]]**
-=====4 Modèles de GPT2====
+=====Modèles possibles=====
+====belgpt2====
+**[[https://github.com/antoiloui/belgpt2|belgpt2]]** Belgian GPT-2: A GPT-2 model pre-trained on a very large and heterogeneous French corpus (~60Gb).
+====4 Modèles de GPT2===
 Extrait de: **[[https://medium.com/walmartglobaltech/the-journey-of-open-ai-gpt-models-32d95b7b7fb2|The Journey of Open AI GPT models]]** sur medium.com\\
 The authors trained four language models with 117M (same as GPT-1), 345M, 762M and 1.5B (GPT-2) parameters.
+====GPT Neo ====
+M/350M **[[https://www.eleuther.ai/projects/gpt-neo/|GPT Neo]]** model from **[[https://www.eleuther.ai/|EleutherAI]]**
+====create your own GPT-2/GPT Neo model====
++ tokenizer and train from scratch!
+=====Installation de aitextgen=====
+Dans un environnement virtuel, que j'appelle toujours mon_env, il n'est pas caché, il n'y a que moi qui appelle ça comme ça, c'est sans ambiguïté, c'est pédagogique.
+Le tout télécharge des gros paquets: entre 1 et 2 Go, ... patience ...
+<code bash>
+# Installation et Mise à jour du module pip
+sudo apt install python3-pip
+python3 -m pip install --upgrade pip
+# Installation de venv
+sudo apt install python3-venv
+</code>
+Dans votre dossier "projets", par exemple /home/machin/projets
+<code bash>
+git clone https://github.com/sergeLabo/La_Fontaine
+# Allez dans le dossier des sources
+cd ./La_Fontaine
+python3 -m venv mon_env
+source mon_env/bin/activate
+python3 -m pip install -r requirements.txt
+</code>
+====Tester====
+Dans le dossier La_Fontaine:
+  ./mon_env/bin/python3 example_generating.py
+=====Toutes les fables de La Fontaine=====
+Dans un fichier txt propre:  **{{ :media_15:fables.txt.zip |}}**
-{{tag>bestiaire_ia}}
+{{tag> bestiaire_ia sb tal }}