Labomedia Ressources

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
====== Bestiaire IA Fables de La Fontaine ======
<WRAP center round box 60% centeralign>
**[[intelligence_artificielle|Intelligence Artificielle]]**     **[[http://translate.google.com/translate?hl=&sl=auto&tl=en&u=https%3A%2F%2Fressources.labomedia.org%2Fintelligence_artificielle|English Version]]**
</WRAP>

<WRAP center round box 60% centeralign>
**{{tagpage>bestiaire_ia|Toutes les pages sur le Bestiaire Intelligence Artificielle}}**
</WRAP>

=====Ressources=====
Les pages du wiki sur le TAL:{{topic>tal}}


  * **[[tal_traitement_automatique_du_langage_avec_des_fables_de_la_fontaine|]]** Approche rapide  du Traitement Automatique du Langage
  * [[archives:textgenrnn|Générer du texte en python avec textgenrnn]] Page archivée, il faut utiliser aitextgen
  * **[[aitextgen|Génération de textes avec aitextgen et GPT-2]]**
  * [[aitextgen#why_do_we_like_word2vec|Why do we like word2vec]] Nous partons d'un Pre-trained model, puis nous entraînons un Fine-tuned model.
  * [[https://ressources.labomedia.org/numeriser_jean_de_la_fontaine|Numériser Jean de La Fontaine]] : documentation de l'installation artistique associée à //aitextgen//.
=====Première expérience en Juillet 2020=====
  * **[[https://ressources.labomedia.org/aitextgen#fables_de_la_fontaine_a_partir_du_model_tf_gpt2_124m_et_vocab_50275|Fables de La Fontaine à partir du model tf_gpt2="124M" et vocab = 50275]]** avec textgenrnn

=====aitextgen=====
  * **[[https://github.com/minimaxir/aitextgen|aitextgen]]** sur GitHub. A robust Python tool for text-based AI training and generation using OpenAI's GPT-2 and EleutherAI's GPT Neo/GPT-3 architecture de [[https://github.com/minimaxir|minimaxir]]
  * **[[https://docs.aitextgen.io/|docs.aitextgen.io]]**

=====Modèles possibles=====
====belgpt2====
**[[https://github.com/antoiloui/belgpt2|belgpt2]]** Belgian GPT-2: A GPT-2 model pre-trained on a very large and heterogeneous French corpus (~60Gb).

====4 Modèles de GPT2===
Extrait de: **[[https://medium.com/walmartglobaltech/the-journey-of-open-ai-gpt-models-32d95b7b7fb2|The Journey of Open AI GPT models]]** sur medium.com\\
The authors trained four language models with 117M (same as GPT-1), 345M, 762M and 1.5B (GPT-2) parameters.

====GPT Neo ====
125M/350M **[[https://www.eleuther.ai/projects/gpt-neo/|GPT Neo]]** model from **[[https://www.eleuther.ai/|EleutherAI]]**

====create your own GPT-2/GPT Neo model====
+ tokenizer and train from scratch!

=====Installation de aitextgen=====
Dans un environnement virtuel, que j'appelle toujours mon_env, il n'est pas caché, il n'y a que moi qui appelle ça comme ça, c'est sans ambiguïté, c'est pédagogique.

Le tout télécharge des gros paquets: entre 1 et 2 Go, ... patience ...
<code bash>
# Installation et Mise à jour du module pip
sudo apt install python3-pip
python3 -m pip install --upgrade pip
# Installation de venv
sudo apt install python3-venv
</code>

Dans votre dossier "projets", par exemple /home/machin/projets
<code bash>
git clone https://github.com/sergeLabo/La_Fontaine
# Allez dans le dossier des sources
cd ./La_Fontaine
python3 -m venv mon_env
source mon_env/bin/activate
python3 -m pip install -r requirements.txt
</code>

====Tester====
Dans le dossier La_Fontaine:
  ./mon_env/bin/python3 example_generating.py
  
=====Toutes les fables de La Fontaine=====
Dans un fichier txt propre:  **{{ :media_15:fables.txt.zip |}}**

{{tag> bestiaire_ia sb tal  ia}}