Différences

Ci-dessous, les différences entre deux révisions de la page.

--- aitextgen [2020/07/24 16:00] – [Génération de textes avec aitextgen et GPT-2] serge
+++ aitextgen [2022/02/08 15:59] (Version actuelle) – Tag0 Removed: text_gen serge
@@ Ligne 1: / Ligne 1: @@
 ====== Génération de textes avec aitextgen et GPT-2======
+<WRAP center round box 60% centeralign>
+**{{tagpage>ia|Intelligence Artificielle}}**     **[[http://translate.google.com/translate?hl=&sl=auto&tl=en&u=https%3A%2F%2Fressources.labomedia.org%2Faitextgen|English Version]]**
+</WRAP>
+<WRAP center round box 60% centeralign>
+**[[les_pages_intelligence_artificielle_en_details|Les Pages Intelligence Artificielle en détails]]**
+</WRAP>
 <WRAP center round box 80% centeralign>
-**{{tagpage>tal|Traitement Automatique du Langage}}** **{{tagpage>ia|Intelligence Artificielle}}**
+**{{tagpage>tal|Traitement Automatique du Langage}}**
 </WRAP>
 <WRAP center round box 80% centeralign>
-**Cette page est la suite de [[textgenrnn|Générer du texte en python avec textgenrnn]]**
+**Cette page est la suite de [[archives:textgenrnn|Générer du texte en python avec textgenrnn]]**
 </WRAP>
 <WRAP center round box 80% centeralign>
-Les chercheurs retardent la publication de leurs recherches car ils estiment que GPT2 a un potentiel « trop dangereux », étant donné que cette IA pourrait à terme servir à des actes mal intentionnées comme générer des avis négatifs ou positifs sur des produits, des spams, des textes complotistes, voire des fausses nouvelles. cf **[[https://fr.wikipedia.org/wiki/OpenAI#GPT2|W]]**
+Les chercheurs retardent la publication de leurs recherches car ils estiment que GPT2 a un potentiel « trop dangereux », étant donné que cette IA pourrait à terme servir à des actes mal intentionnées comme générer des avis négatifs ou positifs sur des produits, des spams, des textes complotistes, voire des fausses nouvelles. cf **[[https://fr.wikipedia.org/wiki/OpenAI#GPT2|W]]**\\
+Bien sûr, tout a été publié, y compris le modèle big de 1.5 Go.
 </WRAP>
 =====Why do we like Word2vec?=====
+{{ :media_10:d0iwslbsoruw1j6q-w.png?direct&600 |}}
   * **[[https://towardsdatascience.com/representing-text-in-natural-language-processing-1eead30e57d8|Representing text in natural language processing]]**
-=====Quel carte graphique choisir en Juin 2020=====
+  * **[[https://nlp.stanford.edu/pubs/glove.pdf|GloVe: Global Vectors for Word Representation]]**
-  * **[[https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/|Choosing the Best GPU for Deep Learning in 2020]]**
-    * RTX 2060 (6 GB): if you want to explore deep learning in your spare time. 360€
-    * RTX 2070 or 2080 (8 GB): if you are serious about deep learning, but your GPU budget is $600-800. Eight GB of VRAM can fit the majority of models.
-    * RTX 2080 Ti (11 GB): if you are serious about deep learning and your GPU budget is ~$1,200. The RTX 2080 Ti is ~40% faster than the RTX 2080.
-    * Titan RTX and Quadro RTX 6000 (24 GB): if you are working on SOTA models extensively, but don't have budget for the future-proofing available with the RTX 8000. 4000€
-    * Quadro RTX 8000 (48 GB): you are investing in the future and might even be lucky enough to research SOTA deep learning in 2020. 5500€
 ===== Ressources =====
 ====aitextgen====
@@ Ligne 57: / Ligne 60: @@
 =====Générateur de texte en ligne=====
   * **[[https://gpt2.ai-demo.xyz/|OpenAI GPT2 Scratch Pad]]**
-===== Fables de La Fontaine =====
+===== Fables de La Fontaine avec un modèle entièrement créé=====
-Suite de [[textgenrnn#avec_des_fables_de_la_fontaine|Avec des fables de La Fontaine]]
+Suite de [[archives:textgenrnn#avec_des_fables_de_la_fontaine|Avec des fables de La Fontaine]]
 <code python training.py>
@@ Ligne 254: / Ligne 257: @@
 </code>
+Les datas sont trop pourries, le résultat est très médiocre !
 ===== Des textes dans le domaine public du Projet Gutemberg =====
 **[[http://www.gutenberg.org/|Free eBooks - Project Gutenberg]]**
@@ Ligne 292: / Ligne 296: @@
 =====Fables de La Fontaine avec la config de bouquineux=====
-==== vocab=40000 ====
+==== Avec la configuration de bouquineux et vocab=40000 ====
 {{ :media_10:loss_fables.png?600 |}}
+Remarque: Les Fables ont environ 13000 tokens, le vocab devrait se limiter à 14000 !\\
 Testing pas mal mais quand même bourré d'erreur !
@@ Ligne 300: / Ligne 305: @@
   * Apprentissage très rapide
   * texte générés comme les précédents
-  * mais gpt-2 est construit sur des textes anglais
 =====Fables de La Fontaine à partir du model tf_gpt2="124M" et vocab = 50275=====
@@ Ligne 306: / Ligne 310: @@
 C'est le meilleur générateur de texte, avec un apprentissage de 16 heures !
 </WRAP>
+<WRAP center round tip 60%>
+tf_gpt2="124M" à une taille de 50275, il faut conserver cette valeur !
+</WRAP>
 ====Affinage du model existant tf_gpt2="124M"====
   * [[https://openai.com/blog/gpt-2-1-5b-release/|openai.com/blog/: GPT-2: 1.5B Release]]
@@ Ligne 332: / Ligne 338: @@
 ====Les sources sur GitHub====
-  * [[|]]
+  * **[[https://github.com/sergeLabo/fables_gpt2_small|fables_gpt2_small]]**
-=====Comment construire à partir d'un BERT model=====
-<WRAP center round todo 60%>
-Veille technologique à suivre ..........
-</WRAP>
-  * https://camembert-model.fr/ construit avec https://oscar-corpus.com/
-  * https://en.wikipedia.org/wiki/Natural-language_generation Natural-language generation NLG
-  * https://prakhartechviz.blogspot.com/2020/04/natural-language-generation-using-bert.html Can BERT be used to generate Natural Language? Yes, BERT can be used for generating Natural Language but not of so very good quality like GPT2.
-  * https://jep-taln2020.loria.fr/wp-content/uploads/JEP-TALN-RECITAL-2020_paper_151.pdf Les modèles de langue contextuelsCAMEMBERTpour lefrançais : impact de la taille et de l’hétérogénéité des donnéesd’entrainement 08-19juin2020
-=====Pense bête pour NFS=====
-  * [[https://wiki.debian-fr.xyz/Partage_NFS|Partage NFS]]
-{{tag>ia python python3 tal aitextgen sb rnn}}
+{{tag> ia python sb tal }}