aitextgen
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
aitextgen [2020/07/24 16:02] – [Why do we like Word2vec?] serge | aitextgen [2022/02/08 15:59] (Version actuelle) – Tag0 Removed: text_gen serge | ||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
====== Génération de textes avec aitextgen et GPT-2====== | ====== Génération de textes avec aitextgen et GPT-2====== | ||
+ | |||
+ | <WRAP center round box 60% centeralign> | ||
+ | **{{tagpage> | ||
+ | </ | ||
+ | <WRAP center round box 60% centeralign> | ||
+ | **[[les_pages_intelligence_artificielle_en_details|Les Pages Intelligence Artificielle en détails]]** | ||
+ | </ | ||
<WRAP center round box 80% centeralign> | <WRAP center round box 80% centeralign> | ||
- | **{{tagpage> | + | **{{tagpage> |
</ | </ | ||
<WRAP center round box 80% centeralign> | <WRAP center round box 80% centeralign> | ||
- | **Cette page est la suite de [[textgenrnn|Générer du texte en python avec textgenrnn]]** | + | **Cette page est la suite de [[archives:textgenrnn|Générer du texte en python avec textgenrnn]]** |
</ | </ | ||
<WRAP center round box 80% centeralign> | <WRAP center round box 80% centeralign> | ||
- | Les chercheurs retardent la publication de leurs recherches car ils estiment que GPT2 a un potentiel « trop dangereux », étant donné que cette IA pourrait à terme servir à des actes mal intentionnées comme générer des avis négatifs ou positifs sur des produits, des spams, des textes complotistes, | + | Les chercheurs retardent la publication de leurs recherches car ils estiment que GPT2 a un potentiel « trop dangereux », étant donné que cette IA pourrait à terme servir à des actes mal intentionnées comme générer des avis négatifs ou positifs sur des produits, des spams, des textes complotistes, |
+ | Bien sûr, tout a été publié, y compris le modèle big de 1.5 Go. | ||
</ | </ | ||
=====Why do we like Word2vec? | =====Why do we like Word2vec? | ||
+ | {{ : | ||
* **[[https:// | * **[[https:// | ||
* **[[https:// | * **[[https:// | ||
- | =====Quel carte graphique choisir en Juin 2020===== | ||
- | * **[[https:// | ||
- | * RTX 2060 (6 GB): if you want to explore deep learning in your spare time. 360€ | ||
- | * RTX 2070 or 2080 (8 GB): if you are serious about deep learning, but your GPU budget is $600-800. Eight GB of VRAM can fit the majority of models. | ||
- | * RTX 2080 Ti (11 GB): if you are serious about deep learning and your GPU budget is ~$1,200. The RTX 2080 Ti is ~40% faster than the RTX 2080. | ||
- | * Titan RTX and Quadro RTX 6000 (24 GB): if you are working on SOTA models extensively, | ||
- | * Quadro RTX 8000 (48 GB): you are investing in the future and might even be lucky enough to research SOTA deep learning in 2020. 5500€ | ||
===== Ressources ===== | ===== Ressources ===== | ||
====aitextgen==== | ====aitextgen==== | ||
Ligne 58: | Ligne 60: | ||
=====Générateur de texte en ligne===== | =====Générateur de texte en ligne===== | ||
* **[[https:// | * **[[https:// | ||
- | ===== Fables de La Fontaine ===== | + | ===== Fables de La Fontaine |
- | Suite de [[textgenrnn# | + | Suite de [[archives:textgenrnn# |
<code python training.py> | <code python training.py> | ||
Ligne 255: | Ligne 257: | ||
</ | </ | ||
+ | Les datas sont trop pourries, le résultat est très médiocre ! | ||
===== Des textes dans le domaine public du Projet Gutemberg ===== | ===== Des textes dans le domaine public du Projet Gutemberg ===== | ||
**[[http:// | **[[http:// | ||
Ligne 293: | Ligne 296: | ||
=====Fables de La Fontaine avec la config de bouquineux===== | =====Fables de La Fontaine avec la config de bouquineux===== | ||
- | ==== vocab=40000 ==== | + | ==== Avec la configuration de bouquineux et vocab=40000 ==== |
{{ : | {{ : | ||
+ | Remarque: Les Fables ont environ 13000 tokens, le vocab devrait se limiter à 14000 !\\ | ||
Testing pas mal mais quand même bourré d' | Testing pas mal mais quand même bourré d' | ||
Ligne 301: | Ligne 305: | ||
* Apprentissage très rapide | * Apprentissage très rapide | ||
* texte générés comme les précédents | * texte générés comme les précédents | ||
- | * mais gpt-2 est construit sur des textes anglais | ||
=====Fables de La Fontaine à partir du model tf_gpt2=" | =====Fables de La Fontaine à partir du model tf_gpt2=" | ||
Ligne 307: | Ligne 310: | ||
C'est le meilleur générateur de texte, avec un apprentissage de 16 heures ! | C'est le meilleur générateur de texte, avec un apprentissage de 16 heures ! | ||
</ | </ | ||
+ | <WRAP center round tip 60%> | ||
+ | tf_gpt2=" | ||
+ | </ | ||
====Affinage du model existant tf_gpt2=" | ====Affinage du model existant tf_gpt2=" | ||
* [[https:// | * [[https:// | ||
Ligne 333: | Ligne 338: | ||
====Les sources sur GitHub==== | ====Les sources sur GitHub==== | ||
- | * [[|]] | + | |
- | =====Comment construire à partir d'un BERT model===== | ||
- | <WRAP center round todo 60%> | ||
- | Veille technologique à suivre .......... | ||
- | </ | ||
- | * https:// | ||
- | * https:// | ||
- | * https:// | ||
- | * https:// | ||
- | =====Pense bête pour NFS===== | ||
- | * [[https:// | ||
- | {{tag>ia python | + | {{tag> ia python sb tal }} |
aitextgen.txt · Dernière modification : 2022/02/08 15:59 de serge