Outils pour utilisateurs

Outils du site


aitextgen

Ceci est une ancienne révision du document !


Génération de textes avec aitextgen et GPT-2

Les chercheurs retardent la publication de leurs recherches car ils estiment que GPT2 a un potentiel « trop dangereux », étant donné que cette IA pourrait à terme servir à des actes mal intentionnées comme générer des avis négatifs ou positifs sur des produits, des spams, des textes complotistes, voire des fausses nouvelles8. cf W

Quel carte graphique choisir en Juin 2020

  • RTX 2060 (6 GB): if you want to explore deep learning in your spare time. 360€
  • RTX 2070 or 2080 (8 GB): if you are serious about deep learning, but your GPU budget is $600-800. Eight GB of VRAM can fit the majority of models.
  • RTX 2080 Ti (11 GB): if you are serious about deep learning and your GPU budget is ~$1,200. The RTX 2080 Ti is ~40% faster than the RTX 2080.
  • Titan RTX and Quadro RTX 6000 (24 GB): if you are working on SOTA models extensively, but don't have budget for the future-proofing available with the RTX 8000. 4000€
  • Quadro RTX 8000 (48 GB): you are investing in the future and might even be lucky enough to research SOTA deep learning in 2020. 5500€

Ressources

aitextgen

OpenAI

  • OpenAI sur Wikipedia: OpenAI est une entreprise à « but lucratif plafonné » en intelligence artificielle, basée à San Francisco. L'objectif de cette société est de promouvoir et développer une intelligence artificielle à visage humain qui bénéficiera à toute l'humanité. OpenAI a mis au point une intelligence artificielle nommée GPT2 capable d'écrire des articles de presse et des œuvres de fiction. Reposant sur un générateur de texte qui assimile les mots reçus et détermine la suite la plus logique qu'elle retransmet dans le même style, elle s'avère particulièrement performante, à tel point qu'il est impossible de faire la différence avec un texte écrit par un être humain7.
    Les chercheurs retardent la publication de leurs recherches car ils estiment que GPT2 a un potentiel « trop dangereux », étant donné que cette IA pourrait à terme servir à des actes mal intentionnées comme générer des avis négatifs ou positifs sur des produits, des spams, des textes complotistes, voire des fausses nouvelles8.

Controverse sur GPT-2

Transformers

  • Transformers: State-of-the-art Natural Language Processing for Pytorch and TensorFlow 2.0. Transformers (formerly known as pytorch-transformers and pytorch-pretrained-bert) provides state-of-the-art general-purpose architectures (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, T5, CTRL…) for Natural Language Understanding (NLU) and Natural Language Generation (NLG) with over thousands of pretrained models in 100+ languages and deep interoperability between PyTorch & TensorFlow 2.0.

BERT

  • BERT (traitement automatique du langage) En traitement automatique du langage naturel, BERT, acronyme de Bidirectional Encoder Representations from Transformers, est un modèle de langage (en) développé par Google en 2018. Cette méthode a permis d'améliorer significativement les algorithmes de traitement automatique de la langue.

CamemBERT

The CamemBERT model was proposed in CamemBERT: a Tasty French Language Model by Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric Villemonte de la Clergerie, Djamé Seddah, and Benoît Sagot. It is based on Facebook’s RoBERTa model released in 2019. It is a model trained on 138GB of French text.

FlauBERT

The FlauBERT model was proposed in the paper FlauBERT: Unsupervised Language Model Pre-training for French by Hang Le et al. It’s a transformer pre-trained using a masked language modeling (MLM) objective (BERT-like).

Exemple

Pourquoi ma pi ubuntu.
Je ne suis pas que le temps ou les pistes sont encore sur le
contenu du boire, je ne suis pas que je
c'ai pas le rôle du monde en faire
l'inqui détretre (pour que vous
l'avez bien
Pourquoi ma pi outube pour
souv, j'ai perdre la même temps, c'est un bon sens, il faut pas
ce qu'on croit que l'élégance 
zon est inutile. Ceci est tout à fait à 
part. J'ai eu envie de le dire
Pourquoi ma pi issus de la
périte.
Enfin, vous êtes invité aux amigeaux des plus extrants à tous les artistes
de sonores, au premier au niveau de la ville.
Je prends pas de chasse que de la vidéo, à l
Pourquoi ma pi ordre
   b
Message précédent:
 Salut Benjamin,
 J'ai pas besoin de mon avis et ce que le logo.
 L'erreur de l'élégance 
 tout
 fait, je vais faire un divertissement.
 A mon avis sur le cf

Pense bête pour NFS

aitextgen.1592656501.txt.gz · Dernière modification : 2020/06/20 12:35 de serge