aitextgen
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédenteProchaine révisionLes deux révisions suivantes | ||
aitextgen [2020/07/02 17:10] – [OpenAI] serge | aitextgen [2020/07/05 12:00] – [Poésie] serge | ||
---|---|---|---|
Ligne 79: | Ligne 79: | ||
def training(): | def training(): | ||
file_name | file_name | ||
- | train_tokenizer(file_name) | + | train_tokenizer(file_name, vocab_size=20000) |
vocab_file = " | vocab_file = " | ||
merges_file = " | merges_file = " | ||
Ligne 265: | Ligne 265: | ||
La génération de texte est une représentation fidèle du texte d' | La génération de texte est une représentation fidèle du texte d' | ||
- | ====Poésie==== | ||
- | ===Config=== | ||
- | < | ||
- | vocab_size=10000 | ||
- | n_positions=1024 | ||
- | n_ctx=1024 | ||
- | n_embd=768 | ||
- | n_layer=12 | ||
- | n_head=12 | ||
- | bos_token_id=0 | ||
- | eos_token_id=0 | ||
- | max_length=1024 | ||
- | dropout=0.0 | ||
- | batch_size=32 | ||
- | num_steps=180000 | ||
- | |||
- | temps de training 26:37:34 | ||
- | Encoding 50,741 sets of tokens from ./ | ||
- | debut Loss: 6.521 — Avg: 8.438 — GPU Mem: 5174 MB | ||
- | fin Loss: 0.140 — Avg: 0.141 | ||
- | </ | ||
====Roman==== | ====Roman==== | ||
aitextgen.txt · Dernière modification : 2022/02/08 15:59 de serge