Gpt-3: Autoregressiv språkmodell
Generative Pre-trained Transformer 3 (GPT-3) är en autoregressiv språkmodell, som använder djupinlärning för att producera text, som liknar sådan som människor producerar.
Sextio procent av den viktade förträningsdatauppsättningen för GPT-3 kommer från en filtrerad version av Common Crawl som består av 410 miljarder byte-par-kodade tokens. Andra källor är 19 miljarder tokens från WebText2 som representerar 22 % av viktat totalt, 12 miljarder tokens från Books1 som representerar 8 %, 55 miljarder tokens från Books2 representerar 8 % och 3 miljarder tokens från Wikipedia som representerar 3 %.[1]: 9 GPT-3 tränades på hundratals miljarder ord och är kapabel. av kodning i bland annat CSS, JSX, Python.
| Datauppsättning | Antal tokens | Vikt i träningsmix |
|---|---|---|
| Common Crawl | 410 miljarder | 60 % |
| WebText2 | 19 miljarder | 22 % |
| Books1 | 12 miljarder | 8 % |
| Books2 | 55 miljarder | 8 % |
| Wiki | 3 miljarder | 3 % |
Referenser
- Den här artikeln är helt eller delvis baserad på material från engelskspråkiga Wiki, GPT-3, 18 december 2021.
Noter
This article uses material from the Wikipedia Svenska article GPT-3, which is released under the Creative Commons Attribution-ShareAlike 3.0 license ("CC BY-SA 3.0"); additional terms may apply (view authors). Innehållet är tillgängligt under CC BY-SA 4.0 om ingenting annat anges. Images, videos and audio are available under their respective licenses.
®Wikipedia is a registered trademark of the Wiki Foundation, Inc. Wiki Svenska (DUHOCTRUNGQUOC.VN) is an independent company and has no affiliation with Wiki Foundation.