Valodas Modelis: Mašīnmācīšanās modeļa veids

Modeļa mērķis ir aprēķināt vispiemērotāko vārdu, lai pabeigtu nepilnīgu teikumu vai frāzi, pamatojoties uz dotā teksta kontekstu.

Valodas modeļi tiek plaši izmantoti dabiskās valodas apstrādes uzdevumos. Tie tiek pielietoti runas atpazīšanas uzdevumos, lai mazinātu iespēju, ka mākslīgais intelekts kļūdaini atpazīst nepareizu tekstu (t.i., nesakarīgu, zemas varbūtības vārdu kārtību), kā arī mašīntulkošanā (piemēram, tulkojumu variantu kvalitātes novērtēšanā), dabiskās valodas ģenerēšanā (teksta ģenerēšanā), vārdšķiras marķēšanā, rakstzīmju optiskajā pazīšanā, rokraksta atpazīšanā, informācijas izguvē, un daudzos citos uzdevumos.

Tie galvenokārt tiek apmācīti ar lielu teksta datu kopu, piemēram, grāmatu vai dažādu rakstu kolekciju, fokusējoties uz vārdiem, kas veido tekstu, un to attiecībām ar citiem vārdiem. Gatavi modeļi izmanto no apmācībā izmantotās teksta datu kopas izgūtās vārdu attiecības un saistības, lai paredzētu nākamo vārdu teikumā, identificētu statistiski neiederīgos vārdus vai ģenerētu jaunu tekstu, kas ir gramatiski pareizs un semantiski viendabīgs.

Kopš 2018. gada dažādos dabiskās valodas apstrādes uzdevumos iespaidīgus rezultātus ir uzrādījuši lielie valodu modeļi — valodas modeļi, kas sastāv no dziļiem neironu tīkliem, kurus veido miljardiem apmācāmu parametru un kas apmācīti, izmantojot masveida nemarķēta teksta datu kopas. Lielie valodu modeļi paver jaunas iespējas tādās jomās kā meklētājprogrammu izstrādē, dabiskās valodas apstrādē, veselības aprūpē, robotikā un kodu ģenerēšanā. Tie ir kā pamats vairākiem rīkiem, piemēram, OpenAI produktiem — sarunbotam ChatGPT un koda ģenerētājam Codex.