運算語言學

語言模型（language model）係一種「模擬」語言嘅數學模型。一個語言模型通常會源自畀電腦讀取大量嘅語料，形成一個概率分佈；數學化啲噉講，即係話一個語言模型能夠畀到

${\displaystyle \Pr(w_{1},\ldots ,w_{m})}$ （一句句子啲字係 ${\displaystyle w_{1},\ldots ,w_{m}}$  嘅機率）
${\displaystyle \Pr(w_{5}|w_{1},\ldots ,w_{4})}$ （已知句句子啲字係 ${\displaystyle w_{1},\ldots ,w_{4}}$ ，下一隻字係 ${\displaystyle w_{5}}$  嘅機率）

... 等嘅數值，當中啲機率數值好多時係靠人工神經網絡計出嚟嘅。例如好出名嘅 ChatGPT 就係一個語言模型。

• 自然語言處理