概率分佈一覽

概率分佈（probability distribution）係指一個表明某個變數每個可能數值出現嘅機會率嘅函數，

${\displaystyle \Pr(X=x)=f(x)}$

當中 ${\displaystyle f}$ 就係個概率分佈；呢個函數可以畫做一個表，X 軸代表個目標變數嘅數值，Y 軸代表嗰個目標變數嘅每個數值出現嘅機率；是但搵個變數 ${\displaystyle X}$，${\displaystyle X}$ 喺總體當中有一個概率分佈，表示 ${\displaystyle X}$ 每個可能數值 ${\displaystyle x}$ 出現嘅機率，呢個分佈喺實際上係不可知嘅，研究者淨係有得攞樣本，量度樣本當中嘅概率分佈（喺個樣本入面，${\displaystyle X}$ 嘅每個可能數值出現嘅機率大約係幾多），靠噉嚟估計個總體嘅分佈。

喺廿一世紀統計學上，比較常用嘅概率分佈有以下呢啲：

離散概率分佈（discrete probability distribution）：指所描述嘅變數 ${\displaystyle X}$  嘅可能數值係離散嘅概率分佈。

• 概率質量函數（probability mass function，PMF）：描述一個離散概率分佈嘅函數；一個離散概率分佈嘅 PMF 會講明嗰個概率分佈嘅每一個離散可能數值出現嘅機會率：
  ${\displaystyle \sum p_{X}(x_{i})=1}$ ，啲可能性嘅機率冚唪唥加埋係 1；
  ${\displaystyle p(x_{i})>0}$ ，每個可能性嘅機率大過 0；
  ${\displaystyle p(x)=0{\text{ for all other x}}}$ ，啲可能性以外嘅數值出現嘅機會率係 0。

 

• 離散均勻分佈（discrete uniform distribution）：每個可能離散數值出現嘅機率都一樣，概率質量函數係：
  ${\displaystyle f(x)={\frac {1}{n}}}$ ，當中 ${\displaystyle n}$  係 ${\displaystyle X}$  有幾多個可能數值。
• 伯努利分佈（Bernoulli distribution）：描述嘅變數 ${\displaystyle k}$  得兩個可能數值，數值係 1 嘅機會率係 ${\displaystyle p}$ ，數值係 0 嘅機會率係 ${\displaystyle q=(1-p)}$ ，概率質量函數 ${\displaystyle f(k;p)}$  係：
  ${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$ 
  • 廣義伯努利分佈（generalized Bernoulli distribution / multinoulli distribution）：描述嘅變數 ${\displaystyle k}$  有 ${\displaystyle n}$  個離散可能數值，概率質量函數係：
    ${\displaystyle f(i)={\begin{cases}p_{1}&{\text{if }}i=1,\\p_{2}&{\text{if }}i=2,\\p_{3}&{\text{if }}i=3,\\...\end{cases}}}$ 

• 二項分佈（binomial distribution）：描述 ${\displaystyle n}$  次結果二元嘅試驗；想像有個結果係二元－得兩個可能結果（1 同 0）－嘅試驗，例如掟銀仔，做 ${\displaystyle n}$  咁多次，每次試驗嘅結果都有 ${\displaystyle p}$  咁多機會率係 1， ${\displaystyle q=(1-p)}$  咁多機會率係 0，而每次試驗嘅結果都係獨立嘅（一次試驗嘅結果唔受其他試驗嘅結果影響）。概率質量函數 ${\displaystyle f(k,n,p)}$ ，即係得出 ${\displaystyle k}$  咁多個 1 嘅機會率係：
  ${\displaystyle f(k,n,p)=\Pr(k;n,p)=\Pr(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}}$ 
  • 多項分佈（multinomial distribution）：係二項分佈嘅廣義化，描述嘅試驗有 ${\displaystyle k}$  個可能結果，做 ${\displaystyle n}$  咁多次（想像掟一粒 ${\displaystyle k}$  面嘅骰仔掟 ${\displaystyle n}$  咁多次）。概率質量函數係：
    ${\displaystyle f(k,n,p)={\frac {n!}{x_{1}!\cdots x_{k}!}}p_{1}^{x_{1}}\cdots p_{k}^{x_{k}}}$ 

 

• 幾何分佈（geometric distribution）：可以指兩個唔同嘅概率分佈，兩者都涉及一個結果二元嘅試驗：
  • 做咗個試驗 ${\displaystyle k}$  次，終於得到 1 次陽性結果，而之前嗰啲試驗結果冚唪唥都係陰性：
    ${\displaystyle \Pr(X=k)=(1-p)^{k-1}p}$ 
    ${\displaystyle {\text{for }}k=1,2,3,...}$ 
  • ${\displaystyle k}$  代表要做幾多次陰性試驗，先可以得到一次陽性結果：
    ${\displaystyle \Pr(Y=k)=(1-p)^{k}p}$ 
    ${\displaystyle {\text{for }}k=0,1,2,3,...}$ 

 

• 撥桑分佈（Poisson distribution）：模擬嘅事件有已知嘅平均發生率，而每件事件嘅發生彼此之間獨立，發生嘅次數設做 ${\displaystyle k}$ ，概率質量函數係：
  ${\displaystyle \!f(k;\lambda )=\Pr(X=k)={\frac {\lambda ^{k}e^{-\lambda }}{k!}}}$ ，當中 ${\displaystyle \lambda }$  係預期會發生嘅次數（唔一定係整數）。

 

連續概率分佈（continuous probability distribution）：指所描述嘅變數 ${\displaystyle X}$  嘅可能數值係連續嘅。

• 概率密度函數（probability density function，PDF）：描述一個連續概率分佈嘅函數；一個連續概率分佈嘅 PDF 會講明嗰個概率分佈嘅每一個可能數值出現嘅機會率大約係幾多，
  ${\displaystyle \Pr(X=x)=f(x)}$ 。
• 均勻分佈（continuous uniform distribution，簡稱 uniform distribution）：喺 ${\displaystyle a}$ （最細可能數值）同 ${\displaystyle b}$ （最大可能數值）之間嘅每個可能數值 ${\displaystyle x}$  出現嘅機會率都一樣，概率密度函數係：
  ${\displaystyle {\begin{cases}{\frac {1}{b-a}}&{\text{for}}\ a\leq x\leq b,\\0&{\text{otherwise}}.\end{cases}}}$ 
• 常態分佈（normal distribution）：統計分析上最常用嘅概率分佈之一；喺常態分佈下，出現得最頻密嘅數值會係個平均數 ${\displaystyle \mu }$ ，而離平均數愈遠嘅數值就愈少會出現，畫做圖嘅話會出一條鐘形線（bell curve）；常見可以用常態分佈模擬嘅變數有人類嘅智商－多數人嘅智商數值都傾向於平均數，愈極端嘅數值愈少出現，即係話好少有智商極高或者極低嘅人。常態分佈個概率密度函數係（${\displaystyle \sigma }$  係個分佈嘅標準差）：
  ${\displaystyle f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}}}$ 

 

• 對數正態分佈（log-normal distribution）：指一個隨機變數嘅對數呈常態分佈；如果話 ${\displaystyle X}$  呢個隨機變數呈對數正態分佈嘅話，噉 ${\displaystyle Y=\ln(X)}$  呈常態分佈。
  ${\displaystyle \ln(X)\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ ；當中 ${\displaystyle \mu }$  係個常態分佈嘅平均值，而 ${\displaystyle \sigma }$  係個常態分佈嘅標準差。
  其概率密度函數係：${\displaystyle f(x)={\frac {1}{x\sigma {\sqrt {2\pi }}}}\ \exp \left(-{\frac {\left(\ln x-\mu \right)^{2}}{2\sigma ^{2}}}\right)}$ 
• 柏里圖分佈（Pareto distribution）：常用嚟模擬人口隨時間增長嘅一個概率分佈，概率密度函數如下：
  ${\displaystyle f_{X}(x)={\begin{cases}{\frac {\alpha x_{\mathrm {m} }^{\alpha }}{x^{\alpha +1}}}&x\geq x_{\mathrm {m} },\\0&x$ 
  當中 ${\displaystyle x_{\mathrm {m} }}$  係指 ${\displaystyle X}$  嘅最細可能數值，而 ${\displaystyle \alpha }$  係一個正嘅參數。

 

• 指數分佈（exponential distribution）：喺物理學上係常用嚟模擬一啲慢慢衰減嘅物理量嘅函數，例如係核衰變噉；喺統計學上，呢個函數可以用嚟模擬一啲機會率（${\displaystyle \Pr(X=x)}$ ）會隨住時間（${\displaystyle t}$ ）過去慢慢下降嘅事件，指數分佈嘅概率密度函數如下：
  ${\displaystyle f(x;\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0.\end{cases}}}$ 

 

• 頻率分佈（frequency distribution）：描述一個樣本入面每個可能數值出現咗幾多次嘅表。例：

• 累計函數（cumulative distribution function）：描述一個概率分佈之下 ${\displaystyle X}$  嘅累計值會點隨 ${\displaystyle x}$  變化嘅函數 ${\displaystyle c(x)}$ ；${\displaystyle c(x_{0})}$  表示「由個樣本嗰度隨機抽一個個體，個個體嘅 ${\displaystyle x}$ （叫呢個值做 ${\displaystyle x_{d}}$ ）細過或者等如 ${\displaystyle x_{0}}$ 」嘅機會率，
  ${\displaystyle c(x_{0})=\Pr(x_{d}\leq x_{0})}$ 
  • 無論連續定離散嘅概率分佈都可以有相應嘅累計函數。

 

• 對稱度（symmetry）：一個概率分佈可以有嘅一個屬性，攞個概率分佈當中嘅一個 ${\displaystyle x}$  值，個分佈喺 ${\displaystyle x}$  左邊嗰部份同個分佈喺 ${\displaystyle x}$  右邊嗰部份形狀上愈相似，個概率分佈以 ${\displaystyle x}$  為中心嘅對稱度就愈高；喺實際應用上，量度一個概率分佈嘅對稱度嗰陣會用嘅 ${\displaystyle x}$  值通常會係個分佈嘅平均值。
  • 對稱概率分佈（symmetric probability distribution）：一個對稱概率分佈定義上係指符合下面呢條式嘅概率分佈，當中 ${\displaystyle x_{m}}$  係個分佈上嘅一點：
    ${\displaystyle f(x_{m}-\delta )=f(x_{m}+\delta )}$  ${\displaystyle {\text{for}}}$  所有實數 ${\displaystyle \delta }$ 
• 動差（moment）：泛指描述一個函數（例如概率分佈）嘅形狀嘅指標數值。
  • 偏度（skewness）：指個分佈有幾「歪埋一邊」；要評估一個分佈嘅偏度，一條可能嘅式如下：
    ${\displaystyle {\tilde {\mu }}_{3}=\operatorname {E} \left[\left({\frac {X_{i}-\mu }{\sigma }}\right)^{3}\right]}$ ；
    • 當中 ${\displaystyle X}$  係第 ${\displaystyle i}$  個個案嘅 ${\displaystyle x}$  值，${\displaystyle \mu }$  係個分佈嘅平均值，而 ${\displaystyle \sigma }$  係個分佈嘅標準差；呢個數值愈大，表示個分佈偏度愈高。
  • 峰度（kurtosis）：指個分佈有幾「扁」；要評估一個分佈嘅偏度，一條可能嘅式如下：
    ${\displaystyle \operatorname {Kurt} [X]=\operatorname {E} \left[\left({\frac {X-\mu }{\sigma }}\right)^{4}\right]}$ ；
    • 當中 ${\displaystyle X}$  係第 ${\displaystyle i}$  個個案嘅 ${\displaystyle x}$  值，${\displaystyle \mu }$  係個分佈嘅平均值，而 ${\displaystyle \sigma }$  係個分佈嘅標準差；呢個數值愈大，表示個分佈愈扁，（如果係常態分佈）比例上有愈多嘅個案處於極端值。

 

• 抽樣分佈（sampling distribution）：攞一個基於隨機抽樣嘅統計量，個統計量嘅概率分佈就係佢個抽樣分佈。
  • 標準誤差（standard error）：一個統計量嘅標準誤差係指佢抽樣分佈嘅標準差（SD）。
• 聯合概率分佈（joint probability distribution）：一個聯合概率分佈同時描述緊多過一個變數嘅分佈；一個兩變數聯合概率分佈會有打橫嘅 X 軸 Y 軸以及打戙嘅 Z 軸，總共三條軸，X 軸 Y 軸分別描述嗰兩個變數 ${\displaystyle X}$  同 ${\displaystyle Y}$  嘅數值，而 X 軸同 Y 軸成嘅平面當中每一點嘅高度（Z 值）反映咗「${\displaystyle X}$  係呢個數值而且同時 ${\displaystyle Y}$  係呢個數值」嘅機會率。當變數有多過兩個嗰陣同一道理。

 

• 獨立同分佈（independent and identically distributed，iid）：係概率論同統計學上嘅一個概念；如果話一柞隨機性變數（或者事件）係「獨立同分佈」嘅話，意思係佢哋嘅概率分佈完全一樣（每次抽嗰陣個結果嘅概率分佈一樣），而且彼此之間獨立（抽一次嘅結果唔會受打前抽到嘅數值影響）。
• 中央極限定理（central limit theorem，CLT）：概率論同統計學上最重要嘅定理之一；根據 CLT，想像有個變數 ${\displaystyle x}$ ，只要三條條件成立：
  1. 個總體喺 ${\displaystyle x}$  上嘅變異數係有限，
  2. 每次抽樣都係獨立同分佈（iid）嘅，
  3. 而且個樣本夠大，
  • 如果呢三條條件成立，噉無論個總體喺 ${\displaystyle x}$  上嘅概率分佈係點嘅樣，而家做抽樣，個樣本喺 ${\displaystyle x}$  上嘅平均值嘅分佈會接近一個常態分佈。

•  
  唔同 ${\displaystyle n}$  同 ${\displaystyle p}$  值嘅二項分佈出嘅樣本平均值嘅分佈；
  綠線：理論上嘅常態分佈（用嚟做對照）；
  紅線：嗰個 ${\displaystyle n}$  同 ${\displaystyle p}$  值組合出嘅樣本平均值分佈。