顯著差異

喺任何涉及到響總體當中隨機揀樣本嘅實驗或觀察性研究裏，得到嘅結果都有可能只不過係抽樣誤差導致嘅。但係，如果一次觀察結果嘅p值細過（或等於）顯著水平α，研究者就能夠講「今次結果反映到總體嘅特徵」嘅結論，並拒絕虛無假設。

顯著差異嘅原因可能係：

• 呢種差異可能因參與比對嘅數據係嚟自不同實驗對象，如比－西一般能力測驗中，大學學歷被試組嘅成績同小學學歷被試組會有顯著差異。
• 亦可能嚟自於實驗處理對實驗對象造成根本性狀改變，因而前測後測嘅數據會有顯著差異。例如，記憶術研究發現，被試者學習某記憶法之前嘅成績同學咗記憶法後嘅記憶成績會有顯著差異，呢個差異好可能來自於學呢種記憶法對被試記憶能力嘅改變。

18世紀嗰時就有人提出顯著差異，約翰·阿巴思諾特（英文：John Arbuthnot）同皮埃爾-西蒙·拉普拉斯做出男女出世嘅概率一樣呢個虛無假設，跟住計咗人類出世時嘅性別比嘅p值。

1925年，羅納德·費沙（英文：Ronald Fisher）喺佢本書《研究工作者的統計方法（英文：Statistical Methods for Research Workers）》當中提出咗統計假說檢定嘅諗法，叫做「顯著性檢驗」（tests of significance）。費沙建議將1/20（=0.05）嘅概率作為拒絕虛無假說嘅臨界值。喺1933年嘅一篇論文中，耶日·內曼和埃貢·皮爾遜嗌呢個值做「顯著水平」，畀咗個符號α畀佢。佢哋建議，α值要喺任何資料收集之前就諗定。

費雪初初係將顯著水平定喺0.05，但又唔想將佢定死。佢喺1956年出版嘅《統計方法與科學推斷》裏面，建議根據具體情況確定顯著水平。

相關概念

顯著水平α係p值嘅閾值，當p ⩽ α時就拒絕虛無假設（就算零假設依然可能係啱嘅）。咁就表示α亦都係虛無假設啱嘅情況下錯誤噉將佢否定咗嘅概率，叫做假陽性或第一型錯誤、棄真錯誤、α錯誤。

而有啲研究者就中意用置信水平γ = (1 − α)，佢係虛無假設啱嘅時候唔將佢拒絕嘅概率。置信水平同置信區間係Neyman喺1937年提出嘅。

 

顯著水平（significance level，符號：α）經常攞嚟喺假說檢定中睇假設同實驗結果係咪一致，佢代表虛無假設（寫成${\displaystyle H_{0}}$ ）冇錯嘅情況下，噉啱就將佢否定咗嘅概率，即係發生第一型錯誤（棄真錯誤、α錯誤）嘅機會。

譬如我哋響兩個總體裏便隨機揀出A、B兩組樣本數據，然後發現佢哋喺.05水平上具備顯著差異，就係講兩組數據所代表嘅總體亦都有顯著差異嘅可能性係95%；而佢哋代表嘅總體重有5%嘅可能性係冇乜分別嘅，呢個5%係由於抽樣誤差造成嘅。亦都可以噉講：

• 如果拒絕「兩組數據一致（冇乜分別）」呢個虛無假設，噉會有5%嘅可能性犯第一型錯誤。
• 如果令A=兩個總體冇乜分別、B=揀出嚟兩組數有顯著差異，P(A|B) = 0.05。

如果我哋喺檢驗某實驗（Hypothesis Test）中測得嘅數據之間有顯著差異，就推翻到虛無假設，備擇假設則得到支持；反之，如果數據之間冇顯著差異，就推翻備擇假設，而唔拒絕虛無假設。通常情況下，實驗結果達到.05水平或.01水平，先至可以認為數據之間具備顯著差異，唔係嘅話就可能好似上邊講嘅咁會作出錯誤嘅判斷。作結論嗰時，要講清楚方向性（例如係顯著大過定係顯著細過）。

數學表述為：引入p值（p-value）作為檢驗樣本（test statistic）觀察值嘅最低顯著差異水平。喺α = 0.01或α = 0.05嘅情況下，若果虛無假設情況實際算得嘅概率p細過α，噉表示虛無假設成立時得到噉嘅結果嘅概率，重低過1%或5%，喺呢個顯著水平之下我哋可以拒絕虛無假設。

• P(X=x)<ρ=0.05係「顯著（significant）」，統計分析軟件SPSS以*標記；
• P(X=x)<ρ=0.01係「極顯著（extremely significant）」，通常以**標記。

• 假設檢定
• A/B測試