因素分析

以下嘅內容如果有基本概念唔明，可以去參考吓迴歸分析。

用一句句子嚟講嘅話，因素分析嘅重點目標係要^{:p 1}

將數量龐大嘅變數，轉化做數量比較少嘅因素。

做科研嗰陣，研究者往往要面對好多變數，不過好多時一大拃變數查實都係反映緊某啲「潛在因素」（潛在變數），而因素分析就係想用一連串嘅演算法，搵出呢啲「潛在因素」。舉個具體例子說明，想像研究者畀受試者做咗個 IQ 測試，

• 個測試有 ${\displaystyle k}$  咁多條題目，而 ${\displaystyle X_{1}}$ 、${\displaystyle X_{2}}$ 、${\displaystyle X_{3}}$ ... ${\displaystyle X_{k}}$  表示受試者喺每條題目上嘅分數，每條題目都有個誤差值 ${\displaystyle e_{i}}$ ；呢 ${\displaystyle k}$  個變數就係觀察咗嘅隨機變數；
• ${\displaystyle T}$  表示智能（IQ 測試想量度嘅嘢），每個 ${\displaystyle X_{i}}$  都掕咗個 ${\displaystyle \lambda _{i}}$  值，${\displaystyle \lambda _{i}}$ （簡單講）反映嗰條題目嘅分數同 ${\displaystyle T}$  有幾強相關，可以大致當係
  ${\displaystyle X_{i}=\lambda _{1}T+e_{i}}$ 
• ${\displaystyle T}$  係一個冇被直接觀察到嘅隨機變數；順帶一提，而家呢個例子得 ${\displaystyle T}$  一個「潛在因素」，複雜啲嘅因素模型可以一個模型有多過一個「潛在因素」；
• 行因素分析前，${\displaystyle T}$  嘅數值係未知，而因素分析做嘅，就係要搵出啲參數（啲 ${\displaystyle \lambda _{i}}$ ）嘅數值；

要圖像化嘅話，啲人通常會將因素分析畫做好似文頭嗰幅圖噉嘅模型。搵到啲參數嘅數值之後，研究者仲可以做好多唔同嘅分析，包括「啲變數係咪真係反映緊同一個潛在因素」或者係「個潛在因素嘅結構係點，會唔會有得再細分做兩個子因素」... 等等。事實上呢種噉嘅分析，係 IQ 呢個概念嘅數學基礎。

因素分析可以分兩大類型：探索型（EFA）同確定型（CFA）。如果一位研究者行嘅係 EFA，即係話佢冇事先指定要有幾多個因素，佢會叫部電腦按照某啲條件「睇吓呢啲數據望落似係分到做幾多個因素」，目標係要由數據嗰度產生理論模型；而如果一位研究者行嘅係 CFA，即係話佢會事先指定有幾多個因素，以及係每個因素包括邊啲可觀察變數，然後佢就會叫部電腦計吓，佢心目中嗰個模型同數據所顯示嘅「有幾吻合」—用統計學行話講，意思係話 CFA 會包含測試手上嘅假說。

以下係做 EFA 嘅步驟。

咩時候用

喺數據科學上，探索性質嘅因素分析可以好有用^{:p 2}：呢種分析能夠減少要考慮嘅變數嘅數量—用 ${\displaystyle T}$  嘅 1 個數值總結晒嗰一大拃分數，達致用數量更少嘅概念解釋現象；探索型嘅因素分析又可以用嚟探討變數之間有咩關係，以及係好似 IQ 噉嘅理論概念嘅「內部結構」（例如會唔會某啲變數零舍反映得到 IQ 呢？）。除此之外，呢種分析仲可以用嚟處理做統計分析不時會遇到嘅多重共線性問題。

郁手行因素分析之前，分析者要睇睇以下呢啲嘢先：

• 樣本大細：因素分析係一種幾複雜嘅統計分析，樣本一般要起碼有 100 個個體至算得上係「探測真實結果嘅能力」夠高，而有再嚴格啲嘅基準會要求樣本最少有 300 個個體咁多。
• 樣本大細同可觀察變數個比例：樣本個體數量（${\displaystyle n}$ ）同可觀察變數嘅數量之間嗰個比例亦都好重要；一般嚟講 ${\displaystyle n}$  同變數數量之間要去到 10:1 就比較穩陣，亦有啲統計學專家主張呢個比例要去到 20:1 先至算係可以接受。
• 統計相關：實際做因素分析之前，研究者通常都會睇吓啲可觀察變數之間嘅統計相關先；有統計學專家主張，啲變數之間嘅相關值最少要係 .30，先至有可能表示佢哋反映緊某啲潛在變數，而相關值去到 .50 或以上就可以算係「理想」。
• 常態分佈：因素分析假設咗啲變數係呈常態分佈嘅。

等等。

因素抽取

如果係做 EFA，部電腦就要自行決定「個模型要有幾多個因素」。呢個決定一啲都唔容易做。

想像而家部電腦計咗幾個因素模型出嚟，根據模型 A，嗰拃變數背後有三個潛在變數，模型 B 就話嗰拃變數背後得兩個潛在變數，而模型 C 就話嗰拃變數背後有四個潛在變數。噉亦即係話，分析者要搵某啲條件，作出「手上搵到嘅因素模型當中，邊一個係最可以接受，或者最似係真確嘅」噉嘅決定。而且決定因素數量本質上就係兩難：根據科學上嘅奧坎剃刀原則，科學追求嘅係用最少嘅概念解釋最多嘅現象，所以因素應該係愈少就愈理想；但係另一方面事實又表明，因素數量上升，個模型「解釋到嘅變數變異」實會跟住升—縱使個升幅可能好微細，例如加多一個因素，解釋咗嘅變異淨係升嗰 1% 咁多。

睇特徵值

特徵值（以符號 ${\displaystyle \lambda }$  代表）係統計學成日提到嘅一個概念。簡化噉講，特徵值係反映緊添加一個因素能夠令「解釋到嘅變數變異」升幾多。而要選擇因素嘅數量，一個簡單嘅方法就係一邊加新嘅因素落去個模型度，一邊睇住特徵值點樣變化—噉一旦「加咗第 ${\displaystyle p}$  個因素，解釋到嘅變異嘅升幅」數值（由特徵值反映）跌到低過預先設好嘅門檻（例如特徵值跌到細過 1），部電腦就會停手唔再加新嘅因素，最後得出一個 ${\displaystyle p-1}$  咁多個因素嘅模型。根據慣常用嘅標準，自然科學嘅因素模型要解釋最少 95% 嘅變異，而社會科學嘅因素模型就要解釋最少 50 到 60% 嘅變異。

好似係以下呢個例子噉^{:p 7}（已解變異係指解釋到幾多變異，以 % 嚟計）：

—去到添加第 8 個因素嗰陣，特徵值跌到細過 1，就形成一個 7 個因素嘅模型，解釋得到約莫 60% 嘅變異。

岩屑堆圖

「一邊添加新因素，一邊睇住特徵值點變」噉嘅思考方法，可以用岩屑堆圖嘅方式圖像化。一幅岩屑堆圖有打橫打戙兩條軸，打橫嗰條表示因素嘅數量，而打戙嗰條表示特徵值。事實表明，隨住因素數量上升，特徵值會變到愈嚟愈細，即係話岩屑堆圖出嗰條線會偏向下跌，跌嘅速度就愈嚟愈慢，形狀望落似岩屑堆，好似下圖：

 

Scree plot：岩屑堆圖 | Eigenvalue：特徵值 | Component number：因素嘅數量

而條虛線就表示特徵值係 1 嗰個位—特徵值一跌到落 1 以下，部電腦就停手唔再加新嘅因素。上述呢幅圖噉嘅情況，部電腦最後會出嗰個模型將會有 3 個因素。

因素旋轉

淨係出咗個模型係唔夠嘅。事實表明，因素分析出嘅模型好多時都「唔夠靚」：出咗個模型之後，是但攞一個變數嚟睇，個變數都會有條式

${\displaystyle x_{i,m}-\mu _{i}=l_{i,1}f_{1,m}+\dots +l_{i,k}f_{k,m}+\varepsilon _{i,m}}$ 

當中

• ${\displaystyle x_{i,m}}$  係第 ${\displaystyle m}$  個個體喺第 ${\displaystyle i}$  個變數上嘅數值；
• ${\displaystyle \mu _{i}}$  係第 ${\displaystyle i}$  個變數嘅平均值；
• ${\displaystyle l_{i,j}}$  係第 ${\displaystyle i}$  個變數喺第 ${\displaystyle j}$  個因素上嘅因素負荷量（下面詳細講）；
• ${\displaystyle f_{j,m}}$  係第 ${\displaystyle m}$  個個體喺第 ${\displaystyle j}$  個因素上嘅數值；
• ${\displaystyle \varepsilon _{i,m}}$  係 ${\displaystyle (i,m)}$  嗰個估計唔到嘅誤差數值，平均係 0，變異數有限；

用矩陣式嘅寫法，就可以寫做望落簡潔啲嘅

${\displaystyle X-\mathrm {M} =LF+\varepsilon }$ 

—是但攞一對「變數-因素」組合，佢哋之間嘅因素負荷量都可以唔同，例如如果佢哋之間個 ${\displaystyle l_{i,j}}$  近乎等如 0，就表示兩者之間咩關係都冇，而如果佢哋之間個 ${\displaystyle l_{i,j}}$  數值好大，就表示兩者之間有好強嘅關係。因素旋轉做嘅嘢，就係想令到個模型入便多啲數值高嘅負荷量，同時少啲數值低嘅負荷量^{:p 9}，用日常用語講可以大致想像成「執吓啲 ${\displaystyle l_{i,j}}$  佢，等個模型睇落靚啲」。

旋轉方法

因素分析上用嘅旋轉方法，可以有好多種：

• Varimax：追求盡量減少「喺每個因素上都有高負荷量」嘅變數嘅數量，被指可以有效簡化對因素嘅詮釋。
• Quartimax：盡量減少「每個變數需要」嘅因素嘅數量，令到每個變數都可以由一至兩個因素「解釋晒」。
• Equamax：結合咗 varimax（簡化啲因素）同 quartimax（簡化啲變數），追求減少「一個因素有高負荷量掕住嘅變數數量」同埋減少「一個變數有高負荷量掕住嘅因素數量」。
• Promax：容許因素之間有一定嘅統計相關。呢種做法計起上嚟快啲，因而被指比較能夠處理量大嘅數據。

喺廿一世紀初嘅統計學界，因素旋轉呢樣嘢受到一定嘅批評：事實表明，數據入便嘅細微變動，可以令到因素旋轉出嘅結果出現大變；例如而家手上有 300 個個體，用呢 300 個個體做 EFA 用 varimax 旋轉，然後再由 300 個個體入便是但剷走 10 個個體嘅數據，重做用 varimax 旋轉嘅 EFA，出嘅因素模型可以唔同晒（因素嘅數量唔同，而且「邊個變數負荷落去邊個因素」又唔同咗）；噉嘅問題亦表示，因素旋轉令到研究者難以比較唔同研究出嘅結果。事實係有社科研究曾經試過發生噉嘅事—班研究者喺度研究文化，個個都有用因素分析，用嘅旋轉方法唔同，打後嘅研究者發現，呢幾份研究冇旋轉得出嘅因素模型好相似，但係做咗旋轉之後嘅因素模型唔同晒，唔同研究者手上都有個唔同嘅因素模型，個個諗住自己發現咗新嘢，仲創造新概念嚟解釋呢啲「新發現」。

結果詮釋

搞掂晒呢啲步驟，分析者就要詮釋個結果：就算做完旋轉，個模型都只係一大拃數值，分析者要對呢拃數值賦予意義；舉個簡化例子，想像而家研究智商，研究者手上個智商測試有 30 條問題；佢行 EFA 搵到一個因素模型，個模型得一個因素，當中頭嗰 10 條問題嘅因素負荷量（標準化咗）做晒旋轉都仲係好低（連 0.4 都唔夠），同時尾嗰 20 條問題就條條都因素負荷量都超過 0.7（標準化咗）；噉佢就有理由相信

• 然後佢根據手上嘅理論，有理由相信呢啲題目都係反映緊智能嘅，所以佢就將個因素命名做智能；
• 手上個智商測試，啲題目全部都係大致反映緊同一樣嘢（智能）嘅；
• 頭嗰 10 條問題唔係咁反映得到個因素，可以考慮攞走以後都唔用佢哋；

有研究者指出，因素分析得出嘅因素幾有意義，講到埋尾都係由研究者定義嘅—有關要點樣同啲因素命名，廿一世紀初嘅學界並冇乜嘢精確嘅基準，好多時都係研究者睇吓喺呢個因素上負荷量高嘅變數，再認為佢哋「似係大致反映緊 XXX 呢個理論概念」，就當咗佢哋係反映緊呢個概念。

啲人做完 EFA，成日都會走去做 CFA：想像而家一班研究者搵咗拃數據返嚟，用 EFA 建立咗個因素模型；佢哋好多時都會想搵第個樣本，用新樣本嘅數據嚟行 CFA，檢驗吓由第一個樣本度搵到嘅因素模型「有幾用得到落去個新樣本度」— CFA 做嘅正正就係攞住

• 一拃數據，加埋
• 一個由研究者定義好嘅因素模型，

然後出一拃數值，講吓呢個模型有幾符合手上嗰拃數據。

有關 CFA 嗰啲數學細節，可以睇睇結構方程模型。

講定模型

做 CFA 嘅第一步就係要界定個模型。一般來講，研究者會做 CFA 可能係因為佢睇過前人做嘅研究，知道手上嗰拃變數應該係成點嘅因素結構嘅，亦有可能係佢做完 EFA 搵到一個因素模型。無論係點，佢跟住都同部電腦講，佢心目中個模型係點嘅，即係想像

${\displaystyle x_{1,m}-\mu _{1}=l_{1,1}f_{1,m}+\dots +l_{i,k}f_{k,m}+\varepsilon _{1,m}}$ 
${\displaystyle x_{2,m}-\mu _{2}=l_{2,1}f_{1,m}+\dots +l_{i,k}f_{k,m}+\varepsilon _{2,m}}$ 
${\displaystyle ...}$ 
${\displaystyle x_{i,m}-\mu _{i}=l_{i,1}f_{1,m}+\dots +l_{i,k}f_{k,m}+\varepsilon _{i,m}}$ 

噉嘅因素模型，研究者要指定有幾多個因素（${\displaystyle k}$  嘅數值），有幾多個變數（${\displaystyle i}$  嘅數值），佢亦要指定每個變數係反映緊邊個因素（可以想像成係指定邊個 ${\displaystyle l}$  係 0 邊個係非 0）—研究者要指定佢心目中個理論模型，再做分析睇吓能唔能夠確定佢個諗法係啱嘅。不過研究者唔使乜嘢都指定晒，喺多數情況下研究者都冇需要指定啲 ${\displaystyle l}$  嘅具體數值—啲 ${\displaystyle l}$  嘅具體數值會由做 CFA 嘅演算法負責估計。

計適合度

淨係搵到一個模型係唔夠嘅：搵到個模型啲參數（拃 ${\displaystyle l}$ ）數值之後，分析者仲要檢驗個模型嘅適合度夠唔夠高：適合度泛指一個統計模型（例如係一個 CFA 模型）有幾切合得到手上嘅數據；例如

• 卡方檢定，符號係 χ² ：呢種做法將「個模型係正確嘅」當做 ${\displaystyle H_{0}}$ （虛無假說），並且攞「個模型嘅協方差矩陣」同「實際觀察到嘅協方差矩陣」做卡方檢定，如果卡方檢定嘅數值（χ²）愈大，就表示兩個矩陣之間差異愈大－研究者就愈有理由相信個模型係錯嘅。
• 近似值根均方誤差，英文簡稱 RMSEA：一個數值愈低愈好嘅適合度指標；RMSEA 最細嘅可能數值係 0，而一般認為，RMSEA 數值喺 0.1 或者以上嘅話個模型嘅適合度就算低到唔可以接受。
• 標準化根均殘差，英文簡稱 SRMR：另一個數值愈低愈好嘅適合度指標；一般認為，SRMR 嘅數值最好係喺 0.1 以下，亦都有統計學家主張 SRMR 數值要喺 0.08 以下個模型先算係有充足嘅適合度。
• 比較適合指數，英文簡稱 CFI：一個主要反映數據當中嘅統計相關嘅大細嘅適合度指標，所以數值係愈高愈好；一般嚟講，CFI 嘅數值過到 0.95，個模型就算係可以接受。

等等。如果啲適合度指標反映手上嗰個模型「可以接受」，研究者就可以去下一步詮釋呢個模型。

應用價值

CFA 被指係最啱用嚟檢驗一個理論模型嘅聚合效度同分歧效度^{:p 4}，仲可以用嚟檢驗一個因素結構係咪有量度不變特性^:22.2。

智商測試

性格測試

市場學

自然科學

• 主成份分析
• 結構方程模型
• 線性判別分析

• 心理測量學
• 信度同效度
• 實驗設計
• 推薦系統

用咗嘅重要概念或者專有名詞嘅外語（主要係英文）名：

引用咗嘅學術文獻或者網頁：

 

維基同享有多媒體嘅嘢：
因素分析

• （英文） 因素分析，IBM SPSS，用英文簡介因素分析。