Достатня Статистика

${\displaystyle \mathbb {P} (X\in {\bar {X}}|\mathrm {T} (X)=t,\theta )=\mathbb {P} (X\in {\bar {X}}|\mathrm {T} (X)=t),\,}$

Достатня статистика ${\displaystyle \mathrm {T} (X),\;}$ таким чином містить у собі всю інформацію про параметр ${\displaystyle \theta \;,}$ що може бути одержана на основі вибірки X. Тому поняття достатньої статистики широко використовується в теорії оцінки параметрів.

Найпростішою достатньою статистикою є сама вибірка ${\displaystyle \mathrm {T} (X)=X,\;}$ проте справді важливими є випадки коли величина достатньої статистики значно менша від величини вибірки, зокрема коли достатня статистика виражається лише кількома числами.

Достатня статистика ${\displaystyle S=\mathrm {S} (X)\;}$ називається мінімальною достатньою, якщо для кожної достатньої статистики T існує невипадкова вимірна функція g, що ${\displaystyle S(X)=g(T(X))}$ майже напевно.

Теорема факторизації дає спосіб практичного знаходження достатньої статистики для розподілу ймовірності. Вона дає достатні і необхідні умови достатності статистики і твердження теореми іноді використовується як означення.

Нехай ${\displaystyle \mathrm {T} (X)\;}$  — деяка статистика, а ${\displaystyle f_{\theta }(x)}$  — умовна функція щільності чи функція ймовірностей (залежно від виду розподілу) для вектора спостережень X. Тоді ${\displaystyle \mathrm {T} (X)\;}$  є достатньою статистикою для параметра ${\displaystyle \theta \in \Theta ,\;}$  якщо і тільки якщо існують такі вимірні функції h і g, що можна записати:

${\displaystyle f_{\theta }(x)=h(x)\,g(\theta ,\mathrm {T} (x))\,\!}$ 

Доведення

Нижче подано доведення для часткового випадку коли розподіл ймовірностей є дискретним. Тоді ${\displaystyle f_{\theta }(x)=\mathbb {P} (X=x|\theta )}$  — функція ймовірностей. Нехай дана функція має факторизацію, як у твердженні теореми і ${\displaystyle \mathrm {T} (x)=t.}$ 

Тоді маємо:

${\displaystyle {\begin{aligned}\mathbb {P} (X=x|\mathrm {T} (X)=t,\theta )&={\frac {\mathbb {P} (X=x|\theta )}{\mathbb {P} (\mathrm {T} (X)=t|\theta )}}&={\frac {h(x)\,g(\theta ,\mathrm {T} (x))}{\sum _{x:\mathrm {T} (x)=t}h(x)\,g(\theta ,\mathrm {T} (x))}}\\&={\frac {h(x)\,g(\theta ,t)}{\sum _{x:\mathrm {T} (x)=t}h(x)\,g(\theta ,t)}}&={\frac {h(x)\,}{\sum _{x:\mathrm {T} (x)=t}h(x)\,}}.\end{aligned}}}$ 

Звідси бачимо, що умовна ймовірність вектора X при заданому значенні статистики ${\displaystyle \mathrm {T} (X)\;}$  не залежить від параметра і відповідно ${\displaystyle \mathrm {T} (X)\;}$  — достатня статистика.

Навпаки можемо записати:

${\displaystyle \mathbb {P} (X=x|\theta )=\mathbb {P} (X=x|\mathrm {T} (X)=t,\theta )\cdot \mathbb {P} (\mathrm {T} (X)=t|\theta ).\,}$ 

З попереднього маємо, що перший множник правої сторони не залежить від параметра ${\displaystyle \theta \;}$  і його можна взяти за функцію h(x) з твердження теореми. Другий множник є функцією від ${\displaystyle \theta \;}$  і ${\displaystyle \mathrm {T} (X),\;}$  і його можна взяти за функцію ${\displaystyle g(\theta ,\mathrm {T} (x)).}$  Таким чином одержано необхідний розклад, що завершує доведення теореми.

Розподіл Бернуллі

Нехай ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$  — послідовність випадкових величин, що рівні 1 з імовірністю p і рівні 0 з імовірністю 1 - p (тобто мають розподіл Бернуллі). Тоді

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|p)=p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{\mathrm {T} (x)}(1-p)^{n-\mathrm {T} (x)}\,\!}$ 

якщо взяти ${\displaystyle \mathrm {T} (X)=X_{1}+\ldots +X_{n}.\,\!}$ 

Тоді дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

${\displaystyle g(p,\mathrm {T} (x_{1},\ldots x_{n}))=p^{\mathrm {T} (x_{1},\ldots x_{n})}(1-p)^{n-\mathrm {T} (x_{1},\ldots x_{n})}\,}$ 
${\displaystyle h(x_{1},\ldots x_{n})=1}$ 

Розподіл Пуассона

Нехай ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$  — послідовність випадкових величин з розподілом Пуассона. Тоді

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|\lambda )={e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}=e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}=e^{-n\lambda }\lambda ^{\mathrm {T} (x)}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$ 

де ${\displaystyle \mathrm {T} (X)=X_{1}+\ldots +X_{n}.\,\!}$ 

Дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

${\displaystyle g(p,\mathrm {T} (x_{1},\ldots x_{n}))=e^{-n\lambda }\lambda ^{\mathrm {T} (x)}\,}$ 
${\displaystyle h(x_{1},\ldots x_{n})={1 \over x_{1}!x_{2}!\cdots x_{n}!}}$ 

Рівномірний розподіл

Нехай ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$  — послідовність рівномірно розподілених випадкових величин ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;~U(a,b)}$  . Для цього випадку

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|\lambda )=\left(b-a\right)^{-n}\mathbf {1} _{\{a\,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,b\}}.}$ 

Звідси випливає, що статистика ${\displaystyle T(X)=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)\,}$  є достатньою.

Нормальний розподіл

Для випадкових величин ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$  з нормальним розподілом ${\displaystyle {\mathcal {N}}(\mu ,\,\sigma ^{2})}$  достатньою статистикою буде ${\displaystyle \mathrm {T} (X)=\left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)\,.}$ 

• Для достатньої статистики T та бієктивного відображення ${\displaystyle \phi }$  статистика ${\displaystyle \phi (T)}$  теж є достатньою.
• Якщо ${\displaystyle \delta (X)}$  — статистична оцінка деякого параметра ${\displaystyle \theta ,}$  ${\displaystyle \mathrm {T} (X),\;}$  — деяка достатня статистика і ${\displaystyle \delta _{1}(X)={\textrm {E}}[\delta (X)|T(X)]}$  то ${\displaystyle \delta _{1}(X)}$  є кращою оцінкою параметра в сенсі середньоквадратичного відхилення, тобто виконується нерівність

${\displaystyle {\textrm {E}}[(\delta _{1}(X)-\vartheta )^{2}]\leq {\textrm {E}}[(\delta (X)-\vartheta )^{2}]}$ 
причому рівність досягається лише коли ${\displaystyle \delta }$  є вимірною функцією від T. (Теорема Рао — Блеквела)

• З попереднього одержується, що оцінка може бути оптимальною в сенсі середньоквадратичного відхилення лише коли вона є вимірною функцією мінімальної достатньої статистики.
• Якщо статистика ${\displaystyle T=\mathrm {T} (X),\;}$  є достатньою і повною (тобто з того, що ${\displaystyle E_{\theta }[g(T(X))]=0,\,\forall \theta \in \Theta }$  випливає, що ${\displaystyle P_{\theta }(g(T(X))=0)=1\,\forall \theta \in \Theta }$ ), то довільна вимірна функція від неї є оптимальною оцінкою свого математичного сподівання.

• Статистична оцінка
• Параметр
• Теорема Рао — Блеквела

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.