Zakon Velikih Števil: Izrek, ki opisuje rezultat izvajanja istega poskusa zelo velikokrat

Po zakonu mora biti srednja vrednost rezultatov, pridobljenih iz velikega števila poskusov, blizu pričakovane vrednosti, njena vrednost pa se vedno bolj približuje pričakovani vrednosti, če se izvaja vedno več poskusov.

Zakon velikih števil je pomemben, saj zagotavlja stabilne dolgoročne rezultate za srednje vrednosti poljubnih naključnih dogodkov. Čeprav bo mogoče na primer kazina v enem zasuku kolesa rulete izgubila denar, se bodo z velikim številom zasukov vrednosti njenih zaslužkov približevale napovedljivemu odstotku. Vsak zmagovalni niz igralca bodo premagali parametri igre. Pomembno si je zapomniti, da zakon velja le, (kakor nakazuje tudi njegovo ime), kadar se obravnava veliko število opazovanj. Ne obstaja načelo, da bo malo število opazovanj sovpadalo s pričakovano vrednostjo, ali, da bo zmagovalni niz ene vrednosti takoj »uravnotežen« z drugimi (glej hazarderska zmota).

Met igralne kocke

Vsak met poštene (šeststrane) igralne kocke bo dal zalogo vrednosti števil ${\displaystyle X_{k}=\{x_{k}\}=\{1,2,3,4,5,6\}\!\,}$ , vsako z enako verjetnostjo ${\displaystyle \mathbb {P} (X_{k})=1/6\!\,}$  in funkcijo verjetnosti ${\displaystyle p_{X}(x_{k})=1/6\!\,}$ . Tako je pričakovana vrednost povprečne vrednosti metov enaka:

${\displaystyle \mathbb {E} (X)=\sum _{k=1}^{6}x_{k}\ p_{X}(x_{k})=1\cdot {\frac {1}{6}}+2\cdot {\frac {1}{6}}+3\cdot {\frac {1}{6}}+4\cdot {\frac {1}{6}}+5\cdot {\frac {1}{6}}+6\cdot {\frac {1}{6}}={\frac {1+2+3+4+5+6}{6}}={\frac {21}{6}}={\frac {7}{2}}=3,5\!\,.}$ 

Pričakovani standardni odklon je enak:

${\displaystyle \sigma ={\sqrt {\mathbb {V} (X)}}={\sqrt {\frac {\sum _{k=1}^{6}\left(x_{k}-\mathbb {E} (X)\right)^{2}}{6}}}=\ldots ={\sqrt {\frac {35}{12}}}=1,7078...\!\,.}$ 

Po zakonu velikih števil, če se vrže veliko metov poštene igralne kocke, bo srednja vrednost njihovih vrednosti (včasih imenovana vzorčna sredina) zelo verjetno blizu vrednosti 3,5 z večjo točnostjo pri večjem številu metov.

Iz zakona velikih števil sledi, da bo empirična verjetnost ugodnega izida v nizu Bernoullijevih poskusov konvergirala k teoretični verjetnosti. Za Bernoullijevo slučajno spremenljivko je pričakovana vrednost teoretična verjetnost ugodnega izida, srednja vrednost ${\displaystyle n\!\,}$  takšnih spremenljivk, kjer se privzame, da so neodvisne in enakomerno porazdeljene (n.e.p.), pa je ravno relativna frekvenca (empirična verjetnost).

Met kovanca

Met poštenega kovanca je na primer Bernoullijev poskus. Tu je ${\displaystyle X_{k}=\{x_{k}\}=\{{\check {s}},g\}\sim \{0,1\}\sim \{1,2\}\!\,}$ . Ko se pošteni kovanec vrže enkrat, bo teoretična verjetnost, da bo padla številka, enaka ${\displaystyle \mathbb {P} (X_{k})=1/2\!\,}$ . Zato bo po zakonu velikih števil razmerje padlih številk v »velikem« številu metov kovanca v grobem enako ${\displaystyle 1/2\!\,}$ . Še posebej bo razmerje padlih številk po ${\displaystyle n\!\,}$  metih skoraj gotovo konvergiralo k ${\displaystyle 1/2\!\,}$ , ko se bo ${\displaystyle n\!\,}$  približeval neskončnosti.

Čeprav se razmerje padlih številk (cifer) (in grbov (glav, mož)) približuje ${\displaystyle 1/2\!\,}$ , bo absolutna razlika števila padlih številk in grbov skoraj gotovo postala velika, ko bo število metov postalo veliko. Zato se verjetnost, da je absolutna razlika majhno število, približuje nič, ko število metov postane veliko. Tudi razmerje med absolutno razliko in številom metov se bo skoraj gotovo približevalo ničli:

${\displaystyle |n_{\text{š}}-n_{\text{g}}|\not \to 0,\quad {\frac {|n_{\text{š}}-n_{\text{g}}|}{n}}\to 0\!\,.}$ 

Pričakovana razlika intuitivno narašča, vendar v manjši meri kot število metov.

Metode Monte Carlo

Drugi dober zgled je zakon velikih števil metode Monte Carlo. Te metode so širok razred izračunavalnih algoritmov, ki se za pridobitev numeričnih rezultatov zanašajo na naključno vzorčenje. Večje je število ponovitev, boljša bo aproksimacija. Razlog, da je ta metoda pomembna, je v glavnem v tem, da je včasih težko ali nemogoče uporabiti druge pristope.

Srednja vrednost rezultatov, pridobljenih z velikim številom poskusov, v nekaterim primerih morda ne bo konvergirala. Srednja vrednost ${\displaystyle n\!\,}$  rezultatov iz Cauchyjeve porazdelitve ali nekaterih Paretovih porazdelitev (s pomembnostjo ${\displaystyle \alpha <1\!\,}$ ) na primer ne bodo konvergirale, ko bo ${\displaystyle n\!\,}$  narastel čez vse meje – razlog je porazdelitev s težkimi repi. Cauchyjeva in Paretova porazdelitev predstavljata dva primera – Cauchyjeva porazdelitev nima pričakovanja, pričakovanje Paretove porazdelitve (${\displaystyle \alpha <1\!\,}$ ) pa je neskončno. V drugem primeru so naključna števila enaka tangenti kota, enakomerno porazdeljenega med −90° in +90°. Mediana je enaka nič, pričakovana vrednost pa ne obstaja – povprečje ${\displaystyle n\!\,}$  takšnih spremenljivk ima res enako porazdelitev kot ena takšna spremenljivka. Verjetnostno ne konvergira proti nič (ali h katerikoli drugi vrednosti), ko gre ${\displaystyle n\!\,}$  proti neskončnosti.

 

Italijanski matematik Gerolamo Cardano (1501–1576) je brez dokaza navedel, da se točnosti empiričnih statistik izboljšujejo z večjim številom poskusov. To je bilo potem formalizirano kot zakon velikih števil. Cardanova matematika je pripadala obdobju v katerem se je izraz slutil s pomočjo formul. Zakona eksplicitno na ta način ni zmogel zapisati, vendar se bo po njem dogodek zgodil z vrednostjo, ki je blizu ${\displaystyle n\mathbb {P} \!\,}$ , če je verjetnost zanj ${\displaystyle \mathbb {P} \!\,}$  in ${\displaystyle n\!\,}$  veliko število ponavljanj.

Posebno obliko zakona velikih števil (za dvojiško slučajno spremenljivko) je prvi dokazal Jakob Bernoulli. Za razvoj dovolj strogega matematičnega dokaza je potreboval 20 let. Objavil ga je v četrtem delu svojega dela Umetnost domnevanja (Ars Conjectandi) leta 1713. To je imenoval »zlati izrek«, vendar je postal splošno znan kot »Bernoullijev izrek«. Ne sme se zamenjevati z Bernoullijevim načelom, imenovanim po njegovem nečaku Danielu Bernoulliju. Verjetnost po tem ni bila le matematični abstraktni koncept, ampak je bila količina, ki se je lahko z naraščajočim številom vzorcev ocenila s povečanim zaupanjem. Leta 1837 je Siméon-Denis Poisson izrek naprej opisal pod imenom »zakon velikih števil« (»la loi des grands nombres«). Tako je bil zakon znan pod obema imenoma, vendar se »zakon velikih števil« rabi pogosteje.

Po objavi Bernoullijevih in Poissonovih prizadevanj so tudi drugi matematiki prispevali k prečiščenju zakona, med drugim Čebišov, Markov, Borel, Cantelli in Kolmogorov ter Hinčin. Čebišov je podal splošno formulacijo zakona velikih števil – če so pričakovane vrednosti niza slučajnih spremenljivk in kvadrati teh pričakovanj v celoti končni, bo aritmetična sredina z njihovo rastjo zelo verjetno konvergirala k aritmetični sredini njihovih pričakovanj. Markov je pokazal, da se lahko zakon uporabi za slučajno spremenljivko, ki pod določenim drugim šibkejšim privzetkom nima končne variance, Hinčin pa je leta 1929 pokazal, da, če je vrsta sestavljena iz neodvisno enakomerno porazdeljenih slučajnih spremenljivk, je dovolj, da za veljavnost šibkega zakona velikih števil pričakovana vrednost obstaja. Ta nadaljnja raziskovanja so dala dve pomembni obliki zakona velikih števil. Ena se imenuje »šibki« zakon, druga pa »krepki« zakon, glede na dva različna načina konvergence kumulativne vzorčne sredine k pričakovani vrednosti – še posebej, kakor je pojasnjeno spodaj – iz krepke oblike sledi šibka oblika zakona.

Obstajata dve različni različici zakona velikih števil, ki sta opisani spodaj. Imenujeta se krepki zakon velikih števil in šibki zakon velikih števil. Zakona za primer kjer je ${\displaystyle X_{1},X_{2},\cdots \!\,}$  neskončno zaporedje neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk integrabilnih po Lebesgu s pričakovano vrednostjo ${\displaystyle \mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu \!\,}$  v obeh oblikah pravita, da z navidezno gotovostjo vzorčna sredina:

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+X_{2}+\cdots +X_{n})\!\,}$ 

konvergira k pričakovani vrednosti :

${\displaystyle {\overline {X}}_{n}\to \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.}$

(1. zakon)

(Integrabilnost po Lebesgu ${\displaystyle X_{j}\!\,}$  pomeni, da pričakovana vrednost ${\displaystyle \mathbb {E} (X_{j})\!\,}$  obstaja glede na Lebesguov integral in je končna. Ne pomeni, da je povezana mera verjetnosti absolutno zvezna glede na Lebesguovo mero.)

Na podlagi (nepotrebnega – glej spodaj) privzetka o končni varianci ${\displaystyle \mathbb {V} (X_{i})=\sigma ^{2}\!\,}$  (za vsak ${\displaystyle i\!\,}$ ) in brez korelacije med slučajnimi spremenljivkami, je varianca srednje vrednosti ${\displaystyle n\!\,}$  slučajnih spremenljivk enaka:

${\displaystyle \mathbb {V} ({\overline {X}}_{n})=\mathbb {V} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\mathbb {V} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}\!\,.}$ 

Ta privzetek o končni varianci ${\displaystyle \mathbb {V} (X_{1})=\mathbb {V} (X_{2})=\ldots =\sigma ^{2}<\infty }$  ni potreben. Zaradi večje ali neskončne variance bo konvergenca počasnejša, zakon velik števil pa bo vseeno veljal. Ta privzetek se pogosto rabi, saj so dokazi lažji in krajši.

Obojestranska neodvisnost slučajnih spremenljivk se lahko zamenja z neodvistnostjo po parih v obeh različicah zakona.

Razliko med krepko in šibko različico upošteva način konvergence, ki se obravnava. Za interpretacijo teh načinov glej konvergenca slučajnih spremenljivk.

Šibki zakon

 

Šibki zakon velikih števil (imenovan tudi Hinčinov zakon) pravi, da vzorčna sredina verjetnostno konvergira k pričakovani vrednosti:

${\displaystyle {\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}}$

(2. zakon)

Tako za poljubno pozitivno število ${\displaystyle \varepsilon \!\,}$  velja:

${\displaystyle \lim _{n\to \infty }\mathbb {P} \!\left(\,|{\overline {X}}_{n}-\mu |\geq \varepsilon \,\right)=0\!\,.}$ 

Šibki zakon ob opisu tega rezultata pravi, da bo za poljubno neničelno mejo, ne glede na to kako majhna je, z dovolj velikim vzorcem obstajala zelo velika verjetnost, da bo srednja vrednost opazovanj blizu pričakovane vrednosti – to je znotraj te meje.

Kakor je omenjeno prej, šibki zakon velja za primer neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk, velja pa tudi v nekaterih drugih primerih. Varianca je lahko na primer za vsako slučajno spremenljivko v nizu različna, pri čemer je pričakovana vrednost konstantna. Če je varianca omejena, zakon velja, kakor je pokazal Čebišov že leta 1867. (Če se pričakovane vrednosti med nizom spreminjajo, se lahko zakon preprosto uporabi za povprečni odmik od ustrezne pričakovane vrednosti. Zakon potem pravi, da to verjetnostno konvergira k nič.) Dejansko dokaz Čebišova deluje tako dolgo, dokler gre varianca povprečja prvih ${\displaystyle n\!\,}$  vrednosti proti nič, ko gre ${\displaystyle n\!\,}$  proti neskončnosti. Naj se na primer privzame, da za vsako slučajno spremenljivko v nizu velja Gaussova porazdelitev s srednjo vrednostjo enako 0, vrednostjo variance pa ${\displaystyle 2n/\log(n+1)\!\,}$ , ki ni omejena. V vsakem koraku bo povprečje normalno porazdeljeno (kot povprečje množice normalno porazdeljenih sprememnljivk). Varianca vsote je enaka vsoti varianc, ki je asimptota k ${\displaystyle n^{2}/\log n\!\,}$ . Varianca povprečja je tako asimptotična k ${\displaystyle 1/\log n\!\,}$  in gre k nič.

Obstajajo tudi primeri šibkega zakona, ki velja četudi pričakovana vrednost ne obstaja.

Krepki zakon

Krepki zakon velikih števil (imenovan tudi zakon Kolmogorova) pravi, da vzorčna sredina skoraj gotovo konvergira k pričakovani vrednosti:

${\displaystyle {\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\text{s.g.}} \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}}$

(3. zakon)

Tako velja:

${\displaystyle \mathbb {P} \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1\!\,.}$ 

To pomeni, da je verjetnost, da bo srednja vrednost opazovanj konvergirala k pričakovani vrednosti, ko gre število poskusov ${\displaystyle n\!\,}$  proti neskončnosti, enaka 1.

Dokaz je bolj zapleten od dokaza šibkega zakona. Ta zakon opravičuje intuitivno interpretacijo pričakovane vrednosti (le za Lebesguov integral) slučajne spremenljivke, ko se večkrat vzorči kot »povprečje na dolgi rok«.

Skoraj gotova konvergenca se imenuje tudi krepka konvergenca slučajnih spremenljivk. Ta različica se imenuje krepki zakon, ker bodo slučajne spremenljivke, ki konvergirajo krepko (skoraj gotovo), zagotovo konvergirale šibko (verjetnostno, v verjetnosti). Vendar je za šibki zakon znano, da velja v določenih pogojih, v katerih krepki zakon ne velja, in je tedaj konvergenca le šibka (verjetnostno). Glej #Razlike med šibkim in krepkim zakonom.

Na sam krepki zakon velikih števil se lahko gleda kot na posebni primer točkovnega ergodičnega izreka

Krepki zakon velja za neodvisne enakomerno porazdeljene slučajne spremenljivke, ki imajo pričakovano vrednost (kakor šibki zakon). To je dokazal Kolmogorov leta 1930. Velja lahko tudi v drugih primerih. Kolmogorov je leta 1933 dokazal tudi, da, če so spremenljivke neodvisne in enakomerno porazdeljene, potem je, da bo povprečje skoraj gotovo konvergiralo k nečemu (ta velja za drugo obliko krepkega zakona), potrebno, da imajo pričakovano vrednost (in bo potem seveda povprečje skoraj gotovo konvergiralo k temu).

Če so sumandi neodvisni ne pa tudi enakomerno porazdeljeni, velja:

${\displaystyle {\overline {X}}_{n}-\mathbb {E} {\big (}{\overline {X}}_{n}{\big )}\ \xrightarrow {\text{s.g.}} \ 0\!\,,}$ 

tako, da ima vsak ${\displaystyle X_{k}\!\,}$  končni drugi moment, in:

${\displaystyle \sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\mathbb {V} [X_{k}]<\infty \!\,.}$ 

Ta izjava je znana kot krepki zakon Kolmogorova, glej na primer Sen; Singer (1993), Izrek 2.3.10.

Zgled niza v katerem velja šibki zakon ne pa krepki zakon je kadar je ${\displaystyle X_{k}\!\,}$  enak plus ali minus ${\displaystyle {\sqrt {k/\log \log \log k}}\!\,}$  (s pričetkom v dovolj velikem ${\displaystyle k\!\,}$ , da je imenovalec pozitiven) z verjetnostjo enako ${\displaystyle 1/2\!\,}$  za vsakega. Varianca ${\displaystyle X_{k}\!\,}$  je potem enaka ${\displaystyle k/\log \log \log k\!\,}$ . Krepkizakon Kolmogorova ne velja, ker je delna vsota v njegovem kriteriju do ${\displaystyle k=n\!\,}$  asimptotična k ${\displaystyle \log n/\log \log \log n\!\,}$ , kar je brez meje.

Če se slučajne spremenljivke zamenja z Gaussovimi spremenljivkami z enako varianco, namreč ${\displaystyle {\sqrt {k/\log \log \log k}}\!\,}$ , bo povprečje v vsaki točki tudi normalno porazdeljeno. Širina porazdelitve povprečja se bo približevala nič (standardni odklon k ${\displaystyle 1/{\sqrt {2\log \log \log n}}\!\,}$ ), za dano število ${\displaystyle \varepsilon \!\,}$  obstaja verjetnost, ki z naraščajočim ${\displaystyle n\!\,}$  ne gre proti nič, povprečje pa včasih po ${\displaystyle n\!\,}$ -tem poskusu gre nazaj k ${\displaystyle \varepsilon \!\,}$ . Ker širina porazdelitve povprečja ni enaka nič, mora imeti pozitivno spodnjo mejo ${\displaystyle \mathbb {P} (\varepsilon )\!\,}$ , kar pomeni, da obstaja verjetnost enaka vsaj ${\displaystyle \mathbb {P} (\varepsilon )\!\,}$ , da bo povprečje doseglo ${\displaystyle \varepsilon \!\,}$  po ${\displaystyle n\!\,}$  poskusih. To se bo zgodilo z verjetnostjo enako ${\displaystyle \mathbb {P} (\varepsilon )/2\!\,}$  pred določenim ${\displaystyle m\!\,}$ , kar je odvisno od ${\displaystyle n\!\,}$ . Vendar tudi po ${\displaystyle m\!\,}$  poskusih obstaja še vedno verjetnost enaka vsaj ${\displaystyle \mathbb {P} (\varepsilon )\!\,}$ , da se bo to zgodilo. (To zgleda nakazuje, da je ${\displaystyle \mathbb {P} (\varepsilon )=1\!\,}$ , povprečje pa bo doseglo ${\displaystyle \varepsilon \!\,}$  neskončno mnogokrat.)

Razlike med šibkim in krepkim zakonom

Šibki zakon pravi, da bo za poljubni veliki ${\displaystyle n\!\,}$  povprečje ${\displaystyle {\overline {X}}_{n}\!\,}$  verjetno blizu ${\displaystyle \mu \!\,}$ . Tako pušča odprto vprašanje verjetnosti, da se bo ${\displaystyle |{\overline {X}}_{n}-\mu |>\varepsilon \!\,}$  zgodilo neskončno mnogokrat, čeprav ne v rednih intervalih. (Ni nujno, da velja ${\displaystyle |{\overline {X}}_{n}-\mu |\neq 0\!\,}$  za vse ${\displaystyle n\!\,}$ ).

Krepki zakon kaže, da se to skoraj gotovo ne bo zgodilo. Iz njega še posebej izhaja, da z verjetnostjo enako 1 za poljubni ${\displaystyle \varepsilon >0\!\,}$  neenakost ${\displaystyle |{\overline {X}}_{n}-\mu |<\varepsilon \!\,}$  velja za dovolj veliki ${\displaystyle n\!\,}$ .

Krepki zakon ne velja v naslednjih primerih, šibki pa velja:

1. Naj je ${\displaystyle X\!\,}$  eksponentno porazdeljena slučajna spremenljivka s parametrom 1. Slučajna spremenljivka ${\displaystyle \sin(X)e^{X}X^{-1}\!\,}$  po Lebesguovem integralu nima pričakovane vrednosti, vendar se s pogojno konvergenco in interpretacijo integrala kot Dirichletov integral, ki je nepravi Riemannov integral, lahko zapiše:

${\displaystyle \mathbb {E} \left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}\,\mathrm {d} x={\frac {\pi }{2}}\!\,.}$ 

2. Naj je ${\displaystyle x\!\,}$  geometrična porazdelitev z verjetnostjo ${\displaystyle \mathbb {P} =1/2\!\,}$ . Slučajna spremenljivka ${\displaystyle 2^{X}(-1)^{X}X^{-1}\!\,}$  v običajnem smislu nima pričakovane vrednosti, ker neskončna vrsta ni absolutno konvergentna. S pogojno konvergenco pa se lahko zapiše:

${\displaystyle \mathbb {E} \left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln 2\!\,.}$ 

3. Če je zbirna funkcija verjetnosti slučajne spremenljivke enaka:

${\displaystyle 1-F(x)={\frac {e}{2x\ln x}},\qquad x\geq e\!\,,}$ 

${\displaystyle F(x)={\frac {e}{-2x\ln(-x)}},\qquad x\leq -e\!\,,}$ 

potem nima pričakovane vrednosti, šibki izrek pa velja.

Enolični zakon velikih števil

Naj je ${\displaystyle f(x,\theta )\!\,}$  neka funkcija definirana za ${\displaystyle \theta \in \Theta \!\,}$  in zvezna za ${\displaystyle \theta \!\,}$ . Potem bo za poljubni ${\displaystyle \theta \!\,}$  zaporedje ${\displaystyle \{f(X_{1},\theta ),f(X_{2},\theta ),\ldots \}\!\,}$  takšno zaporedje neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk, da bo vzorčna sredina tega zaporedja konvergirala verjetnostno k ${\displaystyle \mathbb {E} \left(f(X,\theta )\right)\!\,}$ . To je točkovna konvergenca (v ${\displaystyle \theta \!\,}$ ).

Enolični zakon velikih števil podaja pogoje pod katerimi se konvergence v ${\displaystyle \theta \!\,}$  zgodijo enolično. Če je:

1. ${\displaystyle \Theta \!\,}$  kompaktna,
2. ${\displaystyle f(x,\theta )\!\,}$  zvezna v vsaki ${\displaystyle \theta \in \Theta \!\,}$  za skoraj vse spremenljivke ${\displaystyle x\!\,}$  in merljiva funkcija spremenljivke ${\displaystyle x\!\,}$  v vsaki ${\displaystyle \theta \!\,}$ ,
3. potem obstaja takšna prevladujoča funkcija ${\displaystyle d(x)\!\,}$ , da je ${\displaystyle \mathbb {E} \left(d(X)\right)<\infty \!\,}$  in
   ${\displaystyle \left\|f(x,\theta )\right\|\leq d(x)\quad {\text{za vse}}\ \theta \in \Theta \!\,.}$ 

Potem je ${\displaystyle \mathbb {E} \left(f(X,\theta )\right)\!\,}$  zvezna v ${\displaystyle \theta \!\,}$  in:

${\displaystyle \sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\mathbb {E} \left(f(X,\theta )\right)\right\|\xrightarrow {\text{s.g.}} \ 0\!\,.}$ 

Ta rezultat je uporaben za izpeljavo konsistence velikega razreda cenilk (glej ekstremalna cenilka).

Borelov zakon velikih števil

Borelov zakon velikih števil iz leta 1909, imenovan po Émileu Borelu, pravi, da, če se poskus ponavlja velikokrat, neodvisno pod enakimi pogoji, je razmerje kolikokrat se poljubni določeni dogodek pojavi, približno enako verjetnosti pojavitve dogodka v poljubnem posameznem poskusu – večje je število ponavljanj, boljši bo približek. Točneje, če ${\displaystyle A\!\,}$  označuje iskani dogodek, ${\displaystyle \mathbb {P} \!\,}$  verjetnost njegove pojavitve in ${\displaystyle N_{n}(A)\!\,}$  število kolikokrat se dogodek ${\displaystyle A\!\,}$  pojavi v prvih ${\displaystyle n\!\,}$  poskusih, bo z verjetnostjo 1:

${\displaystyle {\frac {N_{n}(A)}{n}}\to \mathbb {P} ,\quad {\text{ ko gre }}n\to \infty \!\,.}$ 

Izrek strogo podaja intuitivno predstavo verjetnosti kot dolgoročni relativni frekvenci pojavitve dogodka. Je posebni primer enega od več splošnejših zakonov velikih števil v verjetnostnem računu.

Neenakost Markova (prva neenakost Čebišova): če je ${\displaystyle X\!\,}$  nenegativna slučajna spremenljivka, za poljubno realno število ${\displaystyle k>0\!\,}$  velja:

${\displaystyle \mathbb {P} \left(|X-\mu |\geq k\sigma (X)\right)\leq {\frac {1}{k}}\!\,.}$ 

Neenakost Čebišova (druga neenakost Čebišova). Neenakost ocenjuje kakšna je verjetnost, da se slučajna spremenljivka veliko razlikuje od končne pričakovane vrednosti ${\displaystyle \mu \!\,}$ . Naj je ${\displaystyle Y\!\,}$  poljubna realna slučajna spremenljivka s končno pričakovano vrednostjo ${\displaystyle \mu \!\,}$  in končno neničelno varianco ${\displaystyle \sigma ^{2}\!\,}$ . Neenakost Čebišova sledi iz neenakosti Markova za ${\displaystyle X=|Y-\mathbb {E} (Y)|^{2}\!\,}$ . Za vsako realno število ${\displaystyle k>0\!\,}$  velja:

${\displaystyle \mathbb {P} \left(|Y-\mu |\geq k\sigma (Y)\right)\leq {\frac {1}{k^{2}}}\!\,.}$ 

Za dano neskončno zaporedje neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk ${\displaystyle X_{1},X_{2},\cdots \!\,}$  s končno pričakovano vrednostjo ${\displaystyle \mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu <\infty \!\,}$  je treba določiti konvergenco vzorčne sredine:

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}\left(X_{1}+X_{2}+\cdots +X_{n}\right)\!\,.}$ 

Šibki izrek velikih števil pravi:

Izrek: ${\displaystyle {\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}}$  (2. zakon)

Dokaz z neenakostjo Čebišova s privzetkom končne variance

Pri tem dokazu se privzame končna varianca ${\displaystyle \mathbb {V} \left(X_{i}\right)=\sigma ^{2}\!\,}$  (za vse ${\displaystyle i\!\,}$ ). Neodvisnost slučajnih spremenljivk narekuje, da med njimi ni korelacij. Velja tudi:

${\displaystyle \mathbb {V} \left({\overline {X}}_{n}\right)=\mathbb {V} \left({\frac {1}{n}}\left(X_{1}+X_{2}+\cdots +X_{n}\right)\right)={\frac {1}{n^{2}}}\mathbb {V} \left(X_{1}+X_{2}+\cdots +X_{n}\right)={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}\!\,.}$ 

Skupna srednja vrednost ${\displaystyle \mu \!\,}$  zaporedja je srednja vrednost vzorčne sredine:

${\displaystyle \mathbb {P} \left({\overline {X}}_{n}\right)=\mu \!\,.}$ 

Neenakost Čebišova za ${\displaystyle {\overline {X}}_{n}\!\,}$  da:

${\displaystyle \mathbb {P} \left(\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon \right)\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}\!\,.}$ 

Od tod sledi naslednje:

${\displaystyle \mathbb {P} \left(\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1-\mathbb {P} \left(\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon \right)\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}\!\,.}$ 

Ko se ${\displaystyle n\!\,}$  približuje neskončnosti, vrednost izraza teži k 1. Iz definicje verjetnostne konvergence sledi:

${\displaystyle {\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty .\\{}\end{matrix}}}$  (2. zakon)

Dokaz s konvergenco karakterističnih funkcij

Po Taylorjevem izreku za kompleksne funkcije se lahko karakteristična funkcija poljubne slučajne spremenljivke ${\displaystyle X\!\,}$  s končno srednjo vrednostjo ${\displaystyle \mu \!\,}$  zapiše kot:

${\displaystyle \varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0\!\,.}$ 

Vse spremenljivke ${\displaystyle X_{1},X_{2},\ldots \!\,}$  imajo enako karakteristično funkcijo, zato se lahko to označi enostavno kot ${\displaystyle \varphi _{X}\!\,}$ .

Med osnovne značilnosti karakterističnih funkcij spadata:

${\displaystyle \varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{in}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\ }$ , če sta ${\displaystyle X\!\,}$  in ${\displaystyle Y\!\,}$  neodvisni.

S tema praviloma se lahko izračuna karakteristično funkcijo ${\displaystyle \scriptstyle {\overline {X}}_{n}\!\,}$ , izraženo s ${\displaystyle \varphi _{X}\!\,}$ :

${\displaystyle \varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({\frac {t}{n}}\right)\right]^{n}=\left[1+i\mu {\frac {t}{n}}+o\left({\frac {t}{n}}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{ko gre}}\quad n\rightarrow \infty \!\,.}$ 

Limita ${\displaystyle e^{it\mu }\!\,}$  je karakteristična funkcija konstantne slučajne spremenljivke ${\displaystyle \mu \!\,}$  in zaradi tega po Lévyjevem izreku zveznosti ${\displaystyle \scriptstyle {\overline {X}}_{n}}$  porazdelitveno konvergira k ${\displaystyle \mu \!\,}$ :

${\displaystyle {\overline {X}}_{n}\,\xrightarrow {\mathcal {D}} \,\mu ,\quad {\text{za}}\qquad n\to \infty \!\,.}$ 

${\displaystyle \mu \!\,}$  je konstanta, kar nakazuje, da sta porazdelitvena konvergenca k ${\displaystyle \mu \!\,}$  in verjetnostna konvergenca k ${\displaystyle \mu \!\,}$  enakovredni (glej konvergenca slučajnih spremenljivk.) Tako velja:

${\displaystyle {\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}}$  (2. zakon)

To kaže, da vzorčna sredina konvergira k odvodu karakteristične funkcije v izhodišču vse dokler ta funkcija obstaja.

Zakon velikih števil zagotavlja pričakovanje neznane porazdelitve iz realizacije zaporedja in tudi vsako značilnost verjetnostne porazdelitve. Z Borelovim zakonom velikih števil se lahko preprosto pridobi funkcija verjetnosti. Za vsak dogodek obravnavane funkcije verjetnosti se lahko aproksimira verjetnost pojavitve dogodka z razmerjem kolikokrat se poljubno določeni dogodek pojavi. Večje je število ponavljanj, boljši bo približek. Glede na zvezni primer ${\displaystyle C=(a-h,a+h]\!\,}$  za mali pozitivni ${\displaystyle h\!\,}$  tako za velik ${\displaystyle n\!\,}$  velja:

${\displaystyle {\frac {N_{n}(C)}{n}}\thickapprox p=\mathbb {P} (X\in C)=\int _{a-h}^{a+h}f(x)\ \mathrm {d} x\!\,\thickapprox 2hf(a)}$ 

S to metodo se lahko pokrije celotna os ${\displaystyle x\!\,}$  z mrežo (velikosti ${\displaystyle 2h\!\,}$ ) in tvori palčni graf, ki se imenuje histogram.