Cet article est une ébauche concernant les probabilités et la statistique.
Inventeur | |
---|---|
Nommé en référence à | |
Formule |
En statistique, l'information de Fisher quantifie l'information relative à un paramètre contenu dans une distribution. Elle est définie comme l'espérance de l'information observée, ou encore comme la variance de la fonction de score. Dans le cas multi-paramétrique, on parle de matrice d'information de Fisher. Elle a été introduite par R.A. Fisher.
Soit f(x ; θ) la distribution de vraisemblance d'une variable aléatoire X (qui peut être multidimensionnelle), paramétrée par θ. Le score est défini comme la dérivée partielle de la log-vraisemblance par rapport au paramètre θ :
L'information de Fisher est alors définie comme le moment d'ordre deux de la fonction de score :
Il est possible de montrer que la fonction de score a une espérance nulle. L'information de Fisher correspond par conséquent également à la variance de la fonction de score.
Les différentes observations nous permettent d'échantillonner la fonction de densité de probabilité f(x ; θ). Le maximum de vraisemblance consiste à maximiser la probabilité . Si les observations sont décorrélées, la valeur la plus probable nous est donnée par le maximum de
qui est aussi le maximum de
Le passage en logarithme permet de transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation :
Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique. La résolution de cette équation permet de trouver un estimateur de θ à partir du jeu de paramètre au sens du maximum de vraisemblance. Maintenant, la question est de quantifier la précision de notre estimation. On cherche donc à estimer la forme de la distribution de probabilité de θ autour de la valeur donnée par l'estimateur . À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient :
où est l'information de Fisher relative à θ au point de maximum de vraisemblance. Ceci signifie que θ suit en première approximation une loi gaussienne d'espérance et de variance :
Cette variance est appelée la borne de Cramér-Rao et constitue la meilleure précision d'estimation atteignable en absence d'a priori.
Une des propriétés fondamentales de l'information de Fisher est son additivité. L'information résultant de deux variables aléatoires indépendantes est la somme des informations :
Si on a N réalisations indépendantes obéissant une même densité de probabilité, l'information résultante est une simple mise à l'échelle de l'information individuelle.
Lorsqu'une statistique S(X) sur une variable aléatoire X est exhaustive, l'information relative à la statistique est inférieure ou égale à celle de la variable aléatoire. Autrement dit
avec égalité pour une statistique exhaustive.
Dans le cas où la distribution de probabilité f(X) dépend de plusieurs paramètres, θ n'est plus un scalaire mais un vecteur .La recherche du maximum de vraisemblance ne se résume donc non pas à une seule équation mais à un système :
on dérive vis-à-vis des différentes composantes de . Enfin, l'information de Fisher n'est plus définie comme une variance scalaire mais comme une matrice de covariance :
L'inverse de cette matrice permet quant à elle de déterminer les bornes de Cramér-Rao, i.e. les covariances relatives aux estimations conjointes des différents paramètres à partir des observations : en effet, le fait que tous les paramètres soient à estimer simultanément rend l'estimation plus difficile. Ce phénomène est une manifestation de ce qui est parfois appelé le « fléau de la dimension ». C'est pour cette raison que l'on utilise quand on le peut des a priori sur les paramètres (méthode d'estimation du maximum a posteriori). Ainsi, on restreint l'incertitude sur chacun des paramètres, ce qui limite l'impact sur l'estimation conjointe.
Cette matrice est couramment appelée la métrique d'information de Fisher ;
En effet, le passage de l'espace des observations à l'espace des paramètres est un changement de système de coordonnées curviligne. Dans la base des paramètres, avec comme produit scalaire la covariance, cette matrice est la métrique. Ce point de vue géométrique, introduit par C. Rao , a été ensuite largement développé par S. Amari sous la dénomination de géométrie de l'information. La métrique n'est en général pas invariante, et l'espace des paramètres est riemannien. L'inégalité de Cramér-Rao s'interprète avec comme l'expression de l'inégalité de Schwarz entre le vecteur de dérivée de la distribution selon un paramètre et son dual. L'information de Fisher joue un rôle particulier en tant que métrique de par ses propriétés d'additivité et d'invariance par rapport à l'échantillonnage statistique (théorème de Chentsov ou Čencov ). C'est une métrique qui est donc naturelle lorsque sont considérées des distributions de probabilité. De plus, l'approche du concept d'information sous l'angle de la géométrie différentielle permet de proposer un cadre cohérent liant différents concepts :
Il existe un très grand nombre de formulations alternatives de l'information de Fisher révélant certaines propriétés intéressantes.
De la même façon que l'on a défini l'information de Fisher pour le vecteur des observations X, on peut définir l'information de Fisher contenue dans une statistique S(X) :
Cette définition est exactement la même que celle de l'information de Fisher pour X pour un modèle multiparamétrique, on remplace juste la densité de X par celle de S(X) la statistique S. Deux théorèmes illustrent l'intérêt de cette notion :
L'information de Fisher a été reliée à d’autres notions :
La conservation de l'énergie est vue comme découlant de la conservation de l'information. Par exemple, on considère une fonction d'onde complexe (telle que la densité de probabilité de présence de la particule soit ) dans les coordonnées de Minkowski (ix, iy, iz, ct). Si l'on considère ces coordonnées comme canoniques i.e. suffisantes, équivalentes et indépendantes, l'information de Fisher intrinsèque associée est
où .
En passant dans l'espace réciproque, il vient :
Autrement dit, d'après les relations de Planck
La conservation de cette information correspond conceptuellement à l'invariance de la masse de la particule, selon la relation classique de la relativité restreinte , ce qui a pour équivalent en physique quantique l'équation de Klein-Gordon .
This article uses material from the Wikipedia Français article Information de Fisher, which is released under the Creative Commons Attribution-ShareAlike 3.0 license ("CC BY-SA 3.0"); additional terms may apply (view authors). Le contenu est disponible sous licence CC BY-SA 4.0 sauf mention contraire. Images, videos and audio are available under their respective licenses.
®Wikipedia is a registered trademark of the Wiki Foundation, Inc. Wiki Français (DUHOCTRUNGQUOC.VN) is an independent company and has no affiliation with Wiki Foundation.