Information de Fisher

Nous avons défini dans le cours l’information de Fisher par

http://freakonometrics.free.fr/blog/latex/information01.gif

où http://freakonometrics.free.fr/blog/latex/information02.gif. On verra la semaine prochaine que cette information peut s’écrire (moyennant quelques conditions de régularité)

http://freakonometrics.free.fr/blog/latex/information03.gif

Dans un cadre multivarié, on a que http://freakonometrics.free.fr/blog/latex/information04.gif avec

http://freakonometrics.free.fr/blog/latex/information05.gif

ou encore

http://freakonometrics.free.fr/blog/latex/information06.gif

(avec une écriture analogue au cas univarié en utilisant la matrice Hessienne).
Étant donné un échantillon, l’information de Fisher empirique est la pente de la log-vraisemblance en https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/information09.gif, i.e. dans le cas d’échantillons de 20 tirages de pile/face (avec une pièce non truquée)

http://freakonometrics.blog.free.fr/public/perso2/info-fisher.gif
X=sample(c("PILE","FACE"),size=20,prob=c(.5,.5),replace=TRUE)
X=(X=="PILE")*1
vecP=seq(0,1,by=.01)
logL=function(p){sum(log(dbinom(X,size=1,prob=p)))}
L=lapply(vecP,logL)
plot(vecP,L,type="l",col="blue",lwd=2,xlab="",ylab="")
abline(v=.5,col="red",lty=2)

En répétant plusieurs milliers de fois, on peut étudier la distribution de cette pente

En note que le score est centré, et ici la variance est

> var(SCORE)
[1] 80.00168
> 20/(.5*(1-.5))
[1] 80
20/(.5*(1-.5))

(ce qui correspond effectivement à l’information de Fisher). Mais cette informationest un concept plus général qu’une variance…
Bon, maintenant essayons de creuser un peu cette histoire d’information (c’est Ronald Fisher qui a – le premier – utilisé ce nom en 1925, bien avant les travaux de Shannon et Wiener sur des mesures logarithme d’information dans un contexte de théorie de la communication).

On cherche a quantifier le mesure d’information d’un échantillon http://freakonometrics.free.fr/blog/latex/information07.gif correspondant à une collection de variables aléatoires http://freakonometrics.free.fr/blog/latex/information08.gif, i.i.d. de loi http://freakonometrics.free.fr/blog/latex/information10.gif, et de densité/loi de probabilité http://freakonometrics.free.fr/blog/latex/information11.gif.

Une hypothèse est qu’avoir http://freakonometrics.free.fr/blog/latex/information12.gif observations apporte deux fois plus d’information qu’en avoir seulement http://freakonometrics.free.fr/blog/latex/information13.gif. On a alors quelque chose qui pourrait s’écrire

http://freakonometrics.free.fr/blog/latex/information14.gif

Aussi on suppose que pas d’observation signifie pas d’information… J’ai l’impression que les bayésiens ne seraient pas d’accord, mais c’est une autre histoire…

On suppose aussi que l’information dépend de la loi  http://freakonometrics.free.fr/blog/latex/information11.gif, et pas de l’échantillon http://freakonometrics.free.fr/blog/latex/information07.gif.

On peut aussi noter (c’est une idée peut être plus simple à comprendre dans le contexte de la communication) que la compression ne peut que détériorer l’information. Autrement dit, si on utiliser http://freakonometrics.blog.free.fr/public/perso2/infofi-01.gif et non pas http://freakonometrics.blog.free.fr/public/perso2/infori-02.gif, l’information est moins bonne, i.e.

http://freakonometrics.blog.free.fr/public/perso2/infofi-03.gif

Et le seul cas pour lequel on n’a pas de perte d’information est le cas d’une statistique exhaustive.

On notera aussi qu’une information doit être positive (au pire on n’a pas d’information).

Mais pour relier cette information a une propriété sur la variance de notre estimateur, il faut creuser un peu. Considérons un estimateur sans biais http://freakonometrics.free.fr/blog/latex/information15.gif de http://freakonometrics.free.fr/blog/latex/information09.gif, i.e.

http://freakonometrics.free.fr/blog/latex/infromation16.gif

ou encore (en supposant que l’échantillon soit réduit à une unique observation)

http://freakonometrics.free.fr/blog/latex/information17.gif

soit, en notant que

http://freakonometrics.free.fr/blog/latex/information18.gif

(car on a une densité)

http://freakonometrics.free.fr/blog/latex/information19.gif

En différenciant par rapport à http://freakonometrics.free.fr/blog/latex/information09.gif, on peut en déduire que

http://freakonometrics.free.fr/blog/latex/information20.gif

soit (en admettant que l’on puisse intervertir intégrale et dérivée)

http://freakonometrics.free.fr/blog/latex/information21.gif

Or on peut réécrire

http://freakonometrics.free.fr/blog/latex/information22.gif

ce qui donne

http://freakonometrics.free.fr/blog/latex/information23.gif

ou encore

http://freakonometrics.free.fr/blog/latex/information24.gif

Et là, on invoque l’inégalité de Cauchy-Schwarz afin de garantir que

http://freakonometrics.free.fr/blog/latex/information25.gif

On reconnait alors deux espérances, i.e.

http://freakonometrics.free.fr/blog/latex/information26.gif

(pour le terme de gauche, on a utilisé le fait qu’on avait un estimateur sans biais). Bref, il existe plein d’application de cette information, cette dernière inégalité étant probablement la plus importante.
Pour aller un peu plus loin, je peux renvoyer vers des notes de cours de Tran Viet Chi, en ligne ici. Et pour ceux qui veulent aller vraiment plus loin, John Pierce Robert Ash et surtout Solomon Kullback ont écrit des livres entiers sur statistiques et mesure d’information….


2 thoughts on “Information de Fisher”

Leave a Reply

Your email address will not be published. Required fields are marked *