Nous avons défini dans le cours l’information de Fisher par

où . On verra la semaine prochaine que cette information peut s’écrire (moyennant quelques conditions de régularité)

Dans un cadre multivarié, on a que  avec

ou encore

(avec une écriture analogue au cas univarié en utilisant la matrice Hessienne).
Étant donné un échantillon, l’information de Fisher empirique est la pente de la log-vraisemblance en , i.e. dans le cas d’échantillons de 20 tirages de pile/face (avec une pièce non truquée)

X=sample(c("PILE","FACE"),size=20,prob=c(.5,.5),replace=TRUE)
X=(X=="PILE")*1
vecP=seq(0,1,by=.01)
logL=function(p){sum(log(dbinom(X,size=1,prob=p)))}
L=lapply(vecP,logL)
plot(vecP,L,type="l",col="blue",lwd=2,xlab="",ylab="")
abline(v=.5,col="red",lty=2)

En répétant plusieurs milliers de fois, on peut étudier la distribution de cette pente

En note que le score est centré, et ici la variance est

> var(SCORE)
[1] 80.00168
> 20/(.5*(1-.5))
[1] 80
20/(.5*(1-.5))

(ce qui correspond effectivement à l’information de Fisher). Mais cette informationest un concept plus général qu’une variance…
Bon, maintenant essayons de creuser un peu cette histoire d’information (c’est Ronald Fisher qui a – le premier – utilisé ce nom en 1925, bien avant les travaux de Shannon et Wiener sur des mesures logarithme d’information dans un contexte de théorie de la communication).

On cherche a quantifier le mesure d’information d’un échantillon  correspondant à une collection de variables aléatoires , i.i.d. de loi , et de densité/loi de probabilité .

Une hypothèse est qu’avoir  observations apporte deux fois plus d’information qu’en avoir seulement . On a alors quelque chose qui pourrait s’écrire

Aussi on suppose que pas d’observation signifie pas d’information… J’ai l’impression que les bayésiens ne seraient pas d’accord, mais c’est une autre histoire…

On suppose aussi que l’information dépend de la loi  , et pas de l’échantillon .

On peut aussi noter (c’est une idée peut être plus simple à comprendre dans le contexte de la communication) que la compression ne peut que détériorer l’information. Autrement dit, si on utiliser  et non pas , l’information est moins bonne, i.e.

Et le seul cas pour lequel on n’a pas de perte d’information est le cas d’une statistique exhaustive.

On notera aussi qu’une information doit être positive (au pire on n’a pas d’information).

Mais pour relier cette information a une propriété sur la variance de notre estimateur, il faut creuser un peu. Considérons un estimateur sans biais  de , i.e.

ou encore (en supposant que l’échantillon soit réduit à une unique observation)

soit, en notant que

(car on a une densité)

En différenciant par rapport à , on peut en déduire que

soit (en admettant que l’on puisse intervertir intégrale et dérivée)

Or on peut réécrire

ce qui donne

ou encore

Et là, on invoque l’inégalité de Cauchy-Schwarz afin de garantir que

On reconnait alors deux espérances, i.e.

(pour le terme de gauche, on a utilisé le fait qu’on avait un estimateur sans biais). Bref, il existe plein d’application de cette information, cette dernière inégalité étant probablement la plus importante.
Pour aller un peu plus loin, je peux renvoyer vers des notes de cours de Tran Viet Chi, en ligne ici. Et pour ceux qui veulent aller vraiment plus loin, John Pierce Robert Ash et surtout Solomon Kullback ont écrit des livres entiers sur statistiques et mesure d’information….