Nous avons défini dans le cours l’information de Fisher par
où 
. On verra la semaine prochaine que cette information peut s’écrire (moyennant quelques conditions de régularité)
Dans un cadre multivarié, on a que 
avec
ou encore
(avec une écriture analogue au cas univarié en utilisant la matrice Hessienne).
Étant donné un échantillon, l’information de Fisher empirique est la pente de la log-vraisemblance en 
, i.e. dans le cas d’échantillons de 20 tirages de pile/face (avec une pièce non truquée)
X=sample(c("PILE","FACE"),size=20,prob=c(.5,.5),replace=TRUE) X=(X=="PILE")*1 vecP=seq(0,1,by=.01) logL=function(p){sum(log(dbinom(X,size=1,prob=p)))} L=lapply(vecP,logL) plot(vecP,L,type="l",col="blue",lwd=2,xlab="",ylab="") abline(v=.5,col="red",lty=2)
En répétant plusieurs milliers de fois, on peut étudier la distribution de cette pente
En note que le score est centré, et ici la variance est
> var(SCORE) [1] 80.00168 > 20/(.5*(1-.5)) [1] 80 20/(.5*(1-.5))
(ce qui correspond effectivement à l’information de Fisher). Mais cette informationest un concept plus général qu’une variance…
Bon, maintenant essayons de creuser un peu cette histoire d’information (c’est Ronald Fisher qui a – le premier – utilisé ce nom en 1925, bien avant les travaux de Shannon et Wiener sur des mesures logarithme d’information dans un contexte de théorie de la communication).
On cherche a quantifier le mesure d’information d’un échantillon 
correspondant à une collection de variables aléatoires 
, i.i.d. de loi 
, et de densité/loi de probabilité 
.
Une hypothèse est qu’avoir 
observations apporte deux fois plus d’information qu’en avoir seulement 
. On a alors quelque chose qui pourrait s’écrire
Aussi on suppose que pas d’observation signifie pas d’information… J’ai l’impression que les bayésiens ne seraient pas d’accord, mais c’est une autre histoire…
On suppose aussi que l’information dépend de la loi , et pas de l’échantillon .
On peut aussi noter (c’est une idée peut être plus simple à comprendre dans le contexte de la communication) que la compression ne peut que détériorer l’information. Autrement dit, si on utiliser 
et non pas 
, l’information est moins bonne, i.e.
Et le seul cas pour lequel on n’a pas de perte d’information est le cas d’une statistique exhaustive.
On notera aussi qu’une information doit être positive (au pire on n’a pas d’information).
Mais pour relier cette information a une propriété sur la variance de notre estimateur, il faut creuser un peu. Considérons un estimateur sans biais 
de , i.e.
ou encore (en supposant que l’échantillon soit réduit à une unique observation)
soit, en notant que
(car on a une densité)
En différenciant par rapport à , on peut en déduire que
soit (en admettant que l’on puisse intervertir intégrale et dérivée)
Or on peut réécrire
ce qui donne
ou encore
Et là, on invoque l’inégalité de Cauchy-Schwarz afin de garantir que
On reconnait alors deux espérances, i.e.
(pour le terme de gauche, on a utilisé le fait qu’on avait un estimateur sans biais). Bref, il existe plein d’application de cette information, cette dernière inégalité étant probablement la plus importante.
Pour aller un peu plus loin, je peux renvoyer vers des notes de cours de Tran Viet Chi, en ligne ici. Et pour ceux qui veulent aller vraiment plus loin, John Pierce Robert Ash et surtout Solomon Kullback ont écrit des livres entiers sur statistiques et mesure d’information….
, the year (of the marriage), and on column 
, the age of the man when he gets married. Assume that those were rawdata, i.e. that we have the number of marriages of men of age 
, we want to estimate (or predict) the age he will get married, if he gets married. With raw data, we can do it… The first step is to build up triangles (to have a cohort vs. age lecture of the data), and then to consider a model, e.g.
is a year effect, and 
is a cohort effect.
and 
, where now 
denotes the cohort.
is the following
, but unfortunately, I do not think any interpretation is valid (unless demography did not change last century). For instance, the following sum
is the maximum of n random variables i.i.d. uniformly distributed on the unit interval 
. I gave a hint last week about the cumulative distribution function for the maximum, i.e.
,
is a random variable with finite variance, then
as 
. Here, it is then possible to get
, then 
(see the prof of the central limit theorem we got a few days ago).
is the cumulative distribution of the 
‘s (the random variables used to build up the maximum). This work since the 
, où 
et 
. On peut aussi l’écrire non pas sur la moyenne empirique, mais sur la somme (c’est cette forme que l’on a démontrée),
, alors 
. Et de plus, si 
, alors 
. Bref, en bricolant un peu, on peut en déduire une approximation de la forme suivante
suffisamment grand. Empiriquement, si on s’amuse à sommer des variables de Bernoulli indépendantes (car on connaît très exactement la loi de la somme) on obtient, pour la fonction de probabilité
