This morning, in our mathematical statistics course, we’ve been discussing the ‘proportion test‘, i.e. given a sample of Bernoulli trials, with
, we want to test
against
A natural test (which can be related to the maximum likelihood ratio test) is based on the statistic
The test function is here
To get the bounds of the acceptance region, we need the distribution of
, under
. Consider here a numerical application
n=20
p=.5
set.seed(1)
echantillon=sample(0:1,size=n,
prob=c(1-p,p),
replace=TRUE)
- the asymptotic distribution
The first (and standard idea) is to use the central limit theorem, since
So, under ,
Then while
. The acceptance region is then between the two red lines, below,
T=sqrt(n)*(mean(echantillon)-.5)/ sqrt(mean(echantillon)* (1-mean(echantillon))) u=seq(-3,3,by=.01) v=dnorm(u) plot(u,v,type="l",lwd=2) abline(v=qnorm(.025),col="red") abline(v=qnorm(.975),col="red") abline(v=T,col="blue")

- the exact distribution
Here we use the fact that
Using transformation of the ‘density’, we can (at least numerically) compute the (exact) distribution of
u=seq(-3,3,by=.01) v=sqrt(.5*(1-.5))*n*dbinom(round( (sqrt(.5*(1-.5))*u/sqrt(n)+.5)*n), size=n,prob=.5)/sqrt(n)
Here I used a round value, it guess it would be better with a floor function, but here the graph looks symmetric (which is something I like)
abline(v=sqrt(n)*(qbinom(.025,size=n,prob=.5)/n-.5)/sqrt(.5*(1-.5)),col="red") abline(v=sqrt(n)*(qbinom(.975,size=n,prob=.5)/n-.5)/sqrt(.5*(1-.5)),col="red") lines(u,v,type="s")

- distribution based on Monte Carlo simulations
Probably more interesting, here we do not use the fact that we might know the distribution of the mean. We just generate random samples, under , and then compute
,
T=rep(NA,1000)
for(i in 1:1000){
x=sample(0:1,size=n,
prob=c(1-.5,.5),
replace=TRUE)
m=mean(x)
T[i]=(m-.5)/sqrt(m*(1-m))*sqrt(n)}
lines(density(T),lwd=2)
abline(v=quantile(T,.025),col="red")
abline(v=quantile(T,.975),col="red")

de
vérifie la propriété asymptotique suivante.
Or on a une propriété intéressante sur les convergences de vecteurs Gaussiens (pour rester assez général). Soit
une suite de vecteurs aléatoires telle que
où
. Alors
où
(pour un paramètre univarié, ça sera alors ). Mais ce résultat n’est intéressant que si
est connue. En fait, si on a la suite des variances vérifie
, alors
Traduit sur notre estimateur du maximum de vraisemblance, cela signifie que
ou encore
Trois tests peut alors être mis en œuvre (et tant qu’à faire, on peut essayer de l’illustrer sur un exemple: encore et toujours du pile/face).
Mais avant toute chose, commençons par calculer l’estimateur du maximum de vraisemblance, ainsi que le score et l’information de Fisher. Dans ce modèle de variables de Bernoulli, on connaît des formes explicites de ces quantités. Mais ici, on va utiliser la méthode la plus générale qui soit, i.e. on va maximiser la log-vraisemblance, puis on va calculer le score et l’information de Fisher à la valeur de
Trois tests (équivalent asymptotiquement comme on le verra en cours) sont alors possibles.
entre l’estimateur du maximum de vraisemblance, et la valeur que l’on cherche à tester (comme le montre le dessin ci-dessous). Cette différence doit être “petite” si
On peut alors utiliser la statistique suivante
Asymptotiquement, en utilisant le résultat évoqué au début, cette statistique tend, sous l’hypothèse que 
On pose alors
(le 2 sera détaillé un peu en cours, c’est mis là de manière à avoir trois tests équivalents). Asymptotiquement, on peut montrer que cette statistique tend, sous l’hypothèse que 
La statistique de test est alors ici
Et là encore, asymptotiquement, on peut montrer que cette statistique tend, sous l’hypothèse que