Estimateurs des moments

Dans le cours, nous avions vu que si https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/moment-est.gif, un estimateur naturel pour le paramètre était https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/moment-est2.gif. On appelle cette méthode la méthode des moments. Mais il est possible, que, plus généralement https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/mmomot3.gif, et on pourrait considérer comme estimateur naturel

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/kvmoment4.gif

On avait noté en cours que le premier soucis était un soucis d’inversibilité. Pour utiliser cette méthode, il faut une relation bijective entre le moment et le paramètre. On avait vu avec la loi binomiale – que ce n’est pas le cas pour la variance, par exemple.

Le second soucis est un problème numérique: il faut inverser cette fonction (ce qui peut ne pas être trivial) mais avec une méthode de type sécante (programméeici), ça pourrait marcher. Par exemple pour la loi de Poisson, on sait que

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/poisson-mu-1.gif
https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/poisson-m-2.gif
https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/10/poisson-m-3.gif
https://f.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/poisson-m4.gif

(…etc). On peut numériquement construire des estimateurs de la manière suivante

secant=function(fun, x0, x1, tolerence=1e-07, niter=500){
for ( i in 1:niter ) {
	x2 <- x1-fun(x1)*(x1-x0)/(fun(x1)-fun(x0))
	if (abs(fun(x2)) < tolerence)
		return(x2)
	x0 <- x1
	x1 <- x2
}}
X=rpois(50,10)
m1=mean(X)
f=function(x){x*(1+x)-mean(X^2)}
secant(f,0,40)
m2=secant(f,0,50)
f=function(x){x*(1+3*x+x^2)-mean(X^3)}
secant(f,0,50)
m3=secant(f,0,50)
f=function(x){x*(1+7*x+6*x^2+x^3)-mean(X^4)}
secant(f,0,100)
m4=secant(f,0,20)

Le dernier soucis est un problème plus statistique: il semble que l’estimateur basé sur le premier moment soit meilleur que les autres. Sur le dessin ci-dessous, on a simulé 10,000 fois des lois de Poisson de paramètre 10 (qui est la vraie valeur du paramètre, ici représentée verticalement en pointillés), et on représente en rouge l’estimateur construit sur le premier moment, avec la croix au centre qui représente la valeur moyenne, et le segment qui est un intervalle de confiance à 80% de notre estimateur (i.e. les quantiles à 10% et 90% obtenus sur les 10,000 simulations),

En bleu, on a l’estimateur construit à l’aide du moment d’ordre deux, en vert du moment d’ordre trois, et en mauve du moment d’ordre quatre. Bref, plus on prend des moments d’ordre élevé, plus le biais semble important, et plus la variance de notre estimateur augmente.

Moralité, l’estimateur de la méthode des moments (et l’unique) sera construit sur les moments les plus faibles possibles…


4 thoughts on “Estimateurs des moments”

  1. Certains cas doivent pouvoir se traiter explicitement. Peut-être pas toutes les lois de la famille exponentielle… D’abord dans le cas de la loi de Poisson que tu considères es-tu certain d’avoir l’identifiabilité de l’EMM en prenant n’importe quelle moment ? Je pense qu’on peut regarder le cas de la loi exponentielle qui doit donner un estimateur complètement explicite avec une variance asymptotique explicite aussi. Veux-tu que je regarde les calculs ?

    RÉPONSE: bon, je te reprends par mail… au pire on aura un sujet de travail au chalet cet été (mais a priori ce sont des vacances, donc on viendra plutôt avec un jeu de uno, des bouteilles, quelques polars et pas mal de musique).

  2. En effet. Il me semble que plus on considère un degré élevé, moins l’estimateur empirique correspondant est précis. On doit voir cela sur le TCL sur les moments empiriques. Après tu peux peut-être en déduire (un coup de delta méthode) une variance asymptotique des EMM et montrer qu’elle est croissante avec le degré… Est-ce juste ? A voir…

    RÉPONSE: on essaye ? en fait je suis persuadé que ça a été fait, au moins pour les lois usuelles (genre famille exponentielle)… en tous les cas les simulations confirment l’intuition, c’est ce que je voulais raconter… Et comme je suis plus fort pour programmer des simulations que faire des calculs, je me suis arrêté là…. En fait je pense que tout doit dépendre de la forme de la fonction liant le paramètre… ici on a un polynôme dont le degré augmente avec l’ordre… Je pense qu’on peut construire des distributions bizarres pour lesquelles il peut être intéressant de regarder les variances. Je ne sais pas… A suivre donc…

    1. Incroyable… 6 ans après, je suis revenu sur cette question pour un cours de stat inférentielle que je donne depuis l’an dernier. L’idée est d’expliquer qu’il n’y a pas un seul estimateur donné par la méthode des moments mais autant qu’il y a de moments non-centrés ou centrés. Bref, si tu prends la loi exponentielle et le moment non centré d’ordre q >= 1, alors la variance asymptotique est donnée par Gamma(2*q+1)/Gamma(q+1)-1)/q^2 qui est croissante en q (par contre, je ne sais pas ce que cela donne pour 0 < q < 1)…

Leave a Reply

Your email address will not be published. Required fields are marked *