Mercredi dernier, on commençait le cours avec une présentation rapide du test de Wilcoxon-Mann-Whitney (parfois appelé test de la somme des rangs, de Wilcoxon). Ce test a été proposé par Frank Wilcoxon en 1945, et (presque en même temps) par Henry Mann et Donald Whitney (en 1947), dans un article intitulé On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other. Le titre est clair. Ce test (non paramétrique) a vocation à tester l’hypothèse selon laquelle la distribution dans deux échantillons est la même. Ou, pour reprendre les notations du derniers billets, la distribution est la même dans deux groupes.
Autrement dit, on va chercher à tester, ici, , au sens où . Dans le test de Kolmogorov Smirnov, l’hypothèse alternative est .
Ici, comme le notent d’ailleur Mann et Whitney, “the test is shown to be consistent with respect to the class of alternatives for every “. Cette propriété est un peu particulière, et correspond à la notion de dominance stochastique à l’ordre 1. correspond à , ou encore, pour tout fonction croissante, si avec et .
Mais regardons un peu le test. On considère deux populations et . L’idée est de réordonner les éléments de par ordre croissant. On note le vecteur des rangs associés. Soit la somme des (premiers) rangs des éléments de , i.e. .
Comme l’ont montré Wilcoxon, Mann et Whitney, sous , suit une “loi connue”, où classiquement, “connue” veut dire tabulée pour de petits échantillons, et pour des échantillons plus grands.
Histoire d’illustrer, considerons deux échantillons, tirés suivant deux lois et avec , par exemple deux lois normales de moyennes différentes (et de même variance)
> u=seq(-3,4,length=251)
> plot(u,pnorm(u,0,1),col="red",type="l")
> lines(u,pnorm(u,.5,1),col="darkblue")
Effectivement, nos deux fonctions de répartition sont ordonnées, et on est bien dans une situation de dominance stochastique à l’ordre 1. Les densité sont ici
>plot(u,dnorm(u,0,1),col="red",type="l")
>lines(u,dnorm(u,.5,1),col="darkblue")
On peut générer 10,000 paires d’échantillons, de taille 100 (respectivement), et regarder la distribution de (et celle de ).
> P=matrix(NA,1e4,3)
> for(i in 1:1e4){
+ x=c(rnorm(100,0,1),rnorm(100,.5,1))
+ P[i,1:2]=c(sum(rank(x)[1:100]),sum(rank(x)[101:200]))
+ x0=c(rnorm(100,0,1),rnorm(100,0,1))
+ P[i,3]= sum(rank(x0)[1:100])
+}
> plot(density(P[,1]),col="red"))
> lines(density(P[,2]),col="darkblue")
> lines(density(P[,3]),lty=2)
Sous , la somme aurait eu la distribution avec les pointillés. On en est manifestement assez loin, autrement dit, on va rejeter ici l’hypothèse de lois égales, .
Intuitivement, c’est normal, car effectivement, les rangs dans un cas sont – en moyenne – plus faibles que pour l’autre,
Au lieu de simuler des lois dominées, à l’ordre 1, on peut tenter des lois dominées à l’ordre 2. Rappelons que signifie
ou encore
avec et . où est unne fonction croissante et concave.
En gestion des risques (ou sur les inégalités), on va supposer en plus que , ce qui correspond à une notion de “mean preserving spread” (on peut relire le document sur la notion de
single crossing, par Alain Chateauneuf). Une caractérisation est
où et . où est concave. Une caractérisation alternative est avec (on pourra relire Rothschild et Stiglitz, Increasing Risk: A Definition)
Dans le cas des lois normales, on a cette notion de ‘mean preserving spread’ lorsque les moyennes sont identiques, mais pas les variances. On a alors plus de dispersion,
> u=seq(-4,4,length=251)
> plot(u,pnorm(u,0,1),col="red",type="l")
> lines(u,pnorm(u,0,1.5),col="darkblue")
Effectivement, nos deux fonctions de répartition sont ordonnées, et on est bien dans une situation de dominance stochastique à l’ordre 2, avec du single crossing. Les densités sont ici
> plot(u,dnorm(u,0,1),col="red",type="l")
> lines(u,dnorm(u,0,1.5),col="darkblue")
On peut générer 10,000 paires d’échantillons, de taille 100 (respectivement), et regarder la distribution de (et celle de ).
> P=matrix(NA,1e4,3)
> for(i in 1:1e4){
+ x=c(rnorm(100,0,1),rnorm(100,0,1.5))
+ P[i,1:2]=c(sum(rank(x)[1:100]), sum(rank(x)[101:200]))
+ x0=c(rnorm(100,0,1),rnorm(100,0,1))
+ P[i,3]= sum(rank(x0)[1:100])
+}
> plot(density(P[,1]),col="red"))
> lines(density(P[,2]),col="darkblue")
> lines(density(P[,3]),lty=2)
Autrement dit, ici les sommes des rangs sont identiques, avec les deux échantillons, et donc on aura tendance à accepter ici l’hypothèse de lois égales, . L’idée naturelle est que avec les dans le premiers cas, effectivement, on avait plus de petits rangs avec le petit échantillon. Mais plus ici: le fait d’avoir plus de dispersion fait qu’on a en même temps plus de petits, et plus de grands. Et en moyenne, ça ne change rien