En cours, nous avons poursuivi sur la loi multinomiale, et le test du chi-deux. Je voulais mettre un petit billet pour récapituler les différents points, et montrer une application numérique (nous reviendrons en détails mercredi sur des applications des outils vus jusqu’à présent).

• Inférence avec la loi multinomiale
  

On suppose qu’une variable peut prendre modalités, notées , avec . On posera

en notant que appartient au simplexe de au sens où

On a vu que l’estimateur du maximum de vraisemblance s’obtenait en faisant un peu d’optimisation sous contrainte, et que

(en reprenant les notations du cours). On avait montré que

et on a vu

(ce qui peut se retrouver en introduisant la variable binomiale ). Mais plus généralement, on finira les calculs permettant d’établir que, pour

(ce qui permet d’obtenir la matrice de variance covariance de ).
En utilisant le théorème central limite on peut montrer que

Sous une forme multivariée, on écrira

où avec et pour , .

On notera que la somme de la ième colonne de est .
Aussi, n’est pas inversible (c’est le fait que notre paramètre appartient au simplexe).
Pour s’en sortir, la première idée est d’utiliser un peu d’algèbre linéaire. Une matrice est une matrice de projection si elle est idempotente, i.e. . Ses valeurs propres sont alors 0 ou 1, et si est le nombre de fois où 1 est valeur propre, et si , alors .
Posons . Alors

Or compte tenu de la forme de ,

qui est une matrice de projection dont la trace est (qui est aussi le nombre de fois où 1 est valeur propre). Donc

Le test du chi-deux sera basé sur le fait qu’asymmptotiquement

Une autre idée consiste à construire variables aléatoires qui seront indépendantes. Mais on peut plutôt regarder les applications de ce test, en particulier comme test d’indépendance.
Pour information, Frank Yates a proposé un correction “pour continuité“, ici. La statistique considérée est alors

• Retour sur le théorème de Cochrane

Soit de dimension . Posons , pour , où on notera le rang de , en supposant que les sont positives semidefinies, alors on a équivalence entre

•  
• pour ,
• les sont des variables indépendantes.

Les s’interprètent comme des longueurs (euclidienne) de projections d’un vecteur Gaussien sur des sous-espaces orthogonaux (de dimension respective ). Si ces vecteurs sont indépendants, et suivent des lois du chi-deux à degrés de libertés, avec , alors les sous-espaces sont orthogonaux, et supplémentaires. On peut y voir une espèce d’extension du théorème de Pythagore, en remplaçant la notion de vecteurs orthogonaux par des variables indépendantes suivant des lois du chi-deux, et la somme des carrés des longueurs devient la somme des degrés de liberté.

• Application comme test d’indépendance

Considérons deux variables pouvant prendre toutes les deux deux modalités (disons deux lois binomiales). On est alors face a une loi multinomiale à 4 modalités

• avec probabilité
• avec probabilité
• avec probabilité
• avec probabilité

Un test d’indépendance revient à tester si la loi multinomiale peut s’écrire

pour des vecteurs et . tels que et . On a alors contraintes sur les paramètres. Ces deux contraintes additionnelles font que la statistique de test s’écrit

qui va suivre asymptotiquement une loi i.e. d’après le théorème de Cochrane.

• Peine de mort pour les condamnées pour meurtre en Floride 1976-1987

en fonction de la “race” du meurtrier et de la victime,

• meurtrier de “race blanche” et victime de “race blanche“: 53 condamnés à mort, 414 non condamnés à mort
• meurtrier de “race blanche” et victime de “race noire“: 0 condamné à mort, 16 non condamnés à mort
• meurtrier de “race noire“et victime de “race blanche“: 11 condamnés à mort, 37 non condamnés à mort
• meurtrier de “race noire“et victime de “race noire“: 4 condamnés à mort, 139 non condamnés à mort

On peut alors faire des tests d’indépendance, entre la “race” du meurtrier et le verdict par exemple.

MEURTRIER=matrix(c(53+0,11+4,414+16,139+37),2,2)
VICTIME  =matrix(c(53+11,0+4,414+37,139+16),2,2)
n=sum(MEURTRIER)
(PROBMEUTR=MEURTRIER/n)
           [,1]      [,2]
[1,] 0.07863501 0.6379822
[2,] 0.02225519 0.2611276

SL=rowSums(PROBMEUTR)
SC=colSums(PROBMEUTR)
(MEUTRINDEP=outer(SL, SC, "*"))
           [,1]      [,2]
[1,] 0.07229966 0.6443176
[2,] 0.02859055 0.2547922

(Q=n*sum((PROBMEUTR - MEUTRINDEP)^2/MEUTRINDEP))
[1] 1.468519

(Qcorrec=n*sum((abs(PROBMEUTR - MEUTRINDEP)-.5/n)^2/MEUTRINDEP))
[1] 1.144741

pchisq(Qcorrec, (2-1)*(2-1), lower.tail
 = FALSE)
[1] 0.2846528

qchisq(.95, (2-1)*(2-1))
[1] 3.841459

chisq.test(MEURTRIER)

Pearson's Chi-squared test with Yates' continuity correction

data:  MEURTRIER 
X-squared = 1.1447, df = 1, p-value = 0.2847

On rejette donc l’hypothèse d’indépendance.