maanii-vip-blog-com-916380p_104_lg_s

Test, valeur critique et p-value

Un petit complément suite au cours de mercredi dernier, pour insister sur l’importance de la https://latex.codecogs.com/gif.latex?p-value dans la lecture de la sortie d’un test.

  • Les erreurs dans un test statistique

Mais avant, rappelons qu’un test est une prise de décision: accepter ou rejeter une hypothèse. Et qu’on peut commettre une erreur. Ou pour être plus précis, on peut commettre deux types d’erreur,
• accepter l’hypothèse alors que cette dernière est fausse
• rejeter l’hypothèse alors que cette dernière était vraie
Pour reprendre une terminologie plus médicale, un test de grossesse peut dire à une femme qu’elle n’est pas enceinte, alors qu’elle l’est; ou dire qu’elle l’est, alors qu’elle ne l’est pas (voir tous les exemples dans les exercices de probabilités de l’examen P de la SOA, ou le cours ACT2121).
Formellement, on a deux probabilités,
• la probabilité d’accepter à tort notre hypothèse (on parlera d’erreur de second espèce), 
• la probabilité de rejeter à tort notre hypothèse (on parlera d’erreur de première espèce) 
Dans un monde idéal on voudrait que les deux probabilités soient aussi petites que possibles…  Mais c’est impossible, et le plus souvent, baisser une des probabilités se fait en augmentant l’autre. Les cas extrêmes étant
• avoir un test de grossesse qui déclare tout le monde enceinte: on ne rejette alors jamais à tort (on ne rejette jamais tout court en fait), mais on a un fort taux d’acceptation à tort,
• avoir un test de grossesse qui ne déclare personne enceinte: on n’accepte jamais à tort (car on n’accepte jamais) mais on a un fort taux de rejet à tort.
Bref, on a un arbitrage à faire entre deux types d’erreurs. Souvent, en pratique on va demander à contrôler l’erreur de première espèce (i.e.  de l’ordre de 5%), et on chercher a un test qui, à  donné, possède la plus faible erreur de première espèce. Voilà en gros pour la théorie: on se donne un seuil de significativité , qui correspond à la probabilité d’erreur de premier type. Et on va chercher à tester si une hypothèse https://latex.codecogs.com/gif.latex?H_0 est vraie, l’alternative étant une hypothèse https://latex.codecogs.com/gif.latex?H_1.

https://latex.codecogs.com/gif.latex?H_0 vraie https://latex.codecogs.com/gif.latex?H_1 vraie
accepter https://latex.codecogs.com/gif.latex?H_0 OK erreur
type 2
rejeter https://latex.codecogs.com/gif.latex?H_0 erreur
type 1
OK
  • La “valeur critique”

La notion de valeur critique a été introduite dans Neyman & Pearson (1928). Cette valeur dépend de la forme de l’hypothèse alternative, en particulier savoir si le test est bilatéral, unilatéral à gauche, ou unilatéral à droite. Pour un test donné, la valeur critique peut-être vue comme la valeur limite a partir de laquelle on pourra rejeter https://latex.codecogs.com/gif.latex?H_0 avec un seuil de significativité donné.

  • La p-value

La https://latex.codecogs.com/gif.latex?p-value a été introduite dans Gibbons & Pratt (1975), meme si on peut retrouve l’idée beaucoup plus tôt, comme Pearson (1900), qui propose de calculer “the probability that the observed value of the chi-square statistic would be exceeded under the null hypothesis“. La https://latex.codecogs.com/gif.latex?p-value est la probabilité, sous https://latex.codecogs.com/gif.latex?H_0, d’obtenir une statistique aussi extrême (pour ne pas dire aussi grande) que la valeur observée sur l’échantillon. Aussi, pour un seuil de significativité  donné, on compare https://latex.codecogs.com/gif.latex?p et , afin d’accepter, ou de rejeter https://latex.codecogs.com/gif.latex?H_0,
• si , on va rejeter l’hypothèse https://latex.codecogs.com/gif.latex?H_0 (en faveur de )
• si , on va rejeter  (en faveur de https://latex.codecogs.com/gif.latex?H_0).
On peut alors interpréter la https://latex.codecogs.com/gif.latex?p-value comme le plus petit seuil de significativité pour lequel l’hypothèse nulle est acceptée. Gibbons & Pratt (1975) reviennent longuement sur les interprétations, et surtout les mauvaises interprétations, de cette https://latex.codecogs.com/gif.latex?p-value.

  • Valeur critique versus p-value

Si on formalise un peu, on peut vouloir tester  contre  (par exemple). De manière très générale, on dispose d’une statistique de test  qui a pour loi, sous  (que l’on supposera continue). Notons qu’on peut considérer une hypothèse alternative de la forme , c’est juste plus pénible parce qu’il faut travailler sur , et calculer des probabilités à gauche, ou à droite. Donc pour notre exemple, on va prendre un test unilatéral.
Dans l’approche classique (telle que présentée dans tous les cours de statistiques), on se donne un seul d’acceptation  petit (disons 5%), et on cherche une valeur critique  telle que

Pour ceux qui se souviennent de leur cours de stats, cela peut faire penser à la puissance du test, définie par

Formellement, la https://latex.codecogs.com/gif.latex?p-value associée au test  est la variable aléatoire  définie par

Donc effectivement, la https://latex.codecogs.com/gif.latex?p-value et la puissance sont liées, puisque

autrement dit, la puissance peut-être vue comme la fonction de répartition de la https://latex.codecogs.com/gif.latex?p-value.

  • Intérêt computationnel de la p-value

D’un point de vue computationnel, la https://latex.codecogs.com/gif.latex?p-value est l’outil le plus important pour interpréter la sortie d’un test. Commençons par un test simple, comme une comparaison de moyennes. On cherche ici à tester  contre  pour des moyennes calculées sur deux groupes. Pour reprendre l’exemple abordé dans un précédant billet, on a les notes obtenues en ACT6420 par deux groupes différents. Et on veut savoir s’ils sont vraiment différents (ci-dessous le nombre de bonnes réponses, sur 40 questions, on travaillera ensuite sur la note sur 100)

La statistique de test est ici

https://latex.codecogs.com/gif.latex?%20%20%20%20%20T%20=%20\frac{\overline{X}%20-%20\overline{Y}}{\displaystyle{%20\sqrt{%20{s_X^2%20\over%20n_X}%20+%20{s_Y^2%20\over%20n_Y}%20}}}

et sous https://latex.codecogs.com/gif.latex?H_0https://latex.codecogs.com/gif.latex?%20%20%20%20%20T va suivre une loi de Student à https://latex.codecogs.com/gif.latex?%20%20%20%20\nu degrés de liberté, où https://latex.codecogs.com/gif.latex?%20%20%20%20\nu est donné par la relation de Welch–Satterthwaite (d’après Satterwaite (1946) et Welch (1947)),

https://latex.codecogs.com/gif.latex?%20%20\nu%20=%20{{\left(%20{s_X^2%20\over%20n_X}%20+%20{s_Y^2%20\over%20n_Y}\right)^2%20}%20%20\over%20{{s_X^4%20\over%20n_X^2%20\cdot%20\left({n_X-1}\right)}+{s_Y^4%20\over%20n_Y^2%20\cdot%20\left({n_Y-1}\right)}}}%20\,

Numériquement, on a ici

> Xbar=mean(X)
> Ybar=mean(Y)
> Sx2=var(X)
> Sy2=var(Y)
> nX=length(X)
> nY=length(Y)
> (T=(Xbar-Ybar)/sqrt(Sx2/nX+Sy2/nY))
[1] -2.155754

et pour les degrés de liberté

> (nu=(Sx2/nX+Sy2/nY)^2/(Sx2^2/nX^2/(nX-1)+
+ Sy2^2/nY^2/(nY-1)))
[1] 36.35279

La valeur critique est obtenue en lisant dans les tables,

(car ici on a des probabilité pour un test bilatéral dans la table) comme on apprenait dans les cours de statistique au siècle passé. D’un point de vue informatique, on cherche à savoir si on est à gauche, ou à droite de la valeur critique

> qt(.05,df=nu)
[1] -1.687865

On peut aussi calculer la https://latex.codecogs.com/gif.latex?p-value,

> pt(T,df=nu)
[1] 0.01889768

Si on regarde, sous R, il existe des fonctions de tests, pour comparer des moyennes. Et dans ce cas, la sortie est

> t.test(X,Y,alternative = "less")

Welch Two Sample t-test

data:  X and Y
t = -2.1558, df = 36.353, p-value = 0.0189
alternative hypothesis: true difference in means is less than 0
95 percent confidence interval:
-Inf -1.772507
sample estimates:
mean of x mean of y
48.75000  56.91667

Autrement dit, on a automatiquement la https://latex.codecogs.com/gif.latex?p-value, et qui permet rapidement d’interpréter le test. Moralité, si on sait interpréter une https://latex.codecogs.com/gif.latex?p-value (et que l’on vérifié au préalable les conditions d’application d’un test), on peut faire tous les tests que l’on veut !
Si on veut faire un peu plus compliqué, on peut regarder la distribution des notes, et se demander si une loi  serait possible (par exemple, ça sera notre hypothèse https://latex.codecogs.com/gif.latex?H_0, l’hypothèse alternative étant que ce n’est pas cette loi). Pour faire ce test, il existe le test de Kolmogorov-Smirnov. La statistique de test est ici

où  est la fonction de répartition de la loi , et  est la fonction de répartition empirique

La loi de https://latex.codecogs.com/gif.latex?%20%20%20%20%20T n’est pas simple, ou moins simple qu’une loi de Student (cf Marsaglia, Tsang & Wang (2003) par exemple). En revanche, on a les https://latex.codecogs.com/gif.latex?p-values automatiquement,

> ks.test(Y, "pnorm", 60, 15)

One-sample Kolmogorov-Smirnov test

data:  Y
D = 0.1421, p-value = 0.5796
alternative hypothesis: two-sided

Aussi, on peut accepter ici l’hypothèse nulle. On peut d’ailleurs faire un petit dessin pour s’en convaincre,

> Femp=function(x) mean(Y<=x)
> plot(0:100,Vectorize(Femp)(0:100),type="s")
> lines(0:100,pnorm(0:100,60,15),col="red")

 


Et ça va nous servir dans ce cours ? A priori oui… parce qu’on parlera du test de Student (pour tester si une variable dans une régression est significative), du test de Fisher (pour tester si plusieurs variables dans une régression sont significatives, ou plus généralement si une contrainte – linéaire – sur les coefficients peut être acceptée), du test de Chow (pour tester des ruptures dans un modèle linéaire, mais c’est un test de Fisher un peu déguisé), du test d’Anderson-Darling (pour tester si des résidus sont Gaussiens), du test de Breuch-Pagan voire le test de White (pour tester si les résidus peuvent être considérés de variance constante), du test de Durbin-Watson (pour tester s’il n’y a pas d’auto-corrélation dans la série des résidus), du test de Dickey-Fuller (pour tester si une série temporelle est – ou n’est pas – stationnaire), des tests de Franses (pour tester si une série peut être considérée comme saisonnière, ou pas), du test de Ljung-Box (pour tester si un bruit est un bruit blanc)… Et j’en oublie un paquet. Donc quand il est dit (dans le plan de cours) que le cours de statistique est un prérequis, il ne s’agit pas de l’avoir suivi, mais bel et bien de l’avoir compris, car on passera notre temps à utiliser des notions entrevues dans ce cours.


5 thoughts on “Test, valeur critique et p-value”

  1. Bonjour,
    Comment trouver la p-valeur pour un test bilatéral pour sigma carré, dans le cas gaussien ?
    Merci

    1. j’ai du mal à comprendre l’intérêt d’un test bilatéral sur la variance : ça veut dire qu’on veut vraiment une variance unitaire, mais que l’alternative peut être, au choix, une grande variance, ou au contraire une toute petite variance. Après je vous laisse regarder, c’est assez facile de faire les maths, on a la loi de sigma carré !

Leave a Reply

Your email address will not be published. Required fields are marked *