Mercredi, nous avons abordé le concept de 
-value en cours (avant de parler tout à l’heure de tests asymptotiques). Intuitivement, la -value est la probabilité que la statistique de test prenne une valeur au moins aussi extrême que celle qui a été observée, si l’hypothèse 
est vraie.
- Fisher vs. Neyman (et Pearson)
Dans l’approche de Fisher, on suppose que 
et on cherche à tester 
. On dispose pour cela d’un échantillon 
.
On choisit une statistique 
telle que plus 
est grande, plus on s’éloigne de (on calcule une distance à l’hypothèse , quelque chose comme ça). On calcule alors la -value comme
et on rejette si est trop petite. La notion de “plus petite” est liée à la comparaison avec un seuil prédéfini, souvent 5% (cf plus loin pour une discussion).
C’est un peu heuristique, mais c’est comme cela que ça fonctionne.
Dans l’approche de Neyman-Pearson, on cherche à tester contre une hypothèse alternative, du genre 
. Si 
, on va construire une région de rejet de la forme
où 
est choisi en fonction d’une probabilité d’erreur de première espèce souhaitée a priori, i.e.
Par exemple, considérons un échantillon suivant une loi 
. On dispose de 
observations pour tester 
. L’échantillon est le suivant
> set.seed(4) > (X=rnorm(10)) [1] 0.2167549 -0.5424926 0.8911446 0.5959806 1.6356180 0.6892754 [7] -1.2812466 -0.2131445 1.8965399 1.7768632
La statistique proposée par Fisher (je ne discuterais pas le choix optimal de la statistique – si quelqu’un a des références, les commentaires sont ouvertes) est la moyenne normalisée,
On sait que sous H_0, cette statistique suit une loi normale centrée réduite. La -value se calcule alors simplement
Graphiquement, cela se représente de la manière suivante.
Cette probabilité étant faible, on aurait tendance vouloir rejeter .
Dans l’optique de Neyman Pearson, si on teste contre 
, la région critique s’obtient à l’aide du rapport de vraisemblance
ou encore
ce qui se traduit par
où est tel que
Or sous H_0, la somme suit une loi normale centrée de variance 
. Ici, est donné par
Or pour rappel, la somme vaut ici
> sum(X) [1] 5.665293
On est dans la région de rejet: on rejette alors .
- p-value pour les tests usuels de R
La -value est intéressante en pratique car elle permet à l’utilisateur de ne pas rentrer trop dans les détails de la construction du test, et de la loi de la statistique considérée.
Par exemple (comme celui abordé ici), pour un test d’égalité de proportion, sous R, la commande est
> prop.test(nx,n,.5) 1-sample proportions test with continuity correction data: nx out of n, null probability 0.5 X-squared = 0.05, df = 1, p-value = 0.823 alternative hypothesis: true p is not equal to 0.5 95 percent confidence interval: 0.3204804 0.7617145 sample estimates: p 0.55
Et de manière générale, tous les tests sous R renvoient une -value.
- p ne signifie pas puissance
(mais probabilité). Dans un test simple, contre
, la puissance est la probabilité de rejeter 
sous l’hypothèse où 
est vraie (rejeter avec raison si on veut). C’est donc une fonction de 
.
Pour un test multiple, avec une hypothèse alternative de la forme 
, on définit alors une fonction puissance pour toute valeur . On a alors des graphiques de fonction puissance, comme ceux évoqués ici. Bref, la -value est une valeur, alors que la puissance sera une fonction, définie sur 
lorsque H_1 est une hypothèse de la forme 
.
- L’interprétation de p
La -value est la probabilité d’obtenir (au moins) la statistique obtenue pour l’échantillon si est vraie. Classiquement, on rejette si la -value est inférieure au seuil 
.
Certains interprètent la -value comme la probabilité que est vraie, 
. Ce qui n’a pas de sens si l’on s’en tient au formalisme énoncé en cours: est vraie, ou pas.
Ce n’est pas non plus la probabilité de rejeter, à tort, , 
, correspondant à la puissance du test (cf la discussion dans le paragraphe précédant).
- Pourquoi 5% ?
En pratique, on prend toujours comme valeur critique 5%, avec la règle décision simple suivante:
: si 
on accepte 
: si 
on rejette 
C’est Fisher qui semble être à l’origine de ce 5%, en 1925 “The value for which P=0.05, or 1 in 20, is 1.96 or nearly 2; it is convenient to take this point as a limit in judging whether a deviation ought to be considered significant or not. Deviations exceeding twice the standard deviation are thus formally regarded as significant. Using this criterion we should be led to follow up a false indication only once in 22 trials, even if the statistics were the only guide available.” On retrouve ce “un sur vingt” un an plus tard, “Either there is something in the treatment, or a coincidence has occurred such as does not occur more than once in twenty trials”.
Voilà ce que l’on retient souvent de la lecture des conseils de Fisher.
Maintenant, il lui arrive aussi, à l’occasion, de penser que 4% ce n’est pas significatif, e.g. “P is between .02 and .05. The result must be judged significant, though barely so; in view of the data we cannot ignore the possibility that on this field, and in conjunction with the other manures used, nitrate of soda has conserved the fertility better than sulphate of ammonia; the data do not, however, demonstrate this point beyond the possibility of doubt.” Ou parfois pense que 8% est significatif “P=.089. Thus a larger value of 
2 would be obtained by chance only 8.9 times in a hundred, from a series of values in random order. There is thus some reason to suspect that the distribution of rainfall in successive years is not wholly fortuitous, but that some slowly changing cause is liable to affect in the same direction the rainfall of a number of consecutive years.”
, même s’il est sadique (ou parce qu’il est sadique, les profs de maths sont sadiques, tout le monde sait ça). Et toute permutation peut se décomposer en un produit ds combinaisons cycliques (on parle de la décomposition en produit de cycles à supports disjoints, c’est un truc utilise je crois pour les amateurs de Rubik’s cube),
nombres de 
manières. Il y a alors 
permutations circulaires de ces k nombres, et on permute les 
nombres qui reste comme on veut, ce qui donne 
possibilités. Bref, j’en suis à
permutations possibles, la probabilité de s’en sortir vivant est
of an i.i.d. sample 
had a finite mean (based on extreme value results). Since I just used it on a small dataset (yes, with real data), I decided to post the R code, since it is rather simple to use. But instead of working on that dataset, let us see what happens on simulated samples. Consider 
=200 observations generated from a Pareto distribution
=2, as a start)
>1.
(against the assumption that the expected value is finite, i.e. 
), it is natural to consider the likelihood ratio
should be chi square distribution with one degree of freedom. As mentioned 
, and thus, to fit a GPD on the 
largest values. And then to plot all that on a graph (like the Hill plot)
the likelihood ratio statistics has a chi-square distribution).
and 
are perfectly known, and the mixture parameter is the only one we care about.
(that cannot be observed), taking value when 
is drawn from 
and 
.
is known, denoted 
. Then I can predict the value of 
. And I can iterate from here.
is the best predictor of 
given my observations (as well as my belief in 
. Recall that we had 
was in 
, then we could have considered mean and standard deviations of observations such that 
before),
proportional to
, and 
being a parameter that will change, from 0 to 4.
or 
, depending whether 
or 
is the smallest parameter.
and 
le nombre de carte total (ici 200 car je suppose qu’il existe 200 personnages). Je note 
le coût d’une carte cachée (50 centimes ici) et 
le coût d’une carte non-cachée (1 euro). Supposons que j’ai à en ma possession les cartes 
(et que je n’ai pas les suivantes). Si je veux récupérer une nouvelle carte (que je noterais 
), en achetant au hasard i.e. dans des sachets hermétiques, le nombre de cartes à acheter est 
, qui suit une loi géométrique, de paramètre 
, où
cartes, et qu’il m’en manque simplement une, alors la probabilité de la tirer est
), le coût moyen de ma stratégie est
Talk at the statistical seminar at the Université de Bretagne Occidentale, in Brest, 
![f_k = P[X_i = hk].\,](https://upload.wikimedia.org/math/0/a/e/0aec4af2d75e9eb87a5091179a297b4a.png)
![P[N=k] = p_k=](https://upload.wikimedia.org/math/8/4/1/8410ac49ee291dbbc206bca59999d6a3.png)
![g_k =P[S = hk] \,](https://upload.wikimedia.org/math/7/e/0/7e0c95c9662338046dda90176f9ad258.png)
.
On peut alors utiliser l’algorithme de Panjer pour calculer la loi composée basée sur ces discrétisations. Au niveau de la programmation, le code est le suivant 