Choix multiples et théorie des tests

En poursuivant la première question du QCM de “probabilité & statistiques” (en ligne ici pour l’énoncé, et pour une ébauche de correction), on a l’occasion de voir une application intéressante (ou tout du moins selon mon point de vue) de la théorie des tests.

Je souhaite tester une hypothèse

H0:  la personne a répondu au hasard aux questions

(je spécifierais plus tard l’hypothèse alternative, de toutes les façons, on n’en a pas besoin pour construire la statistique de test.)
En répondant au hasard (i.e. sous l’hypothèse H0), la personne avait 1 chance sur 3 de gagner 1 point, et 2 chances sur 3 de perdre 0,5 point1. Bref, à une transformation affine prêt, pour chaque question, on a une loi de Bernoulli. Plus précisément le nombre de points gagnés (ou perdus) à la question i est

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-1.png

Aussi, la loi du nombre total de points est

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-2.png

or si l’on suppose que l’on réponde au hasard à toutes les questions, on peut suppose les variables indépendantes, et donc

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-3.png

et sans être trop prétentieux, on connaît de cette loi (en particulier sa fonction de répartition et sa fonction quantile, au moins numériquement en tous les cas). Bref, si F est cette fonction de répartition,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-6.png

ensuite on sait faire: c’est juste trouver la loi d’une transformation croissante de cette variable (linéaire en fait). Aussi

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-7.png

c’est à dire

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-9.png

Ben ça peut se représenter facilement avec R
> X=seq(-10,20,by=.1)
> G = function(x){pbinom((10+x)*2/3,size=20,prob=1/3)}
> Y=G(X)
> plot(X,Y,type=”l”)

Notons que je peux aussi avoir la fonction quantile de cette loi. On cherche q tel que

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-10.png

C’est à dire tel que

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-11.png

i.e.

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-12.png

En  R, on obtient la fonction suivante
> G.inv = function(u){1.5*qbinom(u,size=20,prob=1/3)-10}
Voilà, j’ai donc la loi de la note (qui me servira de statistique de test) sous l’hypothèse H0. Bon, ça suffit presque à construire complètement le test. Il suffit de spécifier l’hypothèse alternative afin de construire les régions critiques. A priori je vois deux formes pour l’hypothèse alternative,

H1:  la personne n’a pas répondu au hasard aux questions

ce qui correspondra à un test bilatéral, incluant ceux qui ont des bonnes notes (et qui sont plus fort que le hasard), et ceux qui ont des très mauvaises notes (et qui sont donc moins fort que le hasard en quelque sorte). L’autre hypothèse alternative, qui a plus de sens à mes yeux serait

H1:  la personne est plus forte que le hasard

ce qui sous-entend qu’elle a un peu travaillé (ou qu’elle a raisonné un minimum).
Dans le premier cas, on cherche les deux seuils de la région de rejet
> (note.inf = G.inv(0.05))
-5.5
> (note.sup=G.inv(.975))
6.5 

ce qui donnera un intervalle d’acceptation à 95%. Dans le second cas, on prendra une région de rejet qui commencera à la note minimal (-10), et on montera jusqu’au quantile à 95% de G, soit
> (note.sup=G.inv(.95))

Moralité, il semblerait que pour 20% des élèves, on accepte l’hypothèse comme quoi ils ont répondu au hasard, et on atteint 30% si on prend l’autre hypothèse alternative. En fait, étrangement, si on regarde les réponses à la première question sur le calcul de la moyenne, presque qu’un tiers des élèves a répondu que s’ils cochaient au hasard, ils auraient 6,6667/20. Or ce tiers a précisément obtenu 6,83/20. Donc il semble qu’un tiers des personnes aient effectivement répondu hasard !
Si j’autorise la personne à choisir (au hasard) l’option de ne pas répondre, je me retrouve avec une loi dite multinomiale. On prendra par la suite la proba de ne pas répondre à la question comme paramètre, afin de voir comme le test évolue avec ce paramètre.
Pour décrire la loi mutinomiale

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-13.png

Bref, là aussi on peut obtenir la fonction de répartition de cette loi, ainsi que sa densité… au moins numériquement, car la somme de lois multinomiales indé
pendantes, ça peut vite devenir un peu compliqué.. Bon, je vais faire du numérique par la suite…
On va commencer par supposer que dans 10% des cas, on ne sait pas répondre, ou plutôt on ne répond rien… Dans ce cas, on note que cela ne change pas trop (au moins sur la région de rejet du test).

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.rejet-rejet-H0-notes-qcm-x-50_m.jpg

Si par contre on suppose que dans 1/4 des cas, on ne répond pas, la région rétrécit,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.rejet-rejet-H0-notes-qcm-x-50_m.jpg

et encore davantage si on suppose qu’on ne répond pas dans 50% des cas…

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.rejet-rejet-H0-notes-qcm-x-50_m.jpg

1 je ne prends pas en compte la possibilité qu’une personne puisse ne pas répondre…. on verra ça plus tard.


Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.