Depuis plusieurs heures, il y a une phrase qui revient sans cesse, et qui m’agace au plus haut point, sur “le modèle est faux…“. C’est une phrase que j’ai entendu pas plus tard qu’au séminaire ce midi, lorsqu’un collègue a dit que très clairement les modèles étaient faux puisqu’ils n’avaient pas prédit le vainqueur des élections américaines. Par exemple, le jour des élections, Huffington Post annonçait que Donald Trump avait 1,6% de chances d’être élu…
et pourtant, il a gagné. C’est donc pourtant que le modèle était “faux”, c’est évident, non ?
Pourtant, tout ceux qui ont fait un minimum de statistique dans leurs vies le savent… les évènements rares, ça peut se produire,
> sample(c("clinton","trump"),size=1,
+ prob=c(.981,.016))
[1] "clinton"
> sample(c("clinton","trump"),size=1,
+ prob=c(.981,.016))
[1] "clinton"
> sample(c("clinton","trump"),size=1,
+ prob=c(.981,.016))
[1] "trump"
Ce type de raisonnement me dérange car il dénote une mauvaise compréhense de ce qu’est une probabilité. Autre exemple: supposons que j’annonce que ma belle mère a une chance sur un million de mourrir lorsqu’elle prendra la route pendant les prochaines vacances, et qu’elle meurt effectivement cet hiver d’un accident de voiture. Comme pour les élections américaines, on sera surpris, sous le choc. Mais est-ce que ça veut dire que mon modèle était faux ? Non…Si j’avais annoncé qu’elle avait 85% de ne pas passer les vacances en prenant la voiture, j’aurais eu un modèle des plus douteux… Le problème ici c’est qu’on avance des probabilités sur des évènements qu’on ne pourra observer qu’une fois. On ne peut pas le tester suffisement pour savoir s’il est juste, en moyenne.
Cela dit, c’est un problème assez profond, car il est très dur de savoir ce qui relève effectivement de la malchance… C’est en tous cas comme ça que je comprends le strip ci-dessous (tiré de Dilbert de Scott Adams, https://dilbert.com/strip/2001-10-25)
Et je trouve dommage que sous prétexte qu’un évènement rare se réalise, on blâme la personne en charge de la prévision… Il y a manifestement une incompréhension profonde de ce que peut être le hasard. C’est triste…