Modéliser et prévoir, entre ‘avoir faux’ et ‘avoir pas de chance’

Depuis plusieurs heures, il y a une phrase qui revient sans cesse, et qui m’agace au plus haut point, sur “le modèle est faux…“. C’est une phrase que j’ai entendu pas plus tard qu’au séminaire ce midi, lorsqu’un collègue a dit que très clairement les modèles étaient faux puisqu’ils n’avaient pas prédit le vainqueur des élections américaines. Par exemple, le jour des élections, Huffington Post annonçait que Donald Trump avait 1,6% de chances d’être élu…

et pourtant, il a gagné. C’est donc pourtant que le modèle était “faux”, c’est évident, non ?

Pourtant, tout ceux qui ont fait un minimum de statistique dans leurs vies le savent… les évènements rares, ça peut se produire,

> sample(c("clinton","trump"),size=1,
+ prob=c(.981,.016))
[1] "clinton"
> sample(c("clinton","trump"),size=1,
+ prob=c(.981,.016))
[1] "clinton"
> sample(c("clinton","trump"),size=1,
+ prob=c(.981,.016))
[1] "trump"

Ce type de raisonnement me dérange car il dénote une mauvaise compréhense de ce qu’est une probabilité. Autre exemple: supposons que j’annonce que ma belle mère a une chance sur un million de mourrir lorsqu’elle prendra la route pendant les prochaines vacances, et qu’elle meurt effectivement cet hiver d’un accident de voiture. Comme pour les élections américaines, on sera surpris, sous le choc. Mais est-ce que ça veut dire que mon modèle était faux ? Non…Si j’avais annoncé qu’elle avait 85% de ne pas passer les vacances en prenant la voiture, j’aurais eu un modèle des plus douteux… Le problème ici c’est qu’on avance des probabilités sur des évènements qu’on ne pourra observer qu’une fois. On ne peut pas le tester suffisement pour savoir s’il est juste, en moyenne.

Cela dit, c’est un problème assez profond, car il est très dur de savoir ce qui relève effectivement de la malchance… C’est en tous cas comme ça que je comprends le strip ci-dessous

Et je trouve dommage que sous prétexte qu’un évènement rare se réalise, on blâme la personne en charge de la prévision… Il y a manifestement une incompréhension profonde de ce que peut être le hasard. C’est triste…


6 thoughts on “Modéliser et prévoir, entre ‘avoir faux’ et ‘avoir pas de chance’”

  1. Le modèle utilisé est bien évidemment mauvais.
    Une marge d’erreur existe, mais de toute évidence le décallage entre les 98% vs 2% estimés et la réalité des urnes 45% vs 55% en faveur de Trump (en nombre de grands électeurs) décrédibilise totalement les prévisions.
    Par ailleurs, les derniers sondages pré-élections donnaient moins de 2 points d’écart entre les deux favoris pour la maison blanche, on est loin de l’événement rare en cas de retournement de situation..

    1. non, il y a deux choses différentes… la proportion des votes (disons 45-55%, peu importe) et la probabilité de gagner. Autant en France, c’est la même chose, autant aux US c’est très différents, à cause du collège des “grands électeurs” (et du fait que dans 48 états sur 50, c’est ‘winner takes all’ : la majorité dans un état donne toutes les voix). Cette probabilité de gagner aurait pu (du ?) avoir un intervalle de confiance, mais avec les incertitudes dans des états comme la Floride, je pense qu’on aurait eu 2% de chances de gagner, avec un intervalle de confiance (obtenu par simulations, par exemple) énorme ! Même si son interprétabilité serait douteuse, me semble-t-il… Mais c’est ce qu’on fait en théorie des valeurs extrêmes (genre probabilité qu’un évènement survienne de 0.1% avec un intervalle de confiance à 95% de 0.001% et 1.5%).

      Cela dit, Nate Silver avait fait une réflexion du même ordre en disant https://twitter.com/NateSilver538/status/797484106351308800

  2. Comme c’était déjà le cas pour le BREXIT, c’est triste de lire les analyses de certains médias, qui détruisent des modèles simplement sur la base d’une seule et unique réalisation, sans meme aucune analyse sur le modèle lui-même.

    Cependant, il est intéressant de comparer les modèles, et surtout d’analyser ce qu’ont en plus les modèles qui donnaient une meilleure chance à Trump (par exemple FiveThirtyEight)

  3. Le problème est identique avec les prévisions météorologiques. Une prévision disant qu’il y a 9 chances sur 10 d’avoir un orage demain alors que finalement il fait beau sera intérprétée comme une prévision foireuse. De toute évidence, il n’y aura qu’un lendemain et non 10 pour vérifier. Mais plus j’y pense et plus je me dis qu’une statistique sur un évènement unique est presque une question philosophique dans son intérprétation. Une approche répétée d’un évènement unique est finalement plus difficile à réellement comprendre qu’il n’y parait.

Leave a Reply

Your email address will not be published. Required fields are marked *