Toi aussi, raconte ce que tu veux avec des graphiques

L’autre jour, les décodeurs publiaient sur le site du Monde un article sur l’utilisation des graphiques en base 100,

Je reprends le commentaire

Celui-ci indique, sans appel selon Mme Le Pen, le déclin des économies françaises, italiennes et espagnoles face à l’industrie allemande. Marine Le Pen n’hésite ainsi pas à affirmer que le déclin de la production française est lié à l’introduction de la monnaie unique en 2001.

On peut reconstruire le graphique assez facilement, les données étant en ligne sur https://data.oecd.org/

base=read.table(loc,sep=",",header=TRUE)
extract=function(nom="FRA"){
b=base[base[,1]==nom,c("TIME","Value")]
names(b)=c("TIME",nom)
return(b)
}
B=extract("FRA")
B=merge(B,extract("DEU"),all.x=TRUE,all.y=TRUE)
B=merge(B,extract("ESP"),all.x=TRUE,all.y=TRUE)
B=merge(B,extract("ITA"),all.x=TRUE,all.y=TRUE)
dim(B)
B$TIME
B$t=seq(1950+1/8,2016+7/8,by=1/4)
plot(B$t,B$FRA,type="l",col="blue",lwd=2)
i=which(B$T=="2001-Q1")
Bi=B
for(j in 2:5) Bi[,j]=Bi[,j]*100/Bi[i,j]
plot(B$t,Bi$FRA,type="l",col="blue",lwd=2,ylim=range(Bi[which(B$T=="1990-Q1"):which(B$T=="2016-Q4"),2:5],na.rm=TRUE),xlim=c(1990,2020))
text(2019,Bi$FRA[max(which(is.na(Bi$FRA)==FALSE))],"FRA",col="blue")
lines(B$t,Bi$DEU,lwd=2)
text(2019,Bi$DEU[max(which(is.na(Bi$DEU)==FALSE))],"DEU")
lines(B$t,Bi$ESP,lwd=2,col="red")
text(2019,Bi$ESP[max(which(is.na(Bi$ESP)==FALSE))],"ESP",col="red")
lines(B$t,Bi$ITA,lwd=2,col="green")
text(2019,Bi$ITA[max(which(is.na(Bi$ITA)==FALSE))],"ITA",col="green")

Maintenant, on peut aussi changer la référence de la base 100. Par exemple, la victoire de la France à la Coupe du Monde Foot

i=which(B$T=="1998-Q2")

Damned,

Celui-ci indique, le déclin des économies françaises, italiennes et espagnoles face à l’industrie allemande. Ce déclin de la production française est lié à la victoire de la France à la Coupe du Monde de Football.

ou la dernière victoire de la France à l’Eurovision

i=which(B$T=="1977-Q3")

Damned,

Celui-ci indique, le déclin des économies françaises et espagnoles face à l’industrie allemande. Ce déclin de la production française est lié à la victoire de la France à l’Eurovision.

ou encore, la naissance de Mme Le Pen

i=which(B$T=="1968-Q3")

Damned,

Celui-ci indique, le déclin de l’économie française face aux industries allemande et espagnole. Ce déclin de la production française est lié à la naissance de Mme Le Pen.

Le Master Statistique & Econométrie est mort

Après 10 ans, le master Statistique & Econométrie de l’Université de Rennes 1 va disparaître…. pour renaître de ses cendres sous le nom Mathématiques Appliquées, Statistique, cohabilité par l’Université de Rennes 1, Rennes 2, Agrocampus Ouest, l’ENSAI et l’INSA Rennes, à la rentrée. En particulier, il y aura un parcours “Prévision et Prédiction Economiques“. Il y aura beaucoup de nouveaux cours, mais j’aurais l’occasion d’en reparler…

The U.S. Has Been At War 222 Out of 239 Years

This morning, I discovered an interesting statistic, America Has Been At War 93% of the Time – 222 Out of 239 Years – Since 1776,  i.e. the U.S. has only been at peace for less than 20 years total since its birth. I wanted to check, get a better understanding and look at other countries in the world.

As always, we can try to extract information from wikipedia, since there are pages dedicated to that information

url="https://en.wikipedia.org/wiki/List_of_wars_involving_the_United_States"
download.file(url,destfile = "warUS.html")
url="https://en.wikipedia.org/wiki/List_of_wars_involving_France"
download.file(url,destfile = "warFR.html")
url="https://fr.wikipedia.org/wiki/Liste_des_guerres_de_la_France#Premi.C3.A8re_R.C3.A9publique"
download.file(url,destfile = "guerre.html")
url="https://en.wikipedia.org/wiki/List_of_wars_involving_Canada"
download.file(url,destfile = "warCAN.html")

If we look at the US page, there are tables, so it should be easy to extract it. For instance,

Even if the war did last 1 day, we will say that the US were at war in 1811. The information we want to confirm can be “there were 21 full years – from Jan 1st till Dec 31st – where the US were not at war, once, during those years“. From the row above, we can claim that the US were at war in 1811. Most of the time, we have

I.e. there is a beginning (here 1775) and an end (1783). So here, the US are said to be at war in 1775, 1776, 1777, 1778, 1779, 1780, 1781, 1782, 1783. To extract the information, we look for regular expressions in the first column, with number, on 4 digits.

https://freakonometrics.hypotheses.org/files/2017/03/guerre-us1.png

Well, sometimes it can be a bit tricky, since we have 3 dates, 1941, 1945 and (in the legend) 1944. But if we consider the minimal and the maximal dates, we have our range of dates.

Now that we we how to extract information, let’s do it. The code will be

library(stringr)
ext_date=function(x){
dates12="[0-9]{4}"
#grep(pattern = dates2, x = col1[1])
L=str_extract_all(as.character(x),dates12)
return_L=list()
if(length(L)>0){
for(j in 1:length(L))
if(length(L[[j]])==1) return_L[[j]]=as.numeric(L[[j]])
if(length(L[[j]])>=2) return_L[[j]]=seq(min(as.numeric(L[[j]])),max((as.numeric(L[[j]]))))
}
return(return_L)}

For the US, we get the following years

library(XML)
tables=readHTMLTable("warUS.html")
list_dates=list()
for(i in 1:length(tables)){
if(!is.null(dim(tables[[i]]))){
if(ncol(tables[[i]])>1){
col1=tables[[i]][,1]
list_dates[[i]]=lapply(col1,ext_date)
}
}}
d=unique(unlist(list_dates))

(red means at war, while green means no-war) and indeed,

> length(d)
[1] 222

there were 222 years with war.  Now, what about another country. Like France. Here I use the French wiki page, since information is not in tables in the English one.

tables=readHTMLTable("guerre.html")
list_dates=list()
for(i in 1:length(tables)){
if(!is.null(dim(tables[[i]]))){
if(ncol(tables[[i]])>1){
col1=tables[[i]][,1]
col2=tables[[i]][,2]
col12=paste(col1,col2)
list_dates[[i]]=lapply(col12,ext_date)
}
}}
d=unique(unlist(list_dates))

On the same period of time (starting in 1775), France was also on war most of the time.

Less than the US, but still: 185 years with war,

> length(d[d>=1775])
[1] 185

And on a longer period of time? Why not start, say, around the Hundred Years’s War,

meaning that since 1337, there were (only) 174 years without a single war where France was involved.

Let’s try another one. Like Canada,

tables=readHTMLTable("warCAN.html")
list_dates=list()
for(i in 1:length(tables)){
if(!is.null(dim(tables[[i]]))){
if(ncol(tables[[i]])>1){
col1=tables[[i]][,1]
list_dates[[i]]=lapply(col1,ext_date)
}
}}
d=unique(unlist(list_dates))

Guess what… there’s a lot of green on that graph. Surprised?

Data XXL et Démographie Participative

Petite virée parisienne pour trois jours. Je serais à Science Po mercredi pour travailler un peu, et à l’INED jeudi et vendredi pour la conférence Sciences XXL – Ce que l’abondance et la diversité des données numériques font aux sciences sociales. Jeudi, je serais discutant pour la session “outils”, et vendredi après-midi, nous allons clôture la conférence avec un rapide retour sur un travail joint avec Olivier et Ewen, sur ‘Les données collaboratives généalogiques au service de la démographie historique’. Le travail est très vaste, et nous présenterons quelques résultats de réconciliation entre les tables de mortalité historique de l’INED, et celle que nous avons reconstituées sur des données démographiques…. Par exemple avec les naissances de 1850

et celles de 1899

La suite…. vendredi (ou plus tard, on n’a pas fini de jouer avec ces données).

 

Reading text automatically

It is now very easy to read (automatically) some text that can be found in a pdf file. For instance, consider the program of the conference we had yesterday – and today – in Rennes

> library(pdftools)
> scan_pdf <- pdf_text("http://crem.univ-rennes1.fr/Documents/Docs_sem_divers/2017_03_10-11_JJD/JDD_prog.pdf")
> cat(scan_pdf)
Journées Jeunes Docteurs
Programme du jeudi 9 mars 2017
Faculty of Economics - Rennes - Amphi Henri Krier
9h- 9h30 - Accueil
9h30-10h15 :      Présentation du CREM, de la faculté et des activités de recherche liées du ou laboratoire
10h15-10h50 :     Emmanuel LORENZON (Université de Bordeaux, GREThA)
Collusion with a rent seeking agency in sponsored search auctions
10h50-11h25 :     Julien BERTHOUMIEU (Université de Bordeaux, GREThA)
The Impact of “At-the-Border” and “Behind-the-Border” Policies on Cost-Reducing Research
and Development
Co-écrit avec Antoine Bouët

(etc). As you can see, it is working well, even in French, where we have those weird letters (with accents). Here, it is working well because the pdf is vectorized, i.e. it was generated properly, by open office.

But sometimes, we can have only a scanned version of a letter

or just a picture with some typed text. I will not mention hand-writing because it is much more complex.

The other day, my friend Fleur did show me a picture, and some very simple lines of code,

> library('tesseract')
> pic1="https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/pic1.png"
> text_fr <- ocr(pic1, engine = tesseract("fra"))
> cat(text_fr)
Près de 14.400 décès

Si [épidémie de grippe est un phénomène récurrent. celle de
2016—2017 présente plusieurs spécificités. outre sa virulence :
une survenue plus précoce que d‘habitude. une activité
modérée en médecine ambulatoire. mais un impact fort en
milieu hospitalier.

It looks like we’ve be able to extract typed text from a picture ! I want to check. I have to admit, first of all that installation on a linux machine is tricky: one has to install first leptonica, and then follow some guidelines to install tesseract (see also Artem‘s advices). It took me some time, but I’ve been able to install the package.

The first important step, it to train the algorithm with some texts in French (because it is in French in my picture)

> library('tesseract')
> tesseract_download("fra")

Then, I did try with the picture that Fleur did send me (the picture was inserted in the core of the message)

> pic2="https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/pic2.png"
> text_fr <- ocr(pic2, engine = tesseract("fra"))
> cat(text_fr)
Près de 14400 decès

s. mm….agw«… ………«…m ……
a……u…u Dhs—ur; ;pmum…. ;: u……
… W»: »… w…q…na… … ……
…… ………u…_ …… mm……
…… nwm/u

… … mm…—mg…»— sa…… su a.…….…
: :mmræwesdæ ; ; m…decnflwtülflws WWW…
un»… M on m…… . … … .. m...… wma:
.,… … V, …… … …;………yg…gn…
…… pe- le…samemeuuœwpwv m…
mum

Clearly, something went wrong here. When I got that output, I thought that I did not train properly the function. But it was not the answer. As described in that post (in French) it is necessary to have a clean picture, to read it properly

And actually, if we zoom in our picture – the first one, used by Fleur, to show me that package – we have

while for the second one – with a lower resolution – we have

It is necessary to have a scan of a typed text with high resolution… And you have to admit that it is awesome….

The good thing is that I have to work with a judge, in France, to assess quality of experts. And since most of the reports are typed, and then scanned, I am glad to have such a function. I just have to make sure that the resolution is high enough…

Juxtaposer des cartes et ‘confounding’

Pour aller un peu plus loin que mon précédant billet, élections, pièges à com(mentaires à la con) je voulais juste montrer quelques cartes, obtenues par simulations. Mais avant, revenons deux minutes sur la notion de ‘confounding‘. Pour reprendre le dessin de wikipedia, l’idée est que, conditionnellement à https://latex.codecogs.com/gif.latex?Z (notre ‘confounding factor’), les variables https://latex.codecogs.com/gif.latex?X et https://latex.codecogs.com/gif.latex?Y sont indépendantes. Mais cette indépendance conditionnelle peut (comme bien souvent) impliquer une forte corrélation entre https://latex.codecogs.com/gif.latex?X et https://latex.codecogs.com/gif.latex?Y. On peut ainsi imaginer un modèle de la forme https://latex.codecogs.com/gif.latex?X=Z+\varepsilonhttps://latex.codecogs.com/gif.latex?\varepsilon désigne une composante idiosyncratique, et https://latex.codecogs.com/gif.latex?Y=Z+\eta (où là aussi https://latex.codecogs.com/gif.latex?\eta est une composante idiosyncratique).

Par exemple, on peut supposer que https://latex.codecogs.com/gif.latex?Z est une variable liés à la lattitude du département, par exemple la température moyenne (histoire d’avoir une vague histoire à raconter, et d’être moins rébarbatif)

> n=115
> X=matrix(rnorm(3*n),n,3)
> X[,1]=sort(X[,1])
> library(maps)
> map("france",fill =TRUE,
col= rgb(1,0,0,pnorm(X[,1])))

Maintenant, supposons qu’on ait une variable https://latex.codecogs.com/gif.latex?X très corrélée à https://latex.codecogs.com/gif.latex?Z, par exemple la vente de crème solaire (en volume, toujours pour raconter une histoire qui illustrerait un peu mon propos)

> r=.8
> X[,2]=r*X[,1]+sqrt(1-r^2)*X[,2]
> map("france",fill =TRUE,
col= rgb(0,1,0,pnorm(X[,1])))

ce qui donne le nuage de points suivant (avec une forte corrélation avec le ‘confounding factor’)

On suppose maintenant qu’on a une autre variable https://latex.codecogs.com/gif.latex?Y, elle aussi très corrélée à https://latex.codecogs.com/gif.latex?Z, par exemple le prix d’une plaquette de beurre (qui pourrait être très cher dans le sud, où l’on cuisine plutôt à l’huile)

> r=.8
> X[,3]=r*X[,1]+sqrt(1-r^2)*X[,3]
> map("france",fill =TRUE,
col= rgb(0,1,0,pnorm(X[,1])))

avec une corrélation du même ordre, avec le ‘confounding factor’

Si on juxtapose les deux cartes, on a des variables corrélées,

mais on ne peut pas en conclure, juste en regardant ces cartes, que les ventes de crème solaire influencent le prix d’une plaquette de beurre ! Et on peut même accentuer encore l’effet, en jouant un peu sur les couleurs. Par exemple, avec

> map("france",fill =TRUE,col = rgb(1,0,0,qbeta(pnorm(X[,1]),.2,.5)))

on accentue un peu l’écart entre le nord et le sud (je joue ici sur l’échelle des couleurs, pas sur les valeurs !)

et sur nos deux variables, on a encore une juxtaposition qui donne envie de raconter un jolie histoire, non ?

Ah oui, ma corrélation entre les variables https://latex.codecogs.com/gif.latex?X et https://latex.codecogs.com/gif.latex?Y est relativement forte, de l’ordre de 0.6 (qui est supérieure à ce qu’on avait observé hier sur le taux de chômage et le taux du FN aux élections régionales)

> cor(X)
[,1]      [,2]      [,3]
[1,] 1.0000000 0.7863838 0.7727523
[2,] 0.7863838 1.0000000 0.6312878
[3,] 0.7727523 0.6312878 1.0000000

mais la corrélation est très sensible aux lois marginales, ça ne veut pas dire grand chose. Même si, visuellement, le nuage de points peut faire penser à celui qu’on avait hier

Bref, juxtaposer des cartes, c’est joli. De là à en déduire quoi que ce soit….

Élections, pièges à com (mentaires à la con)

Je suis tombé hier, sur le site de The Economist sur deux cartes, juxtaposées, une présentant le taux de chômage (en rouge, à gauche) et l’autre le vote FN (en bleu, à droite),

L’idée serait ici de comparer les cartes, et de se dire que les deux variables “taux de chômage” (produit par l’insee) et “vote FN” (aux élections régionales de 2015) seraient corrélées, et que l’une expliquerait peut être l’autre… Comme il est difficile (?) d’affirmer que le vote FN pourrait induire du chômage, on serait tenté de dire que les chômeurs votent FN, un raccourci de ce genre. Je ne dis pas que c’est faux, je dis juste que c’est s’aventurer sur un terrain dangereux, quand on commence à comparer des cartes, rapidement (et donner lieu à toutes sortes de commentaires à la con, pour expliquer le titre du billet). Sur ces deux variables, on peut d’ailleurs regarder les données brutes,

Oui, les variables semble très corrélées, par département. Après, si on calcule la corrélation, on “seulement” 0.516. Soit dit en passant, la corrélation ne dépend pas de l’orientation du graphique, j’aurais parfaitement pu mettre le taux de chômage en ordonnées. Mais classiquement, l’ordonnée est la variable que l’on souhaite expliquer, et l’abscisse est la variable (dite) explicative. Même si, comme toujours en régression, on n’établit aucun lien causal.

Bien sûr, il y a des départements pour lesquels il y a un écart, avec un chômage fort, et qui pourtant ne semblent voter massivement pour le FN (aux élections régionales).

En fait, on peut trouver des dizaines de cartes, qui présente des répartitions relativement proches, comme le rapport inter-décile des niveaux de vie par département

le taux de pauvreté par département

(on pouvait retrouver cette carte en ligne)

ou encore la part des minima sociaux dans le revenu disponible des ménages par département

Bref, on aurait très envie de dire que le vote FN s’explique par le chômage, la pauvreté, etc. Mais on ne peut pas…. C’est une faute de raisonnement, connu sous le nom d’ecological fallacy. En effet, le vote est un comportement individuel, par sa nature même (on va, individuellement, mettre un bulletin dans l’urne). Et on n’a pas le droit d’induire des comportements individuels d’observations agrégées… Ca ne veut pas dire que la relation causale n’est pas présente, ou le contraire… ça veut juste dire qu’on ne peut rien affirmer, juste en juxtaposant des cartes, on n’a aucunement une preuve (tout juste une vague corrélation au niveau agrégé). Aussi tentant que ça puisse être.

Pour dire quelque chose de censé sur les choix de vote, il est nécessaire d’avoir des enquêtes (ou peut être avoir accès à des votes électroniques, comme le vote des français de l’étranger aux législatives, par exemple, mais ça n’est pas vraiment possible, donc on va se limiter aux études, aux sondages). Par exemple le graphique dans Les Echos, à l’époque des régionales, justement,

Le chômage et le niveau de diplôme étant des variables très corrélées, on pourrait avoir l’impression d’avoir une piste.

Un problème important dans les cartes, c’est leur granularité : quand on regarde les départements, on est sur des espaces géographiques beaucoup trop grands ! un département, c’est très hétérogène. En particulier, il peut y avoir, ou pas, de grosse métropole. Certains chercheurs ont souligné que le vote FN est important dans la grande périphérie des métropoles, estimant qu’il augmente avec la distance du centre-ville. On le voit assez nettement sur la carte suivante

Le soucis, quand on utilise une granularité plus fine, c’est qu’on ne voit plus grand chose, comme sur les cartes ci-dessous, qui reprennent le résultat du FN aux élections régionales

et le taux de chômage (des 25-55 ans)

Bref, faire une étude montrant une relation causale, c’est pas simple… mais promis, si je trouve des données, je veux bien me lancer !

Exposé à Caen

Je serais en début de semaine à Caen pour un exposé sur “Understanding the Choice Negociated vs. Court Settlements in Bodily Injury Claim Compensations“, à partir de travaux en cours avec Enora Belz, Pierre-Yves Geoffard et Julien Tomas.

In car accidents, involving bodily injuries, a no-fault system has been instated in 1985, the so-called ‘loi Badinter‘. Following the accident (and after consolidation of victims injuries), the insurer of the driver of the car should offer a compensation to all victmims, that should cover health expenditures up to healing or recovery, as well as additional compensation for temporary incapacity, loss of professional earnings, temporary functional deficit, etc. The victim can either accept that compensation, or choose to go to court. Then a judge settles the claim, and the insurer has to pay for this compensation. Using the official data of AGIRA (association pour la gestion des informations sur le risque automobile), with more than 111,000 victims, injured between 1999 and 2014, we try to explain amounts obtained. The challenge here is that we only have to final settlement, and if the victim goes to court, the amount offered by the insurance company. Using Maddala (1983)’s limited dependent model, we model those two amounts, and then investigate the choice to go to court for a victim.

Année bissextile et autres bizarreries calendaires

On est le 28 février. Et demain? On sera le 1er mars, pas de 29 février, puisque 2017 n’est pas une année dite “bissextile”. L’origine du mot “bissextile” est d’ailleurs amusante, je l’ai découvert l’autre jour dans un livre fascinant, 30 février et autres curiosités de la mesure du temps (j’étais d’autant plus heureux de lire ce livre que j’ai retrouvé plein de choses que je pouvais raconter à mes étudiants à l’époque où j’enseignais les “séries temporelles” qui sont – par définition – des séries dont les observations sont faites “à des dates régulièrement espacées dans le temps“, et toutes ces irrégularités ne sont pas sans poser de soucis, en pratique).

Ca remonte à l’époque où l’année commençait le 1er mars (oui, à une autre époque, on devrait célébrer la nouvelle année ce soir). On sait depuis les égyptiens que la terre tourne autour du soleil en 365 jours 1/4 (ou disons qu’une année dure un peu plus de 365 jours). Bref, qu’à l’occasion, il convient de rajouter un jour, pour éviter plein de désagrément. Comme semer des graines au milieu de l’hiver pour les plus pragmatique, ou fêter Noël après Pâques pour d’autres. Et vers -40, la tradition n’était pas de glisser un 29 février, mais un jour bis, souvent le 23bis. C’est à dire un jour bis 6 jours avant la nouvelle année, un “sextil”. D’où le terme bis-sextile. Amusant non ?

Cette année qui commençait le 1er mars, on la retrouve ailleurs dans le calendrier. Oui, les mois “septembre”, “octobre”, “novembre” ou “décembre”, les 7ème, 8ème, 9ème et 10ème mois… si on n’y réfléchit, ça n’a pas de sens d’avoir le 10ème mois le 12ème mois du calendrier. Sauf si l’année commence le 1er mars… On utilise d’ailleurs aujourd’hui les mois lunaires de l’époque romaine, “september”, “october”, “november”, “december”. Les mois précédants étaient “quintilis” et “sextilis” ont été changé par Jules César, probablement vers 40 avant notre ère, entre “iulus” (qui deviendra “juillet”, en l’honneur de “Jules César”) et “ausgustus” (qui donnera “août” en Français, “august” en anglais, en hommage à “Auguste”, le premier empereur romain). C’est d’ailleurs Jules qui souhaitera, le premier, faire commencer l’année le 1er janvier, qui correspondait à l’époque à la date traditionnelle de prise de fonction des consuls, à Rome. Mais l’histoire au le temps de faire de nombreux aller-retours. Quand à l’idée des années bissextiles, il faudra attender 1582, où Grégoire XIII fixe la règle que l’on connaît aujourd’hui, instaurant le “29 février” tous les 4 ans, et les années séculaires (sauf celles divisibles par 400). D’ailleurs, histoire d’illuster les implications de ce changement d’année le 1er mars, je laisse méditer sur la phrase suivante, inscrite sur une pierre tombale, en Angleterre,

que l’on peut résumer par

https://freakonometrics.hypotheses.org/files/2017/02/thomas-lambert.png

Fascinant non ? Et on apprend des centaines d’annecdotes de ce genre, dans cet ouvrage passionnant ! A libre absolument ! En attendant, je pourrais être tenté de souhaiter une bonne année (puisque c’est presque un peu d’actualité).

Débat sur la difficulté des prévisions dans la perspective des élections présidentielles

Ce soir, à l’invitation de Jean-Hervé Lorenzi, je participerais à un débat à la Fédération Française de l’Assurance sur “la difficulté des prévisions dans la perspective des élections présidentielles“. Le débat sera animé par Gilles Bénéplanc et Pierre Bollon avec Emeric Bréhier, directeur de l’Observatoire de la vie politique à la Fondation Jean-Jaurès, Dominique Reynié, professeur à Sciences Po et directeur général de la Fondation pour l’innovation politique. et Frédéric Dabi, directeur général délégué de l’Ifop.

Homo Deus, le salut par l’algorithme?

De plus en plus de monde s’interroge sur l’avenir de l’assurance, autour des mots « digital », « big data », « objets connectés », etc, prédisant une révolution à venir. Beaucoup pensent que la révolution a largement commencé, et qu’il serait temps de faire un peu de (science) fiction, pour imaginer ce qui nous attend. Depuis 2010, deux séries télévisées ont proposé une vision du futur gouverné par les algorithmes, ‘Black Mirror’ et plus récemment ‘Westworld’. Et en septembre prochaine, la suite d’Homo Sapiens: une brève histoire de l’humanité sera publié en français*, promettant l’arrivé d’une nouvelle religion, le « dataïsme ». Nous reviendrons ici sur les deux ouvrages de Yuvall Harari, le premier sur l’histoire (passée) de l’humanité, et le second, sur l’histoire du futur.

https://freakonometrics.hypotheses.org/files/2017/02/blackmirror.png

De ‘Black Mirror’ à ‘Westworld’

Il y a quelques jours, nous apprenions que des ingénieurs japonais avaient fabriqué des mini drones pollinisateurs pour remplacer des abeilles (Science et Avenir, 2017). Tous ceux qui vu le dernier épisode de ‘Black Mirror’, Hated in the Nation feront le parallèle. Dans cet épisode, les abeilles-drones sont piratées pour tuer la personne ayant reçu le plus de hastag #DeathTo sur un réseau social de type Twitter. De plus en plus de situations quotidiennes rappellent des trames de films ou de séries de sciences fiction.

Un ouvrage de science fiction qui a fait date est le livre publié en 1818 par Mary Shelley. Dans son roman, Victor Frankenstein créé artificiellement une créature qui va progressivement se doter de conscience. Fritz Lang propose revoit ce mythe en 1927 dans ‘Metropolis’, où un automate féminin séduisant ne nous tue pas, mais bouleverse le monde. On retrouvera une version moderne de ce personnage dans le film ‘Ex-Machina’, et surtout la série ‘WestWorld’, en dévoilant un monde artificiel où des humanoïdes animent un parc d’attraction futuriste, sur le thème du Far-West, en suivant un fil rouge, tout en s’adaptant aux désirs des personnes venues se distraire. Mais malgré toutes les précautions qui sont prises, certaines intelligences artificielles du parc vont acquérir une forme de mémoire, de conscience, et vont finir par se rebeller. Et cette prise de conscience va venir de leurs souvenirs, pourtant supposés être effacés, tous les soirs.

Cette importance de la mémoire et de l’histoire est un point essentiel. Il n’est alors pas étonnant de voir arriver deux superbes ouvrages écrits par un historien israélien, Yuval Harari. Dans le premier opus, il revenait sur l’histoire de l’homo sapiens, avant de proposer dans un second tome (à paraître en français à la rentrée) une réflexion passionnante sur l’intelligence artificielle et l’avenir de l’espèce humaine. « Au cours des dernières décennies, il y a eu une immense avancée dans l’intelligence informatique, mais il n’y a eu exactement aucune avancée dans la conscience informatique. Pour autant que nous le sachions, les ordinateurs en 2016 ne sont pas plus conscients que leurs prototypes dans les années 1950 ». C’est en tant qu’historien qu’il nous invite à réfléchir sur notre avenir.

Une brève histoire du passé

Jacob Bronowski, philosophe, mathématicien (il travailla avec le statisticien Jerzy Neyman et le fondateur de la théorie des jeux John von Neumann) est resté connu du grand public pour ses travaux de vulgarisation. En particulier, en 1974, il publiait « The Ascent of Man » qui servira de base à une série produite par la BBC. Dans cet ouvrage (dont le titre est une référence au second ouvrage de Charles Darwin, « The Descent of Man »), Jacob Bronowski retrace l’histoire de l’humanité, en lien avec les découvertes scientifiques. En 2011, Yuval Noah Harari s’attaque à la même tâche, avec un regard un peu différent, en publiant Homo Sapiens, une brève histoire de l’humanité. Son ouvrage paru en hébreu a été traduit en anglais en 2014, avant d’être publié en français en 2015.

Dans ce premier opus, qui s’est vendue à des millions d’exemplaires à travers le monde, Harari revient sur l’histoire de l’Homo Sapiens, qui a commencé voilà 70 000 ans, avec la révolution cognitive qui a lancé l’histoire de notre espèce, basé sur une mutation génétique, permettant de penser, et surtout de communiquer, avec un langage très différent de celui utilisé par les autres espèces. Non seulement l’homo sapiens peut transmettre des informations, mais surtout, il peut créer des mondes imaginés, des mythes. Selon la thèse de Yuval Harari, c’est notre capacité à raconter des histoires, et à créer des mythes qui a fait de l’Homo Sapiens ce qu’il est devenu. Les chimpanzés, qui partagent pourtant une grande partie de notre code génétique, ne peuvent pas fonctionner efficacement dans des groupes supérieurs à 150. Mais les Homo Sapiens y parviennent. Et nous utilisons nos compétences linguistiques uniques (à l’échelle des espèces) pour créer des mythes – justice, droits de l’homme, argent, religion, nationalité – qui nous lient et nous permettent de coopérer à une grande échelle. Le « mythe des droits de l’homme », par exemple, nous est imposé comme un ensemble de droits « naturels » qu’auraient les êtres humains, mais qui pourtant surprendraient les grecs d’Aristote, ou les membres de nombre de tribus dans le Pacifique.

Un autre mythe récent et important évoqué par Yuval Harari est celui lié au capitalisme, le « mythe du consummérisme romantique ». Un mâle alpha chimpanzé n’irait jamais utiliser son pouvoir pour aller en vacances sur le territoire d’un groupe voisin de chimpanzés. Pourtant, les homo sapiens le font, et cela leur semble « naturel ». Acheter permet de résoudre tous les problèmes : acheter une voiture, un téléphone, un cours de yoga. Ou mieux, un voyage, symbole le plus fort de ce « mythe du consummérisme romantique ». Le romantisme nous pousse à multiplier les expériences (culinaires, musicales), à rompre avec notre cadre familier, et quotidien : il faut « expérimenter ». Le consummérisme nous dit que pour être heureux, il faut consommer. Consommer des produits, des services, des « expériences » justement. Aller deux semaines en Inde ce n’est plus un voyage, mais une « expérience ». Et cette consommation, qui va élargir nos horizons, ne pourra que nous rendre heureux. Mais cette vision est nouvelle. A l’époque des pharaons égyptiens, un homme riche n’emmenait pas sa femme magasiner à Babylone, mais éventuellement envisageait de se faire construire un somptueux tombeau. Les cultures changent, et de nouveaux mythes remplacent les anciens.

Un point intéressant pour conclure ici est l’importance des technologie et des sciences dans l’histoire humaine. Comme le note Yuval Harari « le principal commandement que l’humanisme nous a donné est de créer un sens pour un monde sans signification ». Les hommes ont besoin de comprendre, et les sciences se sont développé en ce sens. Et les technologies ont suivi, en parallèle. Et leur impact a été au-delà du champ traditionnel des sciences. En 1850, le socialisme était un mouvement marginal, qui s’est développé et a révolutionné le monde, à sa manière. A la même époque, Muhammad Al-Mahdi (محمد أحمد ابن عبد الله), prétendant être le Mahdi annoncé par l’islam, tenta de révolutionner le monde arabe, alors qu’en Chine Hong Xiuquan (洪秀全), se proclama « Empereur du Ciel » et lança la Révolte des Taiping. Mais seul Karl Marx réussi. L’explication de Yuval Harari est que Marx, Engels et Lénine avaient compris l’importance de la technologie. Comme l’a dit Lénine «le communisme est le pouvoir des soviets et l’électrification de tout le pays». Autrement dit, il ne peut y avoir de communisme sans électricité, sans chemins de fer, sans radio. En voyant l’informatique comme l’équivalent du chemin de fer et de l’électricité, Yuval Harari place 2017 comme l’équivalent de 1850, et se demande ce que pourrait être notre futur, suite à la révolution que nous sommes en train de vivre.

Une brève histoire du futur

Peu après la parution en anglais du premier opus, Yuval Harari a publié un second opus, sur la « révolution suivante » que nous vivons actuellement. Beaucoup ont vu, à sa sorti, “Homo Deus” comme un livre de «fin de l’histoire», au sens que lui a donné Francis Fukuyama. Mais il ne s’agit pas de la fin, au contraire : le monde (et en particulier la technologie) évolue si vite qu’il est impossible de prévoir ce que l’avenir pourrait être, mais on peut tenter un peu de science fiction. En poursuivant sur sa théorie des mythes, Yuval Harari prétend que l’on est en train de voir naître un nouveau mythe, le « dataïsme ».

Le dataïsme est une sorte une religion. Les divinités agricoles ont été remplacé par les esprits des chasseurs-cueilleurs, puis les grandes religions se sont imposées, dans l’histoire de l’humanité. Les fondamentalistes islamiques ont longtemps répété le mantra que «l’islam est la réponse», mais en 2017, n’est-on pas en train d’instaurer un «Google est la réponse». Les religions traditionnelles ont expliqué que chaque mot, chaque action, faisaient partie d’un grand plan cosmique, et que Dieu nous observait chaque minute et se souciait de toutes nos pensées, de tous nos sentiments. La religion des données dit maintenant que chaque mot et chaque action font partie du grand flux de données, que les algorithmes vous observent et qu’ils se soucient de tout ce que nous faisons et ressentons. L’algorithme est « sans doute le concept le plus important dans notre monde » aujourd’hui, comme le dit Yuval Harari. Pourtant, un algorithme est simplement un modèle mathématique pour résoudre des problèmes, de manière mécanique, automatique. Jusqu’à tout récemment, la meilleure solution pour résoudre des problèmes sur Terre était un cerveau humain, si possible en coopérant. Les algorithmes nous dépassent à présent à une liste toujours croissante de tâches cognitives. Ils font des transactions financières pour nous, plusieurs compagnies ont même mis un algorithme au sein d de leur conseil d’administration. Et ces algorithmes ne cherchent plus du sens, ils cherchent juste des corrélations, des proximités, afin de prévoir de la meilleure manière. En ce sens, c’est effectivement une révolution.

Si les capitalistes croient en la main invisible du marché, les dataïstes croient en la main invisible du flux de données et de l’algorithme, qui pourraient réguler et éviter la congestion automobile, optimiser nos emplois du temps. Comme le capitalisme, le dataïsme a aussi commencé comme une théorie scientifique « neutre », mais est maintenant en mutation dans une religion qui prétend déterminer le bien et le mal. La valeur suprême de cette nouvelle religion est le « flux d’information » (il n’est pas étonnant de voir que la « liberté de l’information » est devenu aussi importante). Pour reprendre la parallèle que propose Yuval Harari, de même façon qu’au début de la période moderne, les impérialistes européens venaient en Afrique et achetaient des pays entiers pour quelques perles, maintenant nous donnons d’importantes possessions, nos données personnelles, à Google et Facebook en échange de vidéos de chats. On semble avoir perdu de vu ce qui était en jeu, et il est très difficile de commencer à penser à la politique en ce début du XXIe siècle. Pire encore, les grandes décisions ne sont plus prises par les gouvernements, mais par une « petite caste internationale d’hommes d’affaires, d’entrepreneurs et d’ingénieurs ». Ces personnes semblent avoir une vision sur l’avenir, comme Yuval Harari peut en avoir (sur la vie éternelle, l’intelligence artificielle, etc), alors que les gouvernements sont devenus de simples gestionnaires.

Les changements que Harari décrit, et notre incapacité à s’adapter au rythme de ceux-ci, pourraient avoir aussi des conséquences économiques importantes. Il considère la perte d’emplois énorme due à l’automatisation comme très probable et «effrayante», résultant dans la création d’une «classe inutile» comprenant des milliards de personnes dépourvues de toute valeur économique ou politique. Cela a commencé avec la classe ouvrière, qui devient la classe de ‘unworking’. Ils seront la première partie de la classe inutile, mais elle a commencé à s’étendre aux classes moyennes.

Que diriez-vous d’un Amazon Kindle amélioré qui lit vos émotions pendant que vous lisez un livre? En utilisant divers capteurs de corps, il pourrait déterminer quelles parties du livre vous font rire ou pleurer, quand votre pouls se réveille, quand vous vous ennuyez ou éveillez. Il saurait lire et se souvenir de nos réactions mieux que notre cerveau conscient. Et Yuval Harari voit plusieurs dangers profond au fait que l’homo sapiens perd sa capacité à faire des choix, libres. Que se passera-t-il une fois que nous nous rendons compte que les clients et les électeurs ne font jamais de choix libres, et que se passera-t-il une fois que nous avons la technologie pour calculer, concevoir ou déjouer leurs sentiments? La théorie des jeux est assez pessimistes car les seules décisions non prévisibles sont des décisions complètement aléatoires. «Nous pouvons bien voir, en fait, un renversement complet de la révolution humaniste», suggère-t-il, «en débarrassant les humains de l’autorité et en mettant des autorités non humaines en charge». Et une fois qu’un dispositif d’intelligence artificielle est devenu indispensable ce n’est plus un gadget, c’est devenu la règle. « Une fois que Google, Facebook et d’autres algorithmes deviennent des oracles omniscients, ils peuvent évoluer en agents et enfin en souverains. » Et c’est effrayant…

Références

Anderson, W. The End of Theory: The Data Deluge Makes the Scientific Method Obsolete. Wired, 2008.

Wortham, J. « ‘Black Mirror’ and the Horrors and Delights of Technology » The New York Times,‎ 30 janvier 2015 

Science et Avenir. Des mini drones pollinisateurs à la rescousse des abeilles. 2017

* la traduction française n’étant pas disponible, il faudra se contenter d’une traduction personnelle de plusieurs néologismes d’Harari.

 

Les sondages avaient tout faux en 2016? Ah bon?

Allez, un dernier billet sur les sondages, d’autant plus que le débat de demain soir devrait porter (plus spécifiquement) sur les faillites sur sondages anglais et américains, de 2016.

  • Alors comme ça les sondages seraient “faux” ?

Je n’aime pas cette terminologie. J’ai l’impression que la confusion vient en grande partie du fait qu’on analyse, au final, un vote aux élection comme un référendum. C’est pour ça qu’on a tendance à mettre dans le même parnier le référendum britannique et les élections américaines pour parler de la “faillite des sondages“. Un point amusant est que si classiquement, on essaye de quantifier le nombre de voix obtenues, aujourd’hui, on communique davantage sur la “probabilité de gagner”. Un peu comme en météo quand on parle de la probabilité qu’il pleuve (PDP, qui est un concept qui me dépasse complètement, comme j’en ai parlé voilà plusieurs années sur ce blog).

Mais revenons sur ce qui s’est passé, un instant. La veille du vote américain, on nous indiquait que la probabilité que Donald Trump gagne était de l’ordre de 15%. Ce qui est la probabilité de tomber sur 6 en lançant un dé. Ou de tomber sur un somme faisant 6 en lançant deux dés. Comment dire… Je me souviens de la réaction de mon fils, il y a plusieurs années, qui s’énervait lorsqu’on jouait à Serpents et Echelles (ou au jeu de l’oie, ou aux petits chevaux) et que, par hasard, je faisais un 6, et que c’est effectivement ce dont j’avais besoin pour gagner. “Tu as triché papa !”. Ai-je besoin de faire un billet de blog pour expliquer qu’avoir un 6 en lançant un dé, “ça arrive” ? Comme je le disais dans un billet l’autre jour, on retrouve ici des débats classiques en gestion des risques. Si je prédis le décès de ma belle-mère avec 1 chance sur 1000 ou même 10000, et qu’elle décède, avais-je raison, ou pas ? C’est la multitude des prévisions qui permet de juger de la qualité de la prévision. Si dans une population importante, la proportion de décès est de 1 sur 1000, alors mon estimation était bonne. Mais les élections, on ne les observe qu’une fois…

Continuons un instant notre réflexion… Ce matin, en partant, la météo m’annonçait une “probabilité de pluie de 15%”. Que dois-je faire de cette information ? Dois-je arrêter de la consulter, le matin, car elle s’est trompé puisqu’il a plu. S’est-elle d’ailleurs trompée ? Et ai-je d’ailleurs le droit de comparer la météo et un vote ? Si on y réfléchi un peu non. Si la météo m’indique une “probabilité de pluie de 15%”, je peux légitimement décider de remettre mon projet de faire en longue balade en vélo toute la journée à plus tard. Et ma décision n’aura pas d’impact sur le fait qu’il pleuve ou pas (sauf si, comme moi, vous avez observé que justement, il pleut précisément les jours où vous n’avez ni parapluie ni manteau imperméable…). Mais pour les votes ? Si le jour du vote on m’annonce que mon candidat a 15% de chances de gagner, et que je décide de ne pas sortir pour aller voter, ça n’est pas la même chose ! Le fait qu’il gagne, ou pas, dépend en grande partie de mon action ! Les gens peuvent changer d’avis, et prendre des décisions en fonction de ce qu’on leur annonce. Et ça aura un impact sur l’élection (si beaucoup de monde raisonne ainsi). Alors que pour la pluie….

  • Une “probabilité de gagner” ?

Prévoir l’avenir c’est dur. Ce que j’aime bien sur certains sites (je pense à 538) c’est par exemple la nuance qui est faite entre les forecast (prévision pour un scrutin à venir, dans plusieurs semaines) et les “now-cast“, correspondant à une projection de ce qui se passerait lors d’une hypothétique élection qui se tiendrait lors du sondage. Mine de rien, c’est une nuance assez fondamentale, je pense. Maintenant, un point très important est, me semble-t-il, l’importance donnée à cette “probabilité de gagner”.

Dans mon prédédant billet, je faisais quelques simulations pour montrer que la probabilité de gagner est un concept difficile à comprendre, car il reflète essentiellement une incertitude. Au lieu de faire des simulations, faisons plutôt quelques calculs. Dans le cas du référendum anglais (histoire de simplifier un peu l’interprétation), supposons qu’un sondage donne “Remain” à 52%. Si on veut un intervalle de confiance à 95%, on a (en gros) un intervalle de ±3 points, soit [49%,55%]. Dans la terminologie statistique, on aura une loi normale, centrée sur 52%, avec un écart-type de 1.5%. La probabilité d’être au dessus de 50% est ici de 91%

> 1-pnorm(50,52,1.5)
[1] 0.9087888

ce qui donne une cote à 10 contre 1

> (1-pnorm(50,52,1.5))/pnorm(50,52,1.5)
[1] 9.963564

Si on avait obtenu 51%, c’est à dire un intervalle de confiance [48%,54%], on aurait une côte à 3 contre 1.

> (1-pnorm(50,51,1.5))/pnorm(50,51,1.5)
[1] 2.960513

Autrement dit, si entre deux jours consécutifs, les sondages passent de 51% à 52% (un hausse de un point), la côté passe de 3 contre 1 à 10 contre 1 ! (je parle ici de côte car beaucoup ont utilisé les paris en ligne pour prévoir la victoire de tel ou tel camp). Autrement dit, les paris (ou les probabilités qu’un camp l’emporte) sont très très sensibles à de très faibles variation dans le modèle. Et ceci n’est pas sans poser de problème quand on sait comment fonctionne le lissage des sondages (très fort au début puis de plus en plus faible au fur et à mesure que le jour de l’élection approche): la probabilité de gagner devient incroyablement volatilé en fin de course, pouvant passer de 5 contre 1 pour un candidat à 5 contre 1 pour l’autre, si deux sondages varient de 3 points (51.5% pour le premier, 48.5% pour le second).

Historiquement, les sondages donnaient une proportion, genre 52%. Puis il y a quelques années, l’intervalle de confiance est apparu. Et là, j’ai l’impression que les journalistes ont du comprendre qu’ils y perdaient. Par ce que dire que la proportion est entre 49% et 55% (avec une probabilité de 95%), ça n’est pas super sexy. La parade semble être de parler de “la probabilité de gagner” qui permet d’avoir des chiffres très variables, très grands ou très petits. Bref, des chiffres télégéniques, presque clairs (“probabilité de gagner”, tout le monde comprend, hein ?), et souvent énorme, par exemple ici 10 contre 1 (ou 91% dans une terminologie plus probabiliste). Mais si on essayait de mettre un intervalle de confiance sur cette probabilité de gagner ? A la louche, quand on a une fréquence de l’ordre de 52%, la probabilité de gagner est de 91%, mais l’intervalle de confiance est entre 25% et 100%

> 1-pnorm(50,52+c(-2,+2)*1.5,1.5)
[1] 0.2524925 0.9995709

Avec une fréquence de 50.5% obtenue lors d’un sondage, j’aurais un intervalle de confiance à 95% entre 5% et 99%

> 1-pnorm(50,50.5+c(-2,+2)*1.5,1.5)
[1] 0.04779035 0.99018467

Bref, cette probabilité de gagner est assez incertaine… non ? Dit autrement, cette histoire de “probabilité de gagner” est une belle arnaque…

  • Que s’est-il passé en Angleterre ?

Oui, les sondages se sont trompé, dans le sens où il y a eu une différence (relativement) importante entre les résultats de l’élection et des sondages. Dans le premier cas, “leave” à gagner alors que les sondages semblaient avoir tendant à croire que “remain” aurait une majorité. Bref, globablement, on prévoit 0 et on obtient 1. C’est une grosse erreur. Maintenant, si on regarde un peu en détails, comme toujours il peut y avoir plusieurs explications à cette différences entre des sondages et les résultats finaux, comme le notait par exemple Andrew Gelman

  1. les personnes qui ont répondu aux sondages n’étaient pas un “échantillon représentatif” des électeurs (et peu importe la raison au fond, mais si les deux populations diffèrent, il ne faut pas être surpris d’avoir une différence)
  2. les réponses aux sondages permettent mal de mesurer les intensions de votes (par exemple si le taux d’indécision est trop fort, et non aléatoire)
  3. la décision a été prise le dernier jour
  4. la participation électorale a été différente de celle estimée (par exemple des personnes qui voulaient voter “remain” qui se sont abstenus, persuadé de la victoire de leur camp)
  5. la faute à pas de chance, ce qu’on appelle en statistique l’incertitude d’échantillonage.

J’avais fait un billet sur ce dernier point, rappelant qu’il est beaucoup plus important que ce qu’on apprend souvent en statistique, justement à cause des autres effets. Et c’est probablement ce qui s’est passé en Angleterre, un mélange de toutes ces causes. Ah si, peut être juste un point que je pourrais mentionner ici : le type de sondage utilisé a eu un impact considérable, les sondages par téléphone mettant le “remain” bien plus haut que les sondages en ligne.

  • Que s’est-il passé aux Etats-Unis ?

Comme je l’ai déjà dit, prévoir le vote aux Etats-Unis est compliqué, compte tenu du mode de scrutin. Mais au moins, les modèles utilisés sont clairement décrits (on pourra lire le guide publié par 538 en juin 2016). La modélisation permettant de faire une prévision se fait (en gros) en quatre temps,

  1. Collecter les sondages, pondérer et agréger. Par exemple, un sondage local (par état) est très différent d’un sondage national. Et un sondage sur toute la population n’est pas la même chose qu’un sondage sur des électeurs probables.
  2. Ajuster les sondages. En particulier, il peut être intéressant de lisser les résultats pour un même institut de sondage, en faisant des moyennes sur les sondages précédants. La subtilité est de faire varier le paramètre de lissage, avec des poids très conservateurs très en amont de l’élection (on lisse beaucoup, avec peu de variabilité entre deux dates) et au contraire, des poids plus faibles pour le passé au fur et à mesure que l’on se rapproche du jour de l’élection (on lisse peu, et les résultats deviennent très volatiles, très incertains)
  3. Combiner avec des données démographiques et économiques. Il est important de tenir compte de variables démographiques, aux Etats Unis, pour comprendre les changements possibles entre les élections de 2016 et celles de 2012. Par exemple en tenant compte de concentration éthniques, ou de changement d’âge moyen dans une zone géographique. Ensuite, il est possible de tenir compte de variables économiques, en particulier des niveaux d’emploi dans la région, le revenu personnel, des niveaux de consommation (personnels), ainsi que des niveaux d’indices boursiers (comme le note 538). On peut aussi tenir compte d’une information importante qui est le nombre de jours avant l’élection. Lauderdale & Linzer (2014) donne pas mal d’information sur les variables prédictives, justement.
  4. Projeter, par simulations. En simulant des scénarios, de manière corrélée entre les états, on peut arriver à des scénarios que l’on peut ensuite agréger, pour avoir des résultats nationaux.

Ce genre de modèle s’est relativement bien comporté, dans une marge d’erreur raisonnable. Mais le fait est que quelques pourcentages d’erreur ont donné des résultats très différents de ceux “attendus”. Ce qui est intéressant, c’est qu’avec 48% des voix en 2012, Mitt Romney a perdu l’élection présidentielle. Alors que Donald Trump l’a emporté, avec lui aussi près de 48% des voix. Mais Donald Trump a eu un résultat plus important que celui annoncé par les sondages dans des états clés (swing states). Un autre point important a été le fort changement de vote, jusqu’au bout. Plus de 15% des gens ont admis avoir décidé du candidat pour lequel ils voteraient au cours de la dernière semaine. D’autres sondeurs ont noté des fortes évolutions dans les non-réponses: beaucoup de personnes qui ont finalement voté pour Donald Trump ont longtemps refusé de l’avouer, et figuraient comme “non réponse”. Enfin, et c’est je pense un point important (j’avais tenté un billet sur le sujet voilà quelques années), les élections américaines ne sont pas des élections à deux candidats. Et mal prendre en compte Gary Johnson a probablement induit des erreurs dans les sondages. S’il était connu que Gary Johnson et Donald Trump chassaient le même électorat, beaucoup ont surestimé son score (estimé à 5% au niveau national, mais finalement à 3%), la différence s’étant probablement reporté sur Donald Trump

Après, il faut constater qu’il est difficile de construire un modèle, basé sur la rationalité des gens pour prévoir un comportement électoral. Quand 538 propose d’intégrer un indice économique, c’est parce qu’une hausse soudaine du chômage devrait avoir un impact sur le vote de certaines personnes (reste à savoir lequel, mais le choix des variables explicatives est un exercice en soi, comme le montre l’explosion des modèles sparse, permettant de trouver les bonnes variables prédictives, et non pas de rajouter davantage de bruit). Mais comment comprendre que Donald Trump, candidat ayant obtenu l’approbation du Ku Klux Klan, ait obtenu plus de voix que Mitt Romney en 2012 auprès des électeurs noirs, hispaniques et asiatiques ? Peut-on encore penser que les électeurs sont rationnels ?

An Open Lab-Notebook Experiment