Tag Archives: Risques

La valeur de la vie

Un court article, écrit conjointement avec Béatrice Cherrier… Tous les commentaires sont les bienvenus !

En 1928, revenant sur la révolution chinoise de 1925, André Malraux publie son roman Les Conquérants, et glisse « j’ai appris qu’une vie ne vaut rien, mais que rien ne vaut une vie ». Si la formule peut plaire, on imagine qu’elle n’aidera pas trop un décideur public. En 2013, le Commissariat Général à la stratégie et à la prospective, en France, évaluait la valeur d’une vie à 3 millions d’euros. Mais d’où sort ce chiffre ? Et que signifie-t-il vraiment ?

Sauver une vie vaut-il le coup?

Chiffrer une vie est en effet un problème auxquels les assureurs, mais aussi les décideurs publics sont confrontés bien plus souvent qu’il n’y paraît. Après l’effondrement du World Trade Center en 2011, le Congrès américain adopta la Loi sur la sécurité du transport aérien et la stabilisation des systèmes. Cette nouvelle loi prévoyait la création d’un fonds spécial pour indemniser les victimes des attentats du 11 septembre 2001. Le montant de l’indemnité, et les personnes qui y auraient droit, seraient décidées par un fonctionnaire tout-puissant. Ce « special master,» Kenneth Feinberg, explique dans un ouvrage qui revient sur son expérience (Feinberg 2006) que le gouvernement souhaitait éviter une avalanche de poursuites pour préjudices corporels. Cela aurait pu plonger l’industrie du transport aérien dans la tourmente.

Un cadre très strict fut donc instauré : seules les victimes « ayant recu un traitement à l’hopital dans les 72 heures qui suivirent les attaques », blessées aux abords du World Trade Center et du Pengatone, ainsi que leurs conjoints et enfants – mais pas leurs parents – furent déclarés admissibles à une indemnisation. Le fond accorda plus de 7 milliards de dollars à 5 560 victimes et membres de leur famille. Feinberg se devait, légalement, d’étalonner les dommages et intérêts en fonction de la « valeur financière » de la victime décédée. Il dû ainsi expliquer à la femme d’un pompier, par exemple, que son mari valait moins qu’un courtier d’assurance.

En France, le récent passage aux 80km/h sur les routes à deux voies fut aussi partiellement justifié par les vies sauvées. Alors que le premier ministre se réjouissait, en janvier, d’un bilan de 116 vies épargnées, la journaliste Alba Ventura (2019) s’interroge sur RTL : « s’il s’agit de ne sauver qu’une vie, est-ce que ça ne vaut pas le coup ? » Le support radiophonique ajoute à l’ambigüité. Demande-t-elle en fait si « cela ne vaut pas le coût? »  Car le problème est bien celui des méthodes employées par la puissance publique pour chiffrer le prix d’une vie, sauvée ou perdue.

La valeur d’une vie humaine comme taux marginal de substitution

A la fin des années 1940, l’US Air Force cherchait à maximiser les dommages infligés par ses raids aériens contre l’Union Soviétique. Quand un groupe de chercheurs de la RAND Corporation proposa de faire voler un grand nombre d’avions peu coûteux pour leurrer les défenses aériennes soviétiques, les généraux de l’Air Force refusèrent l’idée, arguant que le coût de la vie des pilotes sacrifiés ne figurait pas dans les calculs. Comme le rappelle Spencer Banzhaf (2014),  l’économiste de la défense Jack Hirshleifer choisit alors de calculer valeur de la vie d’un pilote en intégrant le coût de sa formation et de son remplacement. Cette réponse avait l’avantage d’utiliser des grandeurs directement monétaires, et facilement quantifiables. Dans les années 1960, sur l’influence des réflexions autour du capital humain, il fut suggéré d’utiliser une estimation des salaires nets actualisés perçus au cours d’une vie de pilote, supposés refléter l’utilité matérielle du métier. Ces méthodes restaient dans la lignée de celles définies par Louis Dublin et Alfred Lotka pour les compagnies d’assurance dans l’entre-deux-guerres (Cavalin 2016).

S’il reprend comme titre le slogan publicitaire d’une compagnie d’assurance, popularisé par des organismes de sécurité routière ( « The Life You Save May Be Your Own »),Thomas Schelling, prix Nobel d’économie en 2005, publie en 1968 un article qui rompt largement avec cette tradition.  Il utilise en fait le travail de l’un de ses étudiants (et ancien pilote militaire) Jack Carlson, qui cherchait à évaluer si lcertains investissements en matière de sécurité (pour les pilotes) « valaient le coût ». Le coût d’un système d’éjection des avions B-58 était par exemple de l’ordre de 80 000 dollars, pour un gain substantiel sur la probabilité de survie. C’est cette idée de lier la valeur de la vie avec la notion de risque qui permis à Schelling de développer le concept de « valeur statistique » de la vie.

L’innovation majeur de Schelling consistait à impliquer les citoyen.ne.s dans l’évaluation de la valeur de leur propre vie. Puisqu’il était stérile de leur demander de chiffrer leur propre vie de but en blanc, on pouvait en révanche adapter la méthode de Carlson en leur  demandant, par exemple, combien ils et elles seraient prêtes à dépenser pour un airbag, ou un traitement médical, qui diminuerait leur taux de mortalité de 1%. Ainsi, en se plaçant dans un diagramme représentant en abscisse la probabilité de survie où l’espérance de vie résiduelle et en ordonnée la richesse, comme sur la Figure 1, pouvait-on construire des courbes d’indifférence liant richesse et survie : quelle somme accepte-t-on (marginalement) de dépenser pour gagner statistiquement un peu de vie, soit en diminuant sa probabilité de décès, soit en allongeant son espérance de vie ? Dans l’exemple ci-dessous, la valeur de la vie est simplement la dérivée de la courbe d’indifférence.

Figure 1 : Arbitrage entre espérance de vie et richesse.

La valeur de la vie n’est alors pas une grandeur constante, mais dépend de la situation dans laquelle on se trouve. Aussi,SVL=\frac{d\omega}{d\text{E}}=\frac{d\omega}{d\text{p}}suivant qu’on la calcule par rapport à une variation de l’espérance de vie, ou de la probabilité de décès. Si on a une espérance de vie résiduelle plus ou moins grande (à gauche ou à droite), ou si on est plus ou moins riche (en haut ou en bas), la pente ne sera pas la même. Un exemple classique est celui d’une roulette russe, avec un pistolet a douze chambres. Supposons qu’il y a 3 balles, quel serait le montant que l’on serait prêt à payer pour enlever une balle ? Que deviendrait ce montant s’il y avait 9 balles et qu’on souhaite en enlever plusieurs ? Supposons que la valeur statistique de la vie soit de 3 millions d’euros. Dans le premier cas, la probabilité passe de 3/12 à 2/12, soit dp_1=1/12 (soit une baisse de 1/3). Dans le second cas, pour avoir aussi une baisse de 1/3, il faudrait passer de 9/12 a 6/12, soit dp_2=3/12. Si on suppose que la valeur statistique de la vie est constante, alors d\omega_2/d\omega_1=d\text{p}_2/d\text{p}_1=3, et on devrait être prêt à dépenser 3 fois plus pour une même baisse relative de probabilité de décès.

D’un point de vue heuristique, dans le second cas, on est dans une situation un peu désespérée (on a 3 chances sur 4 de mourir) et donc toute solution est bonne à prendre, quelle que soit son prix ! C’est ce que l’on retrouve au travers de la convexité de la courbe de droite sur la Figure 1 : si ma probabilité de décès est élevée (à droite sur l’axe des abscisses), je suis prêt à dépenser beaucoup, pour un faible gain. Cette manière d’évaluer sa propre vie, proposée par Schelling, est souvent, appelée « gunpoint value.»

Sauver ma vie, ou celle d’autrui ?

Mais cette approche répond-elle vraiment à la question de départ ? La vie sauvée par une mesure de sécurité contraignante et couteuse est rarement celle de la personne qui prend une décision. Cette tension est particulièrement visible au sein des débats français sur la mesure de la valeur d’une vie, puisqu’à la différence des Etats-Unis celle-ci est largement le fait d’ingénieurs-économistes recrutés par l’Etat afin de mettre en place des politiques publiques visant a augmenter le bien-être des populations. La question de la sécurité routière est à l’origine d’un article fondateur sur le sujet, présenté par deux ingénieurs des ponts et chaussées, Claude Abraham et Jacques Thedie, au colloque annuel de recherche opérationnelle d’Aix-en-Provence en 1960.

Répondant à la question « combien une collectivité doit dépenser pour sauver une vie humaine », ils pointent deux types d’éléments à quantifier. Les éléments « objectifs » de nature « économique, » quantifiable en actualisant les pertes de salaires directes et les pertes de production et de consommation, grâce un raisonnement pragmatique qui mélange capital humain et analyse macroéonomique. Par exemple, un homme de 41-45 ans a une valeur de production deux fois supérieure à un homme de 56-60 ans, et sa valeur de consommation est 50% plus élevée. Mais la perte d’un homme de plus de 65 ans est en réalité un gain, ce qui montre l’importance d’intégrer les éléments « affectifs.» Puisque leur évaluation est autrement plus difficile, ceux-ci s’en remettent à l’estimation faite par les tribunaux en matière d’indemnisation des dommages personnels, en particulier l’attribution d’un praetium doloris.

Comme le relate Daniel Benamouzig (2005), les aspects théoriques, techniques, éthiques et métaphysiques du principe et de la méthode de la quantification d’une valeur de vie présentés par Abraham et Thédié, et en particulier de l’application de telles méthodes dans le champ de la santé, firent l’objet de débats houleux. Ceux-ci n’ont d’ailleurs toujours pas fait l’objet de résolution consensuelle. Françoise Favre (1970) note par exemple que l’utilisation du calcul économique de la valeur d’une année-vie pour décider si un dépistage systématique du cancer du col de l’utérus doit être mis en place peut conduire par construction une réponse négative. En effet, la valeur marchande du travail féminin qui sert de base au calcul est largement inférieur à celle du travail masculin, ce qui crée des inégalités de traitement hommes-femmes.

Adoptant un cadre éthique et théorique empruntant au choix social, Jacques Drèze (1962) propose une méthode de calcul alternative plus proche de celle développée par Schelling. Une décision publique doivent se fonder sur les préférences de la collectivité issues de l’agregation des utilités individuelles pour la décision en question. Une solution aux problèmes de mesure et d’incommensurabilités soulevé par Abraham et Thédié consiste a poser la question aux citoyens « combien la collectivité doit-elle dépenser, selon vous, pour sauver une vie? » L’utilité de la vie peut-être calculée en identifiant la disposition individuelle subjective à payer pour prolonger sa vie en écartant un risque déterminé, ajoute Drèze. Celui-ci conclue que sa méthode conduit à une estimation de la valeur de vie nettement supérieure à celle à laquelle aboutissent ces collègues. La sensibilité des évaluations aux méthodes de calcul, est, aujourd’hui encore, un problème majeur.

Plusieurs méthodes, plusieurs valeurs ?

Biausque (2011) reprend plusieurs études, afin d’estimer la valeur (statistique) de la vie, face à des risques environnementaux, de sante ou routier que l’on peut résumer dans le Tableau 1.

Environnement Santé Trafic routier
Nb d’études 51 250 65
Moyenne (€) 2 455 982 2 574 149 4 884 853
Minimum (€) 24 427 4 450 267 615
Maximum (€) 7 641 706 22 100 000 17 500 000

Tableau 1 : source Biausque (2011).

On voit que ces calculs sont complexes, et donnent lieu à des ordres de grandeurs très différents les uns des autres. La variabilité entre individus était évoquée dans Feinberg (2006) qui expliquait qu’il pouvait être économiquement juste à dire que la vie d’un trader de 25 ans “valait plus” qu’un pompier de 45 ans. Mais c’est surtout la variabilité entre les méthodes, que l’on retrouve également dans Hugonnier et al. (2018) qui surprend, et dérange, avec un facteur allant de 1 à 20 suivant la méthode utilisée.

état de santé Quintile

0%-20%

Quintile

40%-60%

Quintile

80%-100%

Statistique ‘fair’ 4 380 000 4 400 000 7 890 000
‘very good’ 8 800 000 8 830 000 12 135 000
Gunpoint ‘fair’ 235 000 235 000 422 000
‘very good’ 590 000 590 000 650 000
Capital humain 250 000 390 000 525 000

Tableau 2 : source Hugonnier et al. (2018)

Le Tableau 2 reprend la valeur statistique (inspirée de Drèze 1962), celle basée sur des calculs de capital humain, ainsi qu’une « gunpoint value », en fonction du niveau de richesse de la personne qui décède (niveaux de quantiles) et de l’état de santé de la personne (avant son décès).

Ces tableaux montrent à quel point il est difficile d’évaluer la vie de personnes impliquées dans un accident mortel. On essaye d’imaginer la valeur de la vie d’un « individu représentatif » (peut être en fonction de son état de santé, de son âge, de son revenu). Mais comment faire pour attribuer une valeur à une vie qui n’existe pas encore ? Car nombre de décisions prises aujourd’hui impactant aussi les « générations futures », c’est-à-dire des personnes qui aujourd’hui n’existent pas… Est-il possible de donner une valeur à la vie de ces personnes ? Car c’est normalement ce qu’il convient de faire si on veut mettre en place une politique visant à limiter le réchauffement climatique.

References

Abraham, С. & Thedié, J. 1960 Le prix d’une vie humaine dans les décisions économiques. Revue française de Recherche opérationnelle. 16 : 157-168

Banzhaf, Spenser H. 2014. Retrospectives: The Cold-War Origins of the Value of Statistical Life. Journal of Economic Perspective, 28 :4, 213-226.

Benamouzig, Daniel. 2005. La Santé au miroir de l’Economie. Paris : PUF

Biausque V. 2011, Valeur statistique de la vie humaine : une méta-analyse. OCDE

Cavalin, C. 2016. « La valeur d’une vie statistique : histoire américaine, histoire de la pensée économique. » Incidence 12.

Commissariat général à la stratégie et à la prospective 2013. Éléments pour une révision de la valeur de la vie humaine. http://www.strategie.gouv.fr/

Costa, Dora L. & Kahn Matthew E. 2004. Changes in the value of life, 1940-1980. Journal of Risk and Uncertainty, 29 :2, 159-180

Drèze, Jacques 1962. L’utilité sociale d’une vie humaine. Revue française de recherche opérationnelle 23 : 3 -28

Fabre, Françoise. 1970. « Une étude économique de la prévention et du dépistage précoce du cancer du col de l’utérus » Cahiers du Séminaire d’Econometrie 12, 121-143

Feinberg, Kenneth R. 2006. What Is Life Worth?: The Inside Story of the 9/11 Fund and Its Effort to Compensate the Victims of September 11th. Public Affairs.

Johansson, Per-Olov, 2000. Is there a meaningful definition of the value of statistical life? Journal of Health Economics, 20, 131-139

Hugonnier, J., Pelgrin, F. & St-Amour, P. 2018. Valuing Life as an Asset, as a Statistic and at Gunpoint. Swiss Finance Institute Research Paper 18-27

Lery, Simon 2004. Arbitrages : le prix de la vie. Alternatives Economiques, 223.

Mrozek, Janusz R. & Taylor, Laura O. 2002. What determines the value of life : a meta analysis. Journal of Policy Analysis and Management, 21 :2, 253–270

Schelling, T.C. 1968. ‘The life you save may be your own.’ In Problems in PublicExpenditure Analysis ed. Samuel B. Chase (Washington DC: Brookings Institution) 127–162

Ventura, Alba. 2019. 80km/h : « S’il s’agit de ne sauver qu’une vie, est-ce que ça ne vaut pas le coup ? », RTL, 29 janvier 2019.

Les réseaux pour réinventer l’assurance ?

La théorie des réseaux, ou des graphs, est née en 1735, suite aux travaux de Léonard Euler, qui essayait de trouver une promenade – à partir d’un point donné – qui fasse revenir à ce point en passant une fois et une seule par chacun des sept ponts de la ville de Königsberg. On peut rapprocher ces réseaux des réseaux de métro, constitués de stations (les nœuds), liés entre deux par des rails, ou pas, ou plus généralement un réseau routier, pouvant donner lieu à des études de congestion, par exemple. Mais les réseaux sont aujourd’hui surtout sociaux, reliant les personnes, par des liens d’amitiés, professionnels, familiaux, ou monétaires. L’analyse des réseaux permet de créer des communautés relativement homogène, acceptant de partager un risque, recréant une mutualisation.

Réseau et crédit

En généalogie, on aura des réseaux hiérarchiques, un enfant étant lié à ses parents, eux-mêmes reliés à leurs parents. En sociologie, les réseaux sociaux permettent d’analyser les liens entre des individus (ou des organisations) au sein d’un ensemble. On pourra étudier les amitiés dans une cour d’école (un lien pouvant être une invitation à un anniversaire) ou des échanges de messages électroniques dans une entreprise (la base des courriels d’Enron a ainsi été abondamment utilisée, avec plus de 180 000 messages échangés entre 36 000 employés[i]). La Figure 1 montre ainsi deux réseaux de 20 individus (A, B, …, T).

Figure 1 : réseaux aléatoires, 20 nœuds (Watts-Strogatz et Barbasi),

Dans une vision de type Facebook ou Linkedin, on dira que E et F sont liés, au sens « amis », s’il existe un segment reliant les points E et F. Un réseau peut être dirigé, par exemple si on étudie les échanges de messages (E a écrit à F), ou des prêts d’argent (E a prêté de l’argent à F). Si historiquement seule l’adjacence était étudiée (existence ou non de liens), on peut aujourd’hui rajouter des poids, par exemple le montant d’un prêt financier. Babutsidze (2012) étudie ainsi les positions de banques françaises et allemandes dans les prêts interbancaires au sein de la zone Europe (les nœuds sont alors les banques). L’étude des réseaux au sein de communautés de villages dans les pays en développement a permis de mieux comprendre les mécanismes de finance informelle. Banerjee et al. (2013) étudient ainsi la diffusion de l’information dans un réseau, et plus particulièrement les prêts de microfinance.

Si les réseaux sont utiles pour mieux organiser le microcrédit, CNN notait en 2015 que Facebook permettait à des organismes de crédit d’utiliser le réseau social d’un emprunteur pour déterminer s’il représente un bon risque de crédit, ou pas. En particulier, si le score de crédit des amis était trop faible, une personne pouvait se voir refuser un crédit. Cette situation est dangereuse à cause de propriétés particulières des réseaux, et plus particulièrement le paradoxe des amis.

Du tout petit monde au paradoxe des amis

En 1929, Frigyes Karinthy a émis l’hypothèse que toute personne sur terre pouvait être relliée à n’importe quelle autre par une succession de relations individuelles comprenant au plus 6 maillons. « Nous devrions sélectionner n’importe quelle personne du 1,5 milliard d’habitants de la planète, n’importe qui, n’importe où. Il paraît que, n’utilisant pas plus de cinq individus, l’un d’entre eux étant une connaissance personnelle, il pourrait contacter les individus choisis en n’utilisant rien d’autre que le réseau des connaissances personnelles ». Cette théorie des six poignées de main a vu son origine  dans une nouvelle littéraire. Il faudra attendre les travaux de

Michael Gurevich dans les années 60, puis Stanley Milgram dix ans après, pour voir apparaître les premières tentatives de quantification de ces relations, sous le nom de « Small World Problem ». Si Leskovec & Horvitz (2008) ont confirmé cet ordre de grandeur, via l’analyse de plusieurs milliards de messages échangés à l’aide de la plateforme Windows Live Messenger, plus récemment, Baghat et al. (2016) ont estimé que deux personnes quelconques sur Facebook étaient connectées par une moyenne de trois personnes et demi. Sur le réseau aléatoire de gauche, une personne a, en moyenne, 2 amis, alors qu’un ami pris au hasard a en moyenne 2.25 amis. Sur le réseau de droite, l’écart est encore plus important, car si là aussi une personne a, en moyenne, 2 amis, un ami pris au hasard aura en moyenne plus de 4 amis.

Figure 2 : réseaux aléatoires, 500 nœuds (Watts-Strogatz et Barbasi)

Ce paradoxe, observé en 1991 par le sociologue Scott Feld se démontre très facilement. Heuristiquement, on peut voir un lien avec la propriété probabiliste\frac{\mathbb{E}[X^2]}{\mathbb{E}[X]}=\mathbb{E}[X]+\frac{\text{Var}[X]}{\mathbb{E}[X]}>\mathbb{E}[X]où le terme de gauche est le nombre d’amis de mes amis, divisé par mon nombre d’amis. La différence est d’autant plus grande que la dispersion du nombre d’amis est importante. Si le réseau de gauche est très dense, celui de droite en revanche possède une propriété de loi puissance : la distribution du nombre d’amis suit une loi en fonction puissance (ou loi de Zipf, ou de Pareto). La Figure 3 montre la distribution du nombre d’amis sur un réseau, dans double échelle logarithmique : la linéarité indique une distribution en fonction puissance. On retrouve ce genre de distribution dans un très grand nombre de réseaux, en particulier Facebook, comme l’a montré Wohlgemuth & Matache (2014).

Figure 3 : distribution du nombre d’amis sur des réseaux aléatoires simulés (Watts-Strogatz et Barbasi en rouge)

L’interprétation classique est que certaines personnes sont centrales dans le réseau, avec un très grand nombre de connexions. Cette propriété est très connue en marketing (on parlera alors d’effet de pair, « peer effect ») mais elle a des impacts aussi en gestion des risques, ou en santé publique. Chrisakis & Fowler (2010) ont ainsi montré que les épidémies de grippe peuvent être détectées près de deux semaines en avance, en surveillant l’infection dans un réseau social. En particulier, l’analyse de la santé des personnes centrales dans un réseau est « an ideal way to predict outbreaks, but detailed information doesn’t exist for most groups, and to produce it would be time-consuming and costly ». Pour revenir à l’exemple du score de crédit, si ce dernier se trouve être corrélé aux nombres d’amis, le paradoxe des amis rend dangereuse l’utilisation du score des amis comme indicateur du risque d’un individu !

L’importance de l’homophilie

Un autre trait important des réseaux est la notion d’homophilie, introduite en 2001 en sociologie par deux articles importants, correspondant à la tendance à être connecté à ses semblables. McPherson et al (2001) partait du principe que la similitude engendre la connexion, et par conséquent, les réseaux personnels des gens sont homogènes sur de nombreuses caractéristiques sociodémographiques, comportementales et intrapersonnelles. Moody (2001) étudiait ainsi les amitiés dans les cours de récréations à l’école primaire, aux États-Unis, et plus particulièrement les amitiés interraciales. Easley & Kleinberg (2010) présente ainsi de nombres conséquences de l’homophilie, allant de la constitution des tables lors de repas d’affaire, à l’attribution de crédit aux États-Unis. La mesure de l’homophilie revient à se demander, compte tenu de groupes préexistants (en fonction du genre, de l’âge, de la catégorie socioprofessionnelle, etc) comment se répartissent les liaisons, entre les groupes, ou à intérieur des groupes.

Figure 4 : faible homophilie (en haut) et forte homophilie (en bas).

Dans un contexte d’assurance, un actuaire cherche à créer des classes tarifaires, des groupes homogènes en termes de risques, suivant des variables explicatives (les variables dites tarifaires). Les personnes qui habitent au même endroit, qui conduisent les mêmes types de véhicules, et qui ont les mêmes caractéristiques, auront de fortes chances d’être dans la même classe. Mais si l’homophilie existe dans une population, un groupe tarifaire pourrait peut-être s’observer sur réseau d’amis. Pourquoi ne pas alors envisager de créer des groupes au sein d’un réseau ?

Utiliser les réseaux en assurance

Dans cet esprit, en 2010, Friendsurance a été lancé en Allemagne et compte en 2018 plus de 100000 assurés[i]. En France, une courte expérience d’assurance collaborative avait été lancée en 2015, avec Inspeer, proposant de mutualiser avec ses proches les franchises d’assurance dommage (en assurance auto ou habitation) entre amis. Ces types d’assurances collaboratives, parfois appelés assurance pair à pair – ou « peer-to-peer insurance » –  reposent sur la constitution de petits groupes par un courtier. Une partie des primes d’assurance versées est versée à un fonds collectif, l’autre partie à une compagnie d’assurance tierce. Les dommages mineurs subis par le preneur d’assurance sont d’abord pris en charge par ce fonds de groupe. Pour les sinistres dépassant la franchise, il est fait appel à l’assureur habituel. Un groupe peut être constitué par les assurés, formant un réseau social un peu comme Facebook. Dans ce modèle, la seule exigence est que tous les membres du groupe doivent avoir le même type d’assurance (par exemple une assurance responsabilité civile avec une assurance des frais juridiques).

Comme le notait Schiller (2013), ce type de mécanisme a beaucoup de vertus, la première étant de diminuer les coûts, et le risque de fraude. On n’a en effet pas tendance à tricher sur le coût d’un sinistre lorsque le risque est porté par des membres de la famille, ou des amis. L’anonymat de la mutualité qui existe dans la loi des grands nombres disparait. Mais n’est-on pas en train de réinventer la version 2.0. des associations tontinières, avec le retour en force de la mutualisation des risques au sein de communautés soudées ?

Références

Joshua Angrist. The perils of peer effects. Labor Economics, 30, 98-108, 2014

Zakaria Babutsidze. Positions of French and German Banks in European interbank lending network. OFCE, Mars 2012.

Abhijit Banerjee, Arun Chandrasekhar, Esther Duflo & Matthew Jackson. Diffusion of Microfinance. Science, 341,

Smriti Bhagat, Moira Burke, Carlos Diuk, Ismail Onur Filiz & Sergey Edunov. Three and a half degrees of separation. Facebook Research, 2016.

Ananya Bhattacharya. Facebook patent: Your friends could help you get a loan – or not. 4 août 2015, CNN,

Nicholas Christakis & James Fowler Social Network Sensors for Early Detection of Contagious Outbreaks. PLoS ONE. 5 (9): e12948. arXiv:1004.4792 2015

David Easley & Jon Kleinberg. Networks, Crowds, and Markets. Cambridge University Press. 2010.

Scott Feld. Why your friends have more friends than you do, American Journal of Sociology, 96 (6): 1464–1477, 1991.

Matthew Jackson. Social and Economic Networks. Princeton University Press, 2010.

Jure Leskovec & Eric Horvitz. Planetary-Scale Views on a Large Instant-Messaging Network. Microsoft Research, 2008.

Miller McPherson, Lynn Smith-Lovin & James Cook. Birds of a Feather: Homophily in Social Networks. Annual Review of Sociology. 27: 415–444, 2001.

James Moody. Race, School Integration, and Friendship Segregation in America. American Journal of Sociology, 107 (3): 679-716, 2001.

Wesley Perkins, Michael Haines & Richard Rice. Misperceiving the college drinking norm and related problems: a nationwide study of exposure to prevention information, perceived norms and student alcohol misuse. Journal of Studies on Alcohol 66 (4) : 470-478, 2005.

Ben Schiller. A Social Network For Insurance That Cuts Costs And Reduces Fraud. Fast Company, October 2013,

Brad Walker. How Peer-to-Peer Companies Are Transforming the Insurance Sector. The Street, Avril 2016,

Jason Wohlgemuth & Mihaela Matache. Small-World Properties of Facebook Group

Networks. Complex Systems, 23 (2014).

[i] Les données complètes sont en ligne sur https://snap.stanford.edu/data/email-Enron.html

[ii] https://www.friendsurance.com/ et https://www.inspeer.me/ respectivement

(Petite) histoire du hasard et de la simulation

Entendre « il y a 10% de chances de pluie aujourd’hui » ou « le test médical a une valeur prédictive positive de 75% » montre que les probabilités sont aujourd’hui partout[i]. Une probabilité est une grandeur difficile à appréhender, mais incontournable quand on cherche à théoriser et mesurer le hasard. Et si la théorie mathématique est finalement arrivée très tard, comme le rappelle Hacking (2006), cela n’a pas empêché l’assurance de se développer assez tôt, et d’avoir les premières tables (actuarielles) de mortalité avant même que la « probabilité de décès » ou « l’espérance de vie » n’ait de fondement mathématique. Et de la même manière, de nombreuses techniques ont été inventées pour « générer du hasard », avant l’explosion des méthodes dites de Monte Carlo, en parallèle avec le développement de l’informatique (et du fait qu’une machine pouvait générer du hasard). Continue reading (Petite) histoire du hasard et de la simulation

Fake News, Wikipedia and Blockchain (Truth and Consensus)

(this article was intially writen in French)

We must not lie, we are taught at a very young age, and yet we all do it all the time. Provocatively, Meyer (2011) says that you will lie to your wife in one in ten conversations. And if you’re not married, the risk would be even higher. Yet we seem to live with these little lies (to the point of being destabilized when we find ourselves in front of an overly honest person). But the debates on the “Fake News” reminded us that some lies have a price, to the point of creating doubt and permanent distrust. This plurality of words, and the absence of a reference word, is not unlike the philosophy conveyed by crypto-currencies: instead of a centralised mode of governance (validation, certification), it is a global validation by a network, a consensus, which will prevail. Have we changed our definition of what truth is?

The story of “the truth”

In Athens, during the pompous period of Athenian democracy (around the middle of the fifth century BC), every citizen (ὁ βουλεύμενος, “whoever wants it”) has the right to speak, to formulate a speech. We will talk about iségorie (ἰσηγορία) equality of speech. As is so often the case, this equality is in fact very unequal, since not everyone is equal in eloquence. In Gorgias, Plato opposes the latter to Socrates, questioning the basis and purpose of this discourse, which can be put at the service of the common good, of truth, but also be used for purposes of persuasion. Socrates seeks the truth, and the moral value of the stated opinions, fundamentally opposing philosophy and rhetoric. But for Plato, truth is not everything: the notion of the common good seems to prevail over truth, a lie can be lawful if it is just (in the service of this common good). Greek myths are built on this idea, as Veyne (1983) develops, wondering whether the Greeks believed in their myths. This is not a lie, but fiction, allegory. The word μῦθος certainly gave the word “mythomaniac” (by adding μανια, madness), but this word initially meant the speech, the word, the story. We could almost find the concept of “lying true” proposed by poet Louis Aragon.

By radically opposing Good and Evil, Christianity has changed our conception of truth. It is appropriate to confess, to confess, if one aspires to salvation. Truth becomes sacred (and those who do not live with it will pay with their lives). Ecclesiastical authorities then define what is true, Foucault (1994b) spoke of “pastoral” power. “This form of power is oriented towards salvation (…) it is linked to a production of truth“. The opinion of the people is then guided and controlled by official representatives of the truth (ecclesiastical then state).

However, this power will crumble over time. The multiple words will reappear, and with them, the “Fake News”. Just after the First World War, Marc Bloch noted that “false news is always born of collective representations that pre-date its birth; it is fortuitous only in appearance, or, more precisely, all that is fortuitous in it is the initial incident, absolutely unspecified, that triggers the work of imaginations but this setting in motion takes place only because the imaginations are already prepared and ferment deafly. An event, a bad perception for example that would not go in the direction that the minds of all already lean, could at most form the origin of an individual error, but not of a popular and widespread false news“. We find here an idea translated today under the name of “Fake News”. Recently, some have felt compelled to consider legislation, raising the question of freedom of speech, but also probably a form of mistrust by a certain elite towards a people they think incapable of judgment and discernment. But who can afford to decree what is true and what is not?

Science and Truth

There is a form of truth through authority. Following a (painful) fall while skiing, even if I have vague knowledge of anatomy, I did better to consult a doctor, who has expertise from his studies and practice. If he tells me that I have a fracture, it is not the fact that he claims (with authority) that he is telling the truth, but because it is the conclusion he reaches on the basis of solid reasoning, which other doctors might contest. Not having any skills, I rely on his authority. Just as I trust my lawyer if I need legal advice (but perhaps not my doctor). Faced with an expert, the difficulty is to find what weight, what credit, to give him.

Science, as it is taught, seems to state irrefutable truths. If my pen falls off the table, its speed will increase linearly, until it touches the ground. I would be foolish to refute this reality, which stems from the theory of universal gravitation enunciated by Issac Newton in 1687 (in a much more general form than the fall of a pen, or an apple). But this vision is quite dated: “absolute truth” no longer exists, only agreement within the scientific community prevails. As van de Kerchove (2013) notes, mentioning the work of Karl Popper, facts in science are finally established in the same way as “jury proof” in English law. The main difference is the temporal aspect (a judge may set aside elements considered prescribed by law, even if they are scientifically enlightening) and the fact that justice judges a particular case, whereas science seeks general truths. It is the convergence of beliefs, based on collective discussions bringing a consensus which makes it possible to establish scientific truths.
And scientific knowledge evolves over time, even allowing itself to become blurred! Instead of having a “true” or “false” result, we now have true results with a certain probability. In the 2001 IPCC report, it is described as “likely”, with 2 out of 3 chances, that “human activity has been the main cause of observed warming” since the middle of the 20th century. In 2007, the probability exceeded 90%, reaching 95% (then becoming “extremely probable”) in 2014. We will also remember this episode in July 2012, when CERN announced the discovery of an elementary particle (postulated by Higgs in the 1960s, the famous “Higgs boson”) “with a confidence level of 99.99997%”. Science allows itself doubt, and even better, manages to quantify it with amazing precision.

Because doubt still exists in science. This doubt, sometimes called “Cartesian“, allows science to advance, but also, on occasion, to retreat. This is what Oreskes & Conway (2014) points out, highlighting the strategy of certain industries that have funded research projects denying scientific evidence of the dangerousness of tobacco, DDT (insecticide), the reality of the ozone hole, environmental damage from acid rain… etc.. By confusing, discrediting studies – and the scientists who conducted them – doubt has turned against science, while further strengthening the evidence. By questioning the dangers of smoking, numerous studies have established that on the contrary, no doubt was permitted. But the strategy was to buy time (and in that sense the strategy worked).

Justice and truth

But scientists are not the only ones trying to establish the truth. To resume the debate launched by Dagorn (2018), is the tomato a fruit or a vegetable? The fruit is defined in botany as the result of fertilization of the plant: it is derived from the transformation of the pistil once it is fertilized, and will then carry seeds allowing the plant to reproduce. So the tomato is a fruit. But vegetables have no scientific definition, even if they seem to designate the edible parts of plants. That said, chemists who are interested in cooking seem to have decided, using the flavor of the food. The fruit is a sweet food, while the vegetable would be dirty, bitter, or neutral. But if science does not seem to want to impose truth on the subject, justice has examined the question several times. In the United States, at the end of the 19th century, a tax existed on vegetables, but not on fruits. In 1887, John Nix sued New York Harbour treasurer Edward Hedden for taxing his tomato imports (recounted in Sterbenz (2013)). The United States Supreme Court ruled against him in 1893 (unanimously) explaining that the Customs Act referred to the common meaning of the terms “fruit” and “vegetable”, and not to the technical jargon of botanists. But this American vision opposes that adopted in Europe, since a 1988 directive of the Council of the European Union classified tomatoes in the category of fruits (just like carrots or rhubarb branches, moreover).

Justice feels invested with a mission to seek the truth. This is what Jean Domat said in 1745 when he stated that “the Laws want something judged to pass for truth”. The presumption of truth attached to a judgment – “res judicata pro veritate habetur” – is thus found several times in the Civil Code. It may, however, be objected that the raison d’être of this principle is essentially to avoid the repetition of trials ad infinitum (otherwise remedies would not exist: a court decision may be challenged, but according to a very specific procedure). The search for the truth then takes place during an investigation, which has become a “way of authenticating the truth, of acquiring things that will be considered true, and of transmitting them“, as Foucault (1994a) notes.

If science can’t decide, sometimes justice is still asked to make decisions. This is what the decisions say about whether the tomato is a fruit (or not) but it is also the essence of the precautionary principle, evoked in Charpentier (2016). And the situation becomes complex when laws that go against a scientific truth. Baruch (2013) thus returns in detail to the episode of the adoption of the Boyer law tending to repress the denial of genocides, at the turn of the years 2011 and 2012 (the debate on the “memorial laws”), and above all the contestation aroused by article 4 of the law of 23 February – known as the Mekachera law – with numerous positions on the “positive role” of French colonisation. MPs wanted to impose a truth (by law) that went against scientific historical knowledge. And how can we forget the condemnation (following a trial) of Galileo in 1633, following the publication of the Dialogue on the Two Great Systems of the World, by those who supported geocentrism against heliocentrism (previously established by Nicolas Copernicus, among others). In a letter written to the Grand Duchess Christine of Lorraine – mentioned by Gingras, Keating and Limoges (1999) – Galileo notes that the court ruled, “forgetting in a certain way that the multiplication of discoveries contributes to the progress of research, to the development and strengthening of sciences and not to their weakening or destruction, and at the same time showing itself more attached to their own opinions than to the truth“.

Is the majority always right?

In a sitting court, for an accused to be found guilty, the law requires that a (strong) majority of the members of the court of assizes decide it. The majority then imposes its law. But the vote is taken after discussion, after consensus has been reached. According to Wikipedia, “consensus characterizes the existence among the members of a group of a general (tacit or manifest), positive and unanimous agreement that can allow a decision or action to be taken together without a prior vote or special deliberation”. And Wikipedia is built on this idea of consensus. The first principle is openness and transparency: everything is open, everyone can contribute by submitting any content, and a record is kept of the history of interventions. It is required to provide proof of any assertion, with a clear and searchable reference (we find here a basic principle of scientific publication). Then follows a discussion phase. The importance taken today by Wikipedia shows that this principle works.

This delegation of governance is found in the majority of cryptocurrencies. To explain how Lamport works, Shostak and Pease (1982) proposed the fable of the Byzantine generals, to illustrate this concept of “gentium consensus” in computing. Several armies are ready to attack the same city, but the only way to synchronize the different armies, to determine whether to attack or retreat, is to circulate a messenger on horseback. Each general then mandates a knight, to carry the message “attack” or “retreat”, but there may be traitors among the generals who attack. The idea is to bring out a global validation, to obtain a general vote, a consensus, starting from the fact that dishonest people are less numerous than honest people. And indeed, in this case, coordination is possible. As with the blockchain (and all smart contracts), validation is by consensus.
The majority rule, the basis of many democratic systems, seems obvious to us. But the notion of “argumentum ad populum” reminds us that a proposition is not true because most believe it. If this rule seems natural to us, in a democracy, to associate the greatest number with decision-making in the city, in daily life, we quickly see that it leads to many dead ends. Imagine an airline pilot, faced with bad weather conditions, having to make the decision to land (or not) in an emergency. Should it allow passengers to vote? We imagine that it will be inappropriate, if not ineffective, because what the pilot wants is an informed majority, rather than a simple majority. In reality, as we can see in some important democratic decisions, following the choice of the majority is above all a way to avoid bearing responsibility for a choice.

The search for consensus is complicated, even impossible if we believe the literature on voting mechanisms and Arrow’s impossibility theorem. Arrow (1951) – inspired by Condorcet’s paradox – shows that there is no indisputable social choice process that allows a hierarchy of preferences for a group to be expressed from the aggregation of preferences. Also, when a consensus is reached, not everyone is satisfied with the outcome. Some even refer to a “dictatorship of the majority“. To quote Manin’s argument (1985), “the adherence of the greatest number reflects the superior strength of one argument over the others“, because argumentation and discussion are important, “this process makes the appearance of reasonable results more likely“. But this search for consensus is necessarily imperfect: “the true source of legitimacy therefore remains unanimity; the majority will is not legitimate in itself, it is legitimate because it is decided to confer on it all the attributes of the unanimous will. (…) The majority principle is a simple necessity of fact, without any intelligible link with the principle of legitimacy; it is only a convenient convention“, as Minor (2010) recalls.

A “post-truth” world?

The fact that science proposes vague truths does not facilitate understanding of the world, and the term “post-truth” has been proposed to describe this world where the borderline between lies and truth, honesty and dishonesty, fiction and “non-fiction” is no longer very clear. The open data movement also proposes to introduce a form of transparency, with raw data, so that everyone can decide on a debate. In the United States, several years ago, American citizens were shocked to discover that many politicians had received (sometimes very) large sums of money from private companies. But companies always had the desire to finance politicians in order to secure possible support, if necessary. Between these two contradictory visions, the compromise was to impose transparency: politicians had to keep track of any sum paid by a third party, and this information had to be made public. But what to do with this information? In France, this type of transparency is now mandatory for doctors. The database transparence-santé makes all the information declared by companies on the links of interest they maintain with players in the health sector (including doctors) accessible. Who took the time to go to the site to see if their doctor had a conflict of interest when he prescribed a medication? For this somewhat idyllic vision forgets that “pure” data does not exist (“row data is an oxymoron” to use the title of the book edited by Lisa Gitelman). We suspect that since the law imposes this transparency, practices have changed. Data (and facts) do not exist without narration. In 1936, a publisher asked Georges Orwell to investigate the workers’ condition in northern England, in a mining town during the Depression. In the spring of 1937, The Road to Wigan Pier appeared, often considered a report. Crick (1990) compared the notes taken in Orwell’s diary with the novel, to find out if he was giving raw sensations (facts) or if he had staged again, thus reconstructing his original vision. As he notes, “the bare style of the documentary is in reality a perfectly deliberate artistic creation“. Leys (1984) goes even further in the analysis “what Orwell’s invisible and so effective art illustrates is that’the truth of the facts’ cannot exist in a pure state. Facts by themselves never form anything but meaningless chaos: only artistic creation can invest them with meaning, giving them form and rhythm (…) Literally, truth must be invented“.

References

Arrow, K. (1951). Social Choice and Individual Values. Wiley.

Baruch, M-O. (2013). Des lois indignes ? Les historiens, la politique et le droit. Tallandier

Bloch, M. (1921) Réflexions d’un historien sur les fausses nouvelles de la guerre. Revue de synthèse historique, 33. https://bit.ly/2FC6GwZ

Charpentier, A. (2016). Les dérives du principe de précaution. Risques, 108.

Crick, B. (1990) Georges Orwell: Une Vie. Balland.

Dagorn, G. (2018). Aubergine, tomate, carotte… Savez-vous vraiment distinguer fruits et légumes ? lemonde.fr https://lemde.fr/2rkc7vt

Domat, J. (1745) Les lois civiles dans leur ordre naturel. https://bit.ly/2jrlNke

Foucault, M. (1994a) La vérité et les formes juridiques, in « Dits et écrits » tome II texte n°139, Gallimard.

Foucault, M. (1994b) Le sujet et le pouvoir, in « Dits et écrits » tome IV texte n°306, Gallimard.

Gingras, Y., Keating, P. & Limoges, C. (1999) Du scribe au savant : Les Porteurs du savoir de l’Antiquité à la révolution industrielle, Boréal.

Gitelman, L. (2013). Raw Data Is an Oxymoron. MIT Press.

Lamport, L., Shostak, R. & Pease, M. (1982) The Byzantine Generals Problem. ACM Transactions on Programming Languages and Systems, vol. 4, no 3,‎ juillet 1982.

Leys, S. (1984) Orwell, ou, L’horreur de la politique. Plon.

Manin, B. (1985). Volonté générale ou délibération. Le débat.

Meyer, P. (2011). Liespotting.  Saint Martin’s Griffin.

Mineur, D. (2010). Les justifications de la règle de majorité en démocratie moderne. Raisons Politiques, 39, 127—149.

Oreskes, N. & Conway, E.M. (2014). Les marchands de doute : Ou comment une poignée de scientifiques ont masqué la vérité sur des enjeux de société tels que le tabagisme et le réchauffement climatique. Editions le Pommier.

Popper, K. (1973). La logique de la découverte scientifique. Payot.

Sterbenz, C. (2013). The Supreme Court Says The Tomato Is A Vegetable — Not A Fruit. Business Insider,‎ 30 décembre 2013. https://read.bi/2I93gHn

van de Kerchove, M. (2013) Vérité judiciaire et para-judiciaire en matière pénale : quelle vérité ?. Droit et Societe, 84, 411-432.

Veyne, P.  (1983) Les Grecs ont-ils cru à leurs mythes ? 
Essai sur l’imagination

 

The ethics of modelling in a world where normality no longer exists

(this article was originaly writen in French – part one and two – and published in Risques)

The mechanism for covering natural disasters, in France, was created to compensate “direct uninsurable material damage caused by the abnormal intensity of a natural agent” (article L. 125-1 paragraph 3 of the Insurance Code). Still on the legal level, the Court of Cassation formulated, in November 1986, a principle according to which “no one must cause others an abnormal neighbourhood disturbance”. And in order to be entitled to compensation following pre-trial detention, it is necessary for the plaintiff to prove that the detention caused him “manifestly abnormal and particularly serious harm” (Article 149 of the Code of Civil Procedure). But what does this “abnormality” in all these articles mean? According to the dictionary, abnormality is defined as “contrary to the usual order of things” (one could see there an empirical, statistical notion), “contrary to the just order of things” (this notion of “just” probably calls for a normative definition) but also “not in conformity with the model”. Defining a standard is already not simple if we are only interested in the descriptive, empirical aspect, as actuaries can do when they construct a model (especially in large dimensions, where, as we shall see, normality no longer exists), but if we also integrate a dimension of justice and ethics, we wonder if the task is not impossible…

The average man from Quetelet and Galton

In the 19th century, if several astronomers measured the speed of the same celestial object, they obtained (often) several different measurements. In order to know which one to use in their calculations, the idea of using the “averages method” was quickly imposed – as Stahl[2006] recalls, and especially Sheynin[1973] – this average having a greater precision than any other quantity (or would now say statistically). From a set of observations \{x_1,...,x_n\}, we set
\bar x=\frac{(x_1+⋯+x_n)}{n}=\frac{1}{n}\sum_{i=1}^nx_iWe can note that this size is also solution of the optimization problem
\bar x=\text{argmin}\lbrace\sum_{i=1}^n(x_i-m)^2\rbracewhich shows the importance of “least squares”. Adolphe Quételet was, it seems, the first to apply this calculation of averages to human measures, introducing his famous concept of the “average man”. If we define the mean using a quadratic error minimization, we have an interpretation in terms of forecast: the mean size is the size that a randomly drawn person should measure (up to a random – and unpredictable – variation). In 1846, in a letter Adolphe Quételet used the image of the gladiator statue to explain what the average man might be:

Suppose a thousand statues were used to copy the gladiator with all the care imaginable. Your Highness certainly does not think that the thousand copies that will have been made will each reproduce exactly the model, and that by measuring them successively, the thousand measures that I would obtain would be as concordant as if I had taken them all on the statue of the gladiator himself. The first chances of error would be joined by the inaccuracies of the copyists; so that the probable error would perhaps be very great. Despite this, if the copyists have not worked with preconceived ideas, exaggerating or reducing certain proportions according to school prejudices, and if their inaccuracies are only accidental, the thousand measures, grouped in order of magnitude, will still present a remarkable regularity and will follow one another in the order assigned to them by the law of possibility. I see Your Highness smiling; she will no doubt tell me that such assertions will not compromise me, since we will not be willing to try the experiment. And why not? Perhaps I will surprise him by saying that the experience is ready-made. Yes really, more than a thousand copies of a statue have been measured, which I will not guarantee to be that of the gladiator, but which, in any case, is not far from it: these copies were even alive, so that the measures were taken with every possible chance of error: I would add, moreover, that the copies could have been distorted by a host of accidental causes. One must therefore expect, here, to find a very sensitive probable error.

This average man liked a lot at the time, especially within the English eugenicist school, directed by Francis Galton, even if the latter is mainly interested in deviations from this norm (upward deviation and downward deviation). As Bulmer recalls[2004], “the deviations from that average – upwards towards genius, and downwards towards stupidity – must follow the law that governs deviations from all true averages”. Galton’s work was aimed at understanding these deviations. If Florence Nightingale stated that “the average man is God’s will”, Galton was more interested in the hereditary character of the deviation than in the average. But does that mean anything to this average man?

Looking for the “average” person

Rose[2016] presents two examples in her book Tyrany of the NormThe End of Average . The first is drawn from problems encountered by the US military in the 1950s. When designing the cockpits of fighter aircraft, engineers had used the dimensions of more than 4,000 pilots to optimally position the seat relative to the pedals, the joystick, the height of the windscreen, but also the shape of the seat, the helmet, etc. These measurements made it possible to calculate the measurements of the “median” pilot in about ten dimensions. For example, the average pilot size was 179 cm, which allowed the average pilot size to be defined between 175 and 185 cm. While a majority of the pilots were medium in size, none of the 4,000 pilots was “average” in all dimensions. As Daniels[1952] stated, “designing a cockpit for the average pilot was in fact not designing one for any pilot.

The second example is linked to two statues, those of Norma and Normann (historically on display in Cleveland, now in the Harvard Library). The artist Abram Belskie and the obstetrician Robert Latou Dickinson made these statues together in 1943. Their particularity is that no model has been represented. In fact, it was to represent a woman and a man who had the average measurements of the time (from measurements made on thousands of subjects). Once these statues were made, a contest was held to find out who these statues could represent. Several thousand people from Ohio sent their measurements, but none matched those of the statues. Of course, several hundred were the same size. Several hundred had the same chest circumference. But none had all the right measurements. Because as Todd Rose explains, man is not unidimensional: it is on several dimensions that we measure it in several dimensions. And trying to summarize it in a one-dimensional size is far too reductive. This is what he shows in his book on intelligence tests, for example, where the same IQ can be associated with two very different people. It makes no sense to focus on a single indicator when deciding to recruit someone. The concern when working in a multivariate context is that the average loses its meaning. In fact, from a probabilistic point of view, being average can be extraordinary.

The curse of the dimensionality

In fact, this problem is well known to statisticians as the “scourge of the dimension”. Let’s take a simple example: suppose that a quantity of interest follows a normal law N(\mu,\sigma^2), for example weight, height, chest circumference, etc.. One could say that being in the norm is being in an interval [\mu\pm1.5\sigma]. If we have a normal law, this situation occurs in 85% of cases. And the 15% that are not in this range will be seen as “abnormal”. The sizes can be abnormally small, or abnormally large. It is the drawing of figure 1, on the top. We can now look at two dimensions, weight and height, for example. The norm here would be that in both dimensions, we are in the interval [\mu\pm1.5\sigma]. If the quantities are independent, the probability that both quantities are “normal” is 75%, since 0.85^2\sim 0.75

In other words, in dimension two, 75% of the observations are globally normal, and 25% are then abnormal. In dimension 3, we pass to 65 %, that is to say more than a third of abnormal observations (on the bottom on figure 1, the red points being the abnormal points).


Figure 1 Proportion of “average” individuals in dimensions 1, 2 and 3

In dimension five, we go below 50%, in other words, being in the norm in the five dimensions is no longer the case of the majority. And in dimension twenty, those which are normal are rather atypical, with a proportion of the order of 5 %. Thus, in large dimensions, normality is no longer associated with the idea of a majority. This is the problem that actuaries face today when using very large data, in pricing for example: it becomes very difficult to characterize a rate class (by saying what the average insured in that class looks like).

Normality, statistics and standards

From an empirical, descriptive point of view, being within the norm means nothing other than being within the average, not getting too far from that average. We will then tend to define the norm as the frequency of what happens most often, as the attitude most frequently encountered or the preference most regularly expressed. But this normality is not normativity, and “to be in the norm”, to be exemplary, is then a different dimension, which this time no longer relates to a description of reality but to an identification of what it should tend towards. So we move from the register of being to that of being, from “is” to “ought” to use Hume’s terminology[1739]. It is indeed difficult to envisage the model (or normality) without sliding towards the second meaning that can be found in the concept of standard, which in turn has a strictly normative dimension. This vision leads to confusion between norms and laws, even if not all normativity is exhausted by laws. Hume thus notes that, in all moral systems, authors move from statements of fact, that is, statements of the “there is” type, to proposals that include a normative expression, such as “one must”, “one must”. What Hume disputes is the shift from one type of statement to another: for him, these are two types of statements that have nothing to do with each other, and that cannot therefore be logically linked with each other, in particular from an empirical norm to a normative rule. For Hume, an assertion that is not normative cannot give rise to a normative conclusion. Hume’s assertion has given rise to numerous comments and interpretations, particularly because, as it stands, it seems to be an obstacle to any attempt at naturalization of morality – as McIntyre[1959] or Rescher[1990] detail. In this sense, there is a strong distinction between the norm in regularity (normality) and the rule (normativity).

Statistical laws, from micro to macro

The statistical law is about what “is” because it has been observed (for example, “men are taller than dogs”). Human law (divine, or judicial) is what “is” because it has been decreed, and therefore “must be” (“Men are free and equal” or “Man is good”). Finally, the physical law is about what “is” because we can show it (“The planets are attracted to each other”), often within the framework of hypotheses. We see that the three concepts can be linked. For example, Kepler’s law was historically established using observations (and historically fell into the first category), before being demonstrated in the Copernican model (and then moved on to the third). A concept of balance can also be associated with this law, this “norm”. However, as Hilpinen[1971] points out, however, probabilistic laws ask many questions, one need only think of dice throws or expectations: what is meant by “it is normal to wait five minutes for the bus to stop”, or more ethically disturbing, “it is normal for a person remanded in custody to be imprisoned for eighteen months”?

The norm can be seen as a regularity of cases, observed using frequencies (or averages), for example, on the size of individuals, the duration of sleep, in other words the data that constitute the description of individuals. Anthropometric data have thus made it possible to define an average size of individuals in a given population, according to their age; compared to this average size, a difference of 20% more or less determines gigantism or dwarfism. If we think of road accidents, it can be considered abnormal to have a road accident in a given year, at an individual (micro) level, because the majority of drivers do not have an accident. Nevertheless, from the insurer’s (macro) point of view, the norm is that 10% of drivers have an accident. It would therefore be abnormal for no one to have an accident.

Nevertheless, from the insurer’s (macro) point of view, the norm is that 10% of drivers have an accident. It would therefore be abnormal for no one to have an accident. This is the argument found in Durkheim[1897]. From the singular act that is suicide, if it is considered from the point of view of the individual who commits it, Durkheim tries to see it as a social act, then a real regularity, within a given society. From then on, according to Durkheim, suicide became a normal phenomenon. Statistics then make it possible to quantify the tendency to suicide in a given society, as soon as we no longer observe the irregularity that appears in the singularity of an individual story, but a social normality of suicide.

Standard, convention and ethical aspects

If we take an evolutionary view, what is normal is what is most capable of adapting, of responding to needs, of providing a model for the resolution of situations (nature making abnormality disappear), and normality tends towards normativity, and it becomes difficult to distinguish between the two aspects. In fact, David Hume addresses this point in the well-known example of rowers, who get into the same boat to cross a river and row in rhythm (this example is discussed at length in Mackie[1980]). The two rowers gradually adjust their rowing strokes, one in relation to the other, and it is not necessary to obtain an explicit agreement (which would formulate the standard) that they would respect. The law, which consists in imposing a standard can be useful in case of conflict (if one of the rowers refuses to row, or two rowers of very different physical capacities), but very often, it is not necessary to formulate explicitly this standard inherent to their conduct. The external observer will observe a regularity (when the cruising rhythm is reached) that he can model, but this normal observed rhythm is not necessarily imposed by a law. In the case of rowers, we find the notion of balance mentioned previously. To build a model is to extract the signal from the noise (to use Silver’s distinction[2015]), it is to look for a standard, in the statistical sense. But this goes further if a predictive model is constructed, and reality must then conform to the model, as actuaries often hope.

Patrick Blackburn, Maarten de Rijke & Yde Venema, Modal Logic, Cambridge University Press, 2002.

Bulmer M., Francis Galton: Pioneer of Heredity and Biometry. Johns Hopkins University Press, 2004.

Daniels G., “The Average Man”, Air Force Aerospace Medical Research Lab, vol. 53, n° 7, 1952.

Durkheim E., Le suicide, 1897.

Hilpinen R., Deontic Logic: Introductory and Systematic Readings, 1971, Dordrecht, D. Reidel Publishing Company.

Hume D., Traité de la nature humaine. Tome III : de la morale, 1739.

McIntyre D.C., “Hume on ‘Is’ and ‘Ought’”, The Philosophical Review, vol. 68, n° 4, 1959, pp. 451-468, Duke University Press.

Mackie J.L., Hume’s Moral Theory, Routledge & Kegan Paul Books, 1980.

Rescher N., “How Wide Is the Gap Between Facts and Values?”, Philosophy and Phenomenological Research, vol. 50, 1990, pp. 297-319.

Silver N., The Signal and the Noise: Why So Many Predictions Fail – But Some Don’t, Penguin Press, 2015.

Rose T., The End of Average: How We Succeed in a World That Values Sameness, HarperOne, 2016.

Sheynin O., “Mathematical Treatment of Astronomical Observations (A Historical Essay)”. Archive for History of Exact Sciences, vol. 11, 1973, pp. 97-126.

Stahl S., “The Evolution of the Normal Distribution”, Mathematics Magazine, vol. 79, 2006, pp. 96-113.

Excess of precautionary principle

(this article was intially writen in French, and published in Risques)

« Dans le doute, abstiens-toi » (“When in doubt, abstain yourself”) says popular wisdom. The precautionary principle (in German “Vorsorgeprinzip“) arose from the idea that it is appropriate to accept that there is doubt, or (scientific) uncertainty, in the knowledge of risks. A little over 20 years ago, in France, Barnier’s law introduced the precautionary principle into French law for the “risk of serious and irreversible damage to the environment”, commonly known as “environmental risk”. A little bit more than 10 years ago, it was enshrined in the French Constitution, approved by 531 Members, thus expressing a very broad political consensus, probably also social. Today, however, the precautionary principle is mentioned in contexts as diverse as the risk of terrorist acts, but also in civil or criminal law procedures. What are the consequences of this drift in the use of the precautionary principle?

Prudence, prevention, precaution

It is often accepted that precaution distinguishes prevention by the absence of risk identification. Prevention could be associated with protection against identified risks, while the notion of precaution questions possible actions in the face of risks not yet identified. As Ewald, Gollier and de Sadeleer (2009) point out, the precautionary principle in environmental matters involves three imperatives: reducing risks and avoiding emissions even when there are no short-term effects, formulating environmental quality objectives, and defining an ecological approach to environmental management. Therefore, even in the absence of certainty (and whatever the scientific knowledge at the time), the precautionary principle aims at not delaying the adoption of effective and proportionate measures to prevent irreversible damage at an acceptable cost. Other principles can complement the latter, such as the principle of information, or participation, which postulates that every citizen must have access to information relating to his environment.

As Hunyadi (2004) noted, these three notions are closely related, but different,

  • Prudence refers to proven risks, those whose existence is demonstrated or known empirically to such an extent that the frequency of occurrence can be estimated. Probability makes the risk insurable. This category includes alcohol consumption, or playing Russian roulette.
  • Prevention targets proven risks, those whose existence is demonstrated or known empirically without however being able to estimate the frequency of occurrence. Nuclear risk probably falls into this category. Uncertainty is not about the risk, but about its probability of occurrence. The absence of probabilities normally makes the risk uninsurable by the traditional insurance industry.
  • Precaution refers to risks for which neither the magnitude nor the probability of occurrence can be calculated with certainty, based on current knowledge. One example that has been much debated is genetically modified organisms, but we can include all the risks associated with nanotechnologies.

Precaution, prevention and forecasts

In the words of Hohmann (1994), precaution arises from “the will to free oneself from the assimilative approach in order to replace it with an anticipatory approach”. Anticipation and forecasting are then at the core of precaution: the precautionary principle implies anticipating risks, with the dimension of uncertainty that will accompany it. Like insurance. Except that the latter generally assumes that the hazard is beyond the control of agents, whereas precaution is concerned with endogenous risks, which should be anticipated.

And when precaution becomes a legal principle, we can fall into excesses well known by science fiction fans.” I’m placing you under arrest for the future murder of Sarah Marks and Donald Doobin that was to take place today,” police officer John Anderton told the potential murderer in the 1956 Philip K. Dick short story Minority Report. Can one arrest someone preventively, or worse, cautiously, in the name of the precautionary principle?

Yet we are not far from this science fiction scenario when we look at how the fight against terrorism works. In November 2015, as a result of the state of emergency, “administrative” searches were conducted.” The objective is not to be accused of doing nothing when we had information. It is a kind of precautionary principle applied to terrorism,” said a police officer in Libération. Before the summer of 2016, Eric Ciotti, Member of Parliament for Alpes-Maritimesin France, said, with regard to people with “S-type records“, that “these people today must have a precautionary principle, they must be placed in a situation of detention. They can no longer be free, because they constitute a threat” (reported by Le Monde (2016)). Is that really the precautionary principle?

Justice, uncertainty, hazard and precaution

The precautionary principle requires the practice of doubt, which may give the impression of “hyperbolic doubt”, which lawyers sometimes attach to the concept of the inversion of the burden of proof. The adage “guilty until proven innocent” is replacing the age-old legal maxim “innocent until proven guilty”, as van den Belt (2003), or Flückiger (2003), questioning the concept of proof in the test of the precautionary principle, evoked.

Strangely, the words proof and probability derive from the same Latin adjective, probus. Probus ager is the field where seeds germinate and grow. What is probus is then what meets an expectation, produces, nourishes. Applied to man, it will imply goodness, honesty (probity). It is then a positive response to expectation (on the contrary, chance would be associated with the improbable, with a negative response). Probus will give probatio, the proof, later called proba. Approbare then means “prove”, or even “approve”, and the probabilis derivative would mean “approvable”. It is this meaning which seems to have been retained by Cicero when he used probabilia to evoke possible conjectures. What is likely then contains a large psychological part, with an ethical judgment (we will approve), but also a truth judgment (we will prove). As Gaston Bachelard said, “it is through confusion between the psychological domain and the real domain that we incorporate the notion of probability” (Bachelard (1927)). The probability, however complicated the calculation behind the value may be, measures only our expectation.

The right decision in an uncertain world

We are asking the courts to rule on problems. Sometimes to establish a truth that scientists cannot establish (as in the context of environmental risk). But in everyday life, judges make many decisions. And make mistakes. In decision theory, this can be summarized in Table 1. In criminal justice, the judge – or a jury – must decide whether a person is innocent or not. Two types of errors are possible: false negatives (those found innocent) and false positives (those sent to prison).

Table 1: Decision-making mechanism and errors (in French)

In children’s stories, false positives, it’s Pierre who howls at the wolf when there’s nothing (and who ends up tiring everyone, and when the wolf actually arrives, nobody believes it). When it comes to justice, a false positive is an innocent man sent to prison. It is not uncommon for a type of error to be “economically” more interesting. A cost-benefit analysis in marketing, for example, shows that soliciting someone who will refuse a product is generally less expensive than missing a good customer. In other applications, one type of error will be “socially preferable”, as in public health. After a quarantine, we may prefer to convict innocent people than to have a contaminated person who leaves the contained area (and then contaminate the rest of the population). The great difficulty in decision theory is precisely to choose your errors (or rather your error acceptance rates).

The right decision and mistakes

Voltaire wrote in 1747, about Zadig, chosen by the King to become Prime Minister, “it is from him that nations derive this great principle: that it is better to chance to save a guilty than to condemn an innocent”. This principle has long seemed correct (this is the second example in Table 2).

Table 2: Example of decisions rendered 1) Realistic case 2) All innocent 3) All guilty

As Table 2 shows, let us start from a real (or supposedly real) situation, with a judicial system that makes some mistakes: out of the 100 people tried, 10 guilty were acquitted, while 15 innocent people were sent to prison. That is 25% errors overall, even if we can imagine that the two errors are not of the same order. By declaring everyone innocent, 70% mistakes are made, which is obviously too high. But if you find everyone guilty, you make 30% mistakes. To some extent, the risks of the two types of errors are inversely related. Reducing one of them will generally be to the detriment of the other. We must recognize that there is an inevitable compromise in the design of our criminal justice system. In economics, the balance depends on our estimate of the economic (and other) costs associated with each of the two types of error. But in judicial matters, one can imagine that the moral aspect is important.

In a civilized justice system, the risks of error of the first type are minimized to the extent possible, at least that is what is meant by the term “innocent until proven guilty”. There is a price to pay for this cautious and civilized approach, namely that eventually many wrongdoers must be acquitted because of a “lack of sufficient evidence”.

Error and liability

The judge has experience built on a sub-population that is probably not representative of the French population. This selection bias is caused by the fact that the police had to convince a prosecutor to continue the investigations, at least to reach the investigation stage. What could almost legitimize that a judge – or in a way any person gravitating in the world of justice – has such a negative a priori, that in doubt, for fear of committing an error, he made his instinct, built from a biased population. Worse still: if a judge gets into the habit of convicting (based on the fact that there is no smoke without fire), he or she may be convinced that he or she has only been confronted with culprits. Yet it is normal to make mistakes.” Errare humanum est” said Saint Augustine. The danger is that the decision-maker often confuses’fault’ and’error’, and for fear of committing a fault, for which he could be held responsible, he does not dare to decide. The difficulty is admitting her mistakes, and learning from her. For it must be remembered that the error of the second kind is a double error: if there is an innocent man languishing in prison, there is also – probably – a criminal still at large.

Victims at the centre of justice

With the precautionary principle, power makes society the potential victim, and invites us to objectify ourselves as such. After the Second World War, as Rechtmann (2005) showed, psychiatrists’ attention shifted from trauma to victims. And this idea was then imposed on society as a whole: everyone must, in order to exist, express his suffering and arouse compassion. While “victimology” has thus made its entry into the world of psychiatry, at the same time the place of the victim has been strengthened in law. Levy (2004) has shown that today, victims are granted excessive rights, especially when they fall into certain categories (children, victims of sexual violence, acts of terrorism, etc). In this case, the victim’s word is sacredized, the accused’s defense therefore becomes impossible, everyone being unconsciously convinced of his guilt. In La Société des Victimes, Guillaume Erner denounces a new moral order which is being established and confers on the victim an almost sacred status, since it becomes a “secularized version of martyrs and saints”.

Lévy (2004) recalled that psychiatry seems to think that psychological disorders resulting from certain offenses are perfectly compatible with normal personalities. Thus, “it is considered that the absence of any visible sign of trauma not only does not exclude the crime, but in some cases, may constitute an additional indication of its reality. This is Edgar Hoover’s idea, as legend has it: after being tapped, if the wiretaps confirmed suspicions, individuals were classified as “subversive”, whereas if the wiretaps were inconclusive, they were classified as “subversive malicious”.

We are a long way from the time when Voltaire could claim to prefer having a guilty man in nature than having an innocent man in prison, demanding the lowest possible first hope error rate. By placing the victim at the centre of justice, we are now asking for a zero second species error rate. This amounts to denying the presumption of innocence: “guilty until proven innocent”, relying abusively on the sacrosanct “precautionary principle”.

The precautionary principle is also a risk

It is now clear that the precautionary principle has set a new standard for judging responsibility and extended its ethical space. As François Ewald noted, “the one who introduces the risk must foresee it”. By not taking sufficient precaution, in particular abstention, he can be held responsible. In the name of this principle, certain festive events are canceled, as reported by La Voix du Nord and France 3 during the cancellation of (major) sales last September. The precautionary principle frightens decision-makers and imposes an inertia, an unlimited conservative. Perhaps it is time to be more cautious in applying this principle.

Bachelard, G. 1927, Essai sur la connaissance approchée, Vrin.

Erner, G. 2006. La Société des victimes, La Découverte.

Ewald, F. Gollier, C. et de Sadeleer, N. 2009, Le principe de précaution, Que sais-je ?

Flückiger, A. 2003. La preuve juridique à l’épreuve du principe de précaution. Revue Européenne des Sciences Sociales, 41, 107-127.

France 3. 2016. Lille : après la braderie, le semi-marathon et le 10 km annulés http://bit.ly/2dpU8eY

Hunyadi, M. 2004. La logique du raisonnement de précaution. Revue Européenne des Sciences Sociales, 42, 9-33.

La Voix du Nord, 2016. Le principe de précaution appliqué à la lettre à la braderie du centre http://bit.ly/2dVE6tS

Le Monde, 2016. Interner tous les djihadistes présumés « fichés S », le retour d’une proposition inapplicable. 14 juin 2016, http://bit.ly/2c9zHF4

Lévy, T. 2004. Éloge de la barbarie judiciaire, Odile Jacob.

Libération, 2015. Les perquisitions, « un principe de précaution ». 19 novembre 2015, http://bit.ly/2cQfxhY

Rechtmann, R. 2005. « Du traumatisme à la victime », in D. Fassin et P. Bourdelais (dir.), Les Constructions de l’intolérable. Études d’anthropologie et d’histoire sur les frontières de l’espace moral, La Découverte.

Van den Belt, H. 2003. Debating the Precautionary Principle: “Guilty until Proven Innocent” or “Innocent until Proven Guilty”? Plant Physiology, 132(3), 1122–1126.

Voltaire, 1747. Zadig ou la destinée.

 

Machines, procedures and avoiding responsibility

Some people are trying to make us believe that artificial intelligence is a “revolution”. What if it wasn’t? Can we not simply see the logic of a process that goes back at least fifty years ago? Bureaucracy has pushed us to put in place simple procedures in all areas of everyday life, allowing everyone to avoid any responsibility, to no longer have to think and to be smart. Algorithms are scary, we wonder where the “human” is in these decision-making procedures… What if he had already disappeared long ago?

Continue reading Machines, procedures and avoiding responsibility

Can predictive models be fair?

In Nosedive the first episode of season 3 of the television series Black Mirror, we discover the dystopia of a society governed by a “personal rating”, a score, a score ranging from 0 to 5. In this world, each person rates the others, the best rated having access to better services (priority in services, better rates, better prices, etc). Will this tendency to construct scores in all sorts of fields (historically on credits but today on criminal, even civic aspects in some countries) not lead to a world that would be an endless popularity contest? And how would it be compatible with social justice, a priori desirable?

Credit scores and social networks

A credit score is, from an actuarial point of view, a quantity proportional to the probability of not honouring its commitments as a creditor. It may also be able to pay the due dates for three consecutive months, or just be late. In real life, as always, it’s a little more complicated. In the United States or Great Britain, it is not uncommon for students to go into debt for decades in order to have the opportunity to follow the courses that interest them (even if the motivation is mainly to obtain a degree at the end of the course). But above all, as soon as they reach the age of 18, credit rating companies will monitor all their movements. Often without their knowledge. And if one day, a consumer credit or mortgage is refused, the reasons are never motivated. Is it a delay in paying rent? Forgotten library fines? An unpaid water bill, years old?

Credit rating companies in the United States, but also in China, are beginning to explore the use of social media data to improve credit scores. Can’t counting the number of times a user uses the word “wasted” in what they post online reveal information about debt repayment? This is at least what the American credit analyst FICO claims: “If you look at how many times a person says’wasted’ in their profile, it has some value in predicting whether they’re going to repay their debt (…) It’s not much, but it’s more than zero” (quoted in McLannahan (2015)). In China, peer-to-peer lender Jubao revealed that he was more likely to give “bonuses” to borrowers if they were Facebook friends with celebrities, as Botsman (2017) tells us.

For the moment, credit rating companies still use the data they know well (utility bills and credit cards), but they imagine that a lot of interesting information must be accessible (in one way or another) on social networks. But data are still scarce, and difficult to analyze. What about the sarcastic or humorous component in a tweet using the word “wasted”? As is often the case, the difficulty is that truly relevant data are difficult to obtain. If it is possible to have information on the payment of rent when a tenant goes through an agency, what to do for transactions between two individuals? And if that were possible, how would you handle the roommate case? Not getting credit because a former roommate didn’t pay on time becomes disturbing. All the more so if it is perhaps about a cellular telephone bill claimed abusively by the telephone company, whereas the subscription had been cancelled.

But the big “malus” in the credit score is often the fact of never having had a credit card. One might think that a person who did not need a credit card (and was satisfied with a debit card, allowing him to buy from a merchant, like most bank cards in France) is a prudent person, who does not need credit for daily expenses. But for credit institutions, this person is not reliable because we don’t know him. And it is up to it to prove that it is (we return to the recurrent practice of reversing the burden of proof mentioned in Charpentier(2016)). This is strangely what happens today when you want to enter the American soil without having a Facebook page.

In a world of widespread surveillance

What if credit institutions aren’t the only ones interested in our lives? What would a world be if, in addition to knowing if I pay my bills on time, some people wanted to know about my networks of friends, which newspapers I read, whether I prefer to buy whole milk or semi-skimmed milk? When we visit the Stasi Museum in Berlin, we discover that this world existed, that 1 person out of 63 was an agent (or indicator) of the Stasi (counting the occasional indicators, the proportion can reach one person out of 6). The museum describes a total panoptism, each being observed permanently, as described by Foucault (1975). But doesn’t this nightmare correspond to today’s world of permanent surveillance, more or less consented. Surveillance via cellular phones (geolocation for the most common function, but sometimes also audio recordings without the user’s knowledge by certain applications), via connected objects, but also surveillance cameras coupled with increasingly powerful facial recognition algorithms. At the end of 2017, 170 million cameras were installed in China, and the 300 million mark should be reached by 2020. During an experiment attempted by the BBC[1], it took 7 minutes to find the journalist John Sudworth walking in the streets.

The danger is that you never know who’s in control. More and more private security companies have partnered with governments. Email providers read our messages to detect spam, but also to resell certain information. For example, in the Privacy Policy attached to Gmail’s Terms of Use (Google) we read “Our automated systems analyze your content (including email) to provide you with custom product features, such as (…) custom advertising. Insurers are increasingly considering the installation of GPS boxes in cars, but through external service providers. Beyond the ownership of data (mentioned in Charpentier & Suire (2016)) we can wonder about their resale, and their use. Knowing that someone regularly visits a blood transfusion centre is potentially interesting information, especially coupled with others.

Since 2014, the Chinese government has been working on an evaluation system for its own citizens, scheduled to be implemented in 2020, as Trujillo (2017) tells us. This “social credit system” aims to create a “citizen score” (to use the expression of Galeon & Bergan (2017)), in order to predict and prevent potential dangers, normalizing individual behaviour through panoptic devices (e.g. video surveillance), inducing self-defence and self-control reflexes. As Foucault (1975) said, it is a question of “ensuring that surveillance is permanent in its effects, even if it is discontinuous in its action; that the perfection of power tends to make the topicality of its exercise useless” (even today, it is more and more continuous in its action). Some of these scores are used by police to find out where to patrol to reduce crime, such as PredPol. But when we look more closely, the predictions say, in substance, that the crimes will take place (in majority) in the (historically) most criminogenic areas of the city. The boundary between banality and tautology is narrow. And the real danger is that scores often transform probabilities into near-certainties, and suspicion becomes proof, as Supiot (2015) noted.

Predictive justice and actuarial methods

In June 2010, a report from the Academy of Medicine called for “improving the practice of expert sex offender dangerousness by teaching and disseminating actuarial methods. These “actuarial methods” are quite simply scoring techniques, “profiling” as defined in the European regulation on personal data of 27 April 2016 (RGDP). Angèle Christin was interested in algorithms that estimate the probability of recidivism in the American criminal justice system. As she has shown, these techniques raise many questions, particularly discriminatory biases, the opacity that makes recourse difficult, and especially the difficulty of understanding what is actually calculated. In the State of Virginia, a score between 1 and 10 is returned, an agreement taken over by Compas (Correctional Offender Management Profiling Alternative Sanctions) which also offers a colour code that predicts the risk of violent recidivism. It is then a decision-making tool, a machine that cannot place a person in detention alone (Christin et al. (2015)).

The conclusions of a predictive score depend on two key elements: the model used, and the data. In the majority of cases in the United States, model codes remain opaque (and therefore impossible to attack), and few have seen the data used to calibrate these models. But one can ask oneself if the court decisions are not also relatively opaque? Judges must certainly give reasons for their decisions, which makes them open to criticism and attack, but if the process were so transparent, shouldn’t the outcome of a (human) trial then be more predictable? Finally, the different biases are quite simple to understand. Suppose being rich means having a good lawyer, and having a good lawyer means not having certain convictions. In this case, a wealth variable (the type of vehicle owned for example) will be positively related to not being guilty (convicted coupagle), and will lower the dangerousness score. The other danger in selection biases is that they are sometimes complex to understand, even paradoxical. A classic example is shown in Figure 1. During World War II, engineers and statisticians were asked how to reinforce bombers who were facing enemy fire.

Figure 1: Damaged locations of returned aircraft (source: McGeddon 2016)

Statistician Abraham Wald began collecting data on impacts in the cabin, as reported by Mangel & Samaniego (1984). To everyone’s surprise, he recommended shielding the areas of the aircraft that showed the least damage. Indeed, the aircraft used in the sample had a significant bias: only returned aircraft were taken into account. If they were able to return with holes at the tips of the wings, it is because these parts are sufficiently solid. And since no aircraft returned with holes in the propeller engines, these were the parts that needed to be reinforced.

Another danger is where causal relationships are reversed. What about this doctor who prescribes a powerful neuroleptic to a patient under investigation, lest justice reproach him for not having seen the dangerousness of his patient, and conversely, justice relies on this prescription to prove that the patient is dangerous? A poorly designed algorithm could misunderstand the meaning of causal relationships.

But predictive models in judicial matters are not only on the side of judges. In the event of a road traffic accident, the Badinter Act (of 5 July 1985) provides for a “right to compensation” for any victim of a traffic accident involving a land motor vehicle. When the driver’s insurance company offers compensation, the victim makes a quick cost/benefit analysis to find out if he goes to court. If it does not formally construct a predictive model, it tries to see, from some elements to its knowledge, the costs of asking a judge to decide on the amount of compensation, and its (potential) benefits.

Another important point is that lawyers call these “predictive” models “actuarial” models. The first function of actuaries was to discount, to calculate the value of time. And judicial time often has disastrous consequences. How would a human decision, imperfect, taken after 5 years of procedure be “better” than an automatic decision taken in 15 days by a machine? Many people who have known proceedings of several years, resulting in a dismissal, dream of accelerated procedures. Because “lost time” has a value, actuaries know it well.

What then of this efficiency of algorithmic models? Justice must be effective, but this constraint must not make us forget the central objective, which is to render justice. What happens if efficiency becomes an objective, not to say the main objective? This is the question posed by predictive models: what is the objective that we are trying to maximize? And how is it formulated in a simple way?

Decision support, or justification for decision making?

In the United States, many judges have been accused of motivating a judgment using decision support tools, which leaves some doubt as to the real function of these tools. The original idea was to help. Recently, several systems put in place in the past years have been questioned. For example, in Australia, the STMP (Suspect Targeting Management Plan) proposed to identify whether or not pre-adolescents should be monitored. This model is similar to any actuarial model, i.e. a risk assessment and prediction tool, focusing either on repeat offenders or on those suspected of committing a future crime. However, a recent report showed that its use had “no observable impact on crime prevention” [2]. At the same time in the United States, Compas (Correctional Offender Management Profiling Alternative Sanctions) has been criticized in Dressel & Farid (2017) : “Advocates of these systems argue that data and advanced automated learning make these analyses more accurate and less biased than those of humans. However, we show that the widely used Compas risk assessment software is no more accurate or fair than predictions made by people with little or no criminal justice expertise. By questioning people recruited on the Internet, without legal skills, it was a question of predicting whether or not people would commit another crime within the next two years. Compas was wrong in 34.8% of cases, and Internet users in 33% of cases. That said, one may wonder here what “to be wrong” means. In this case, recidivism is not measured here, but conviction for recidivism. What if the models (or the people) hadn’t been wrong, but the judges, on the other hand, had?

Predict and make mistakes

And if one of the worries did not come in what one asks a predictive tool? To predict is (basically) to establish a probability for a future fact. As was pointed out in a debate on polls and elections, can we say that we are wrong if we announce that an event can happen with a 5% chance, and that it actually happens? To know if a forecasting technique is good, you need to collect a forecast set, and compare them to observations. This is what meteorologists have been doing for about fifteen years, and which has been formalised by Gneiting et al. (2007). Their idea is that a set of predictive distributions is obtained by a \{\hat F_t,\hat F_{t+1},..,\hat F_{t+h}\} model and it is appropriate to compare these distributions to \{y_t,y_{t+1},..,y_{t+h}\} – and not \{\hat y_t,\hat y_{t+1},..,\hat y_{t+h}\}. It is then necessary to introduce a distance between the predictive distributions, and the observations. In a physical system, it is possible to imagine understanding the different causal relationships, and thus to predict. But in human relations (and justice is a perfect example), nothing is as simple, as automatic as the laws of fluid mechanics that make it possible to model meteorological phenomena.

Références

Binet, Jacques-Louis, 2010, La prévention médicale de la récidive chez les délinquants sexuels. Académie de Médecine.

Botsman, Rachel. 2017. Who Can You Trust?: How Technology Brought Us Together – and Why It Could Drive Us Apart. Portfolio Penguin

Charpentier, Arthur & Suire, Raphaël 2016. Données et santé: valeurs, acteurs et santé. Risques, 107

Charpentier, Arthur. 2016. Les dérives du principe de précaution. Risques. 108

Christin, Agnèle, Rosenblat, Alex & Boyd, Danah 2015. Courts and Predictive Algorithms. Datacivilrights

Dressel, Julie & Farid, Hany 2018. The accuracy, fairness, and limits of predicting recidivism. Science Adavances

Foucault, Michel 1975 Surveiller et punir, naissance de la prison. Gallimard

Galeon, Dom & Bergan, Brad 2017. China’s “Social Credit System” Will Rate How Valuable You Are as a Human. Futurism

Gneiting, Balabdaoui & Raftery 2007. Probabilistic forecasts, calibration and sharpness. JRRS-B, 69, 243–268.

Mangel, Marc & Samaniego, Francisco 1984.  Abraham Wald’s work on aircraft survivability , Journal of the American Statistical Association, vol. 79, no 386,‎ 259–267

McLannahan, 2015 Being ‘wasted’ on Facebook may damage your credit score (Octobre 2015, Financial Times)

Supiot, Alain 2015. La gouvernance par les nombres : cours au Collège de France, 2012-2014. Fayard.

Trujillo, Elsa 2017. La Chine met en place un système de notation de ses citoyens pour 2020. Le Figaro, décembre 2017

[1] In « In Your Face: China’s all-seeing state » http://www.bbc.com/news/av/world-asia-china-42248056/in-your-face-china-s-all-seeing-state

[2] https://www.numerama.com/politique/300907-un-algorithme-teste-par-la-police-pour-anticiper-les-crimes-des-jeunes-inquiete-laustralie.html

 

 

Les machines, les procédures, et la fuite de la responsabilité

On essaye de nous faire croire que l’intelligence artificielle est une « révolution ». Et s’il n’en était rien ? Ne peut-on pas voir tout simplement la logique d’un processus qui remonte au moins aux cinquante dernières années ? La bureaucratie nous a poussés à mettre en place dans tous les domaines de la vie de tous les jours des procédures simples, permettant à tout-à-chacun de se dégager de toute responsabilité, de ne plus avoir à faire preuve d’intelligence. Les algorithmes font peur, on se demande où se trouve l’ « humain » dans ces procédures décisionnelles… Et s’il avait déjà disparu depuis bien longtemps ?

Continue reading Les machines, les procédures, et la fuite de la responsabilité

Les modèles prédictifs peuvent-il être justes ?

Dans Nosedive (traduit par le titre Chute Libre en France), le premier épisode de la saison 3 de la série télévisée Black Mirror, on découvre la dystopie d’une une société régie par une « cote personnelle », une note, un score allant de 0 à 5. Dans ce monde, chaque personne note les autres, les mieux notés ayant accès à de meilleurs services (priorité dans les services, meilleurs taux, meilleurs prix, etc). Cette tendance à construire des scores dans toutes sortes de domaines (historiquement sur les crédits mais aujourd’hui sur des aspects criminels, voire civiques dans certains pays) ne va-t-elle pas déboucher sur un monde qui serait un concours de popularité sans fin ? Et comment serait-elle conciliable avec une justice sociale, a priori souhaitable ?

Les scores de crédit et les réseaux sociaux

Un score de crédit est, d’un point de vue actuariel, une grandeur proportionnelle à la probabilité de ne pas honorer ses engagements en tant que créditeur. Ça peut être de plus pouvoir payer les échéances trois mois consécutifs, ou juste d’avoir un retard. Dans la vraie vie, comme toujours, c’est un peu plus compliqué. Aux Etats-Unis ou en Grande Bretagne, il n’est pas rare que les étudiants s’endettent sur des dizaines d’années pour avoir l’opportunité de suivre les cours qui les intéressent (même si la motivation est surtout d’obtenir un diplôme en fin de parcours). Mais surtout, dès qu’ils atteignent d’âge de 18 ans, des sociétés de notation de crédit vont surveiller tous leurs déplacements. Souvent à leur insu. Et si un jour, un crédit consommation ou hypothécaire est refusé, les raisons ne sont jamais motivées. Est-ce un retard dans un paiement de loyer ? Des amendes de bibliothèques oubliées ? Une facture d’eau impayée, vieille de plusieurs années ?

Les sociétés de notation de crédit aux États-Unis, mais aussi en Chine, commencent à étudier la possibilité d’utiliser des données provenant de médias sociaux pour améliorer le score de crédit. Compter le nombre de fois où un utilisateur utilise le mot « gaspillé » (« wasted » en anglais) dans ce qu’il poste en ligne ne peut-il pas révéler une information quant au remboursement de dettes ? C’est en tout cas ce que prétend l’analyste de crédit américain FICO: « If you look at how many times a person says ‘wasted’ in their profile, it has some value in predicting whether they’re going to repay their debt (…) It’s not much, but it’s more than zero » (cité dans McLannahan (2015)). En Chine, le prêteur peer-to-peer Jubao a révélé qu’il était plus susceptible de donner des « bonus » aux emprunteurs s’ils étaient des amis Facebook avec des célébrités, tel que le raconte Botsman (2017).

Pour l’instant, les sociétés de notation de crédit utilisent encore les données qu’elles connaissent bien (factures de services publics et cartes de crédit), mais elles imaginent que bien des informations intéressantes doivent être accessibles (d’une manière ou une autre) sur les réseaux sociaux. Mais les données sont encore rares, et difficiles à analyser. Quid de la composante sarcastique ou humoristique dans un tweet utilisant le mot « wasted » ? Comme souvent, la difficulté est que les données réellement pertinentes sont difficiles à obtenir. S’il est possible d’avoir des informations sur le payement du loyer quand un locataire passe par une agence, que faire pour les transactions entre deux particuliers ? Et si c’était possible, comment traiter le cas de colocataires ? Ne pas obtenir de crédit parce qu’un ancien colocataire n’a pas payé dans les temps devient dérangeant. D’autant plus s’il s’agit peut-être d’une facture de téléphone cellulaire réclamée abusivement par la compagnie de téléphonie, alors que l’abonnement avait été résilié.

Mais le gros « malus » dans le score de crédit est bien souvent le fait de ne jamais avoir eu de carte de crédit. On pourrait penser qu’une personne qui n’a pas eu besoin d’une carte de crédit (et se contentait d’une carte de débit, permettant d’acheter chez un commerçant, comme la majorité des cartes bancaires en France) est le propre d’une personne prudente, qui n’a pas besoin de crédit pour des dépenses quotidiennes. Mais pour les établissements de crédit, cette personne n’est pas fiable car on ne la connait pas. Et c’est à elle de prouver qu’elle l’est (on revient à la pratique récurrente d’inversion de la charge de la preuve évoqué dans Charpentier(2016)). C’est étrangement ce qui se passe aujourd’hui quand on veut entrer sur le sol américain sans avoir de page Facebook.

Dans un monde de surveillance généralisée

Et si les établissements de crédit n’étaient pas les seuls intéressés par notre vie ? Que serait un monde si, en plus de savoir si je paye mes factures à temps, certains cherchaient à connaître mes réseaux d’amis, à savoir quels journaux je lis, si je préfère acheter du lait entier ou du lait demi-écrémé ? Quand on visite le musée de la Stasi à Berlin, on découvre ce monde a existé, que 1 personne sur 63 était agent (ou indicateur) de la Stasi (en comptant les indicateurs occasionnels, la proportion peut atteindre une personne sur 6). Le musée décrit un panoptisme total, chacun étant observé en permanence, comme le décrit Foucault (1975). Mais ce cauchemar ne correspond-il pas à monde actuel, de surveillance permanente, plus ou moins consentie. Surveillance via les téléphones cellulaires (géolocalisation pour la fonction la plus courante, mais parfois aussi des enregistrements audio à l’insu de l’utilisateur par certaines applications), via les objets connectés, mais aussi les caméras de surveillance couplées à des algorithmes de reconnaissance faciale de plus en plus performant. Fin 2017, en Chine 170 millions de caméra étaient installées, et le cap des 300 millions devrait être atteint d’ici 2020. Lors d’une expérience tentée par la BBC[1], il a fallu 7 minutes pour retrouver le journaliste John Sudworth qui se promenait dans les rues.

Le danger est que l’on ne sait jamais trop qui contrôle. De plus en plus de compagnies privées de sécurité se sont associées aux gouvernements. Les fournisseurs de messageries électroniques lisent nos messages pour détecter du spam, mais aussi pour revendre certaines informations. Par exemple, dans les règles de confidentialité annexées aux conditions générales d’utilisation de Gmail (Google) on lit « Nos systèmes automatisés analysent vos contenus (y compris les e-mails) afin de vous proposer des fonctionnalités personnalisées sur les produits, telles que (…) des publicités sur mesure ». Les assureurs envisagent de plus de plus l’installation de boitiers GPS dans les voitures, mais en passant par des prestataires externes. Au-delà de la propriété des données (évoqué dans Charpentier & Suire (2016)) on peut s’interroger sur leur revente, et leur utilisation. Savoir que quelqu’un se rend régulièrement dans un centre de transfusion sanguine est une information potentiellement intéressante, surtout couplée à d’autres.

Depuis 2014, le gouvernement chinois travaille sur un système d’évaluation de ses propres citoyens, programmé pour être mis en place en 2020, comme le raconte Trujillo (2017). Ce « système de crédit social » vise à créer un « score citoyen » (pour reprendre l’expression de Galeon & Bergan (2017)), afin de prédire, et prévenir, les dangers potentiels, normalisant les conduites individuelles par des dispositifs panoptiques (par exemple la vidésurveillance), induisant des réflexes d’autodéfense et d’autocontrôle.  Comme le disait Foucault (1975), il s’agit de « faire que la surveillance soit permanente dans ses effets, même si elle est discontinue dans son action; que la perfection du pouvoir tende à rendre inutile l’actualité de son exercice » (même souvent, aujourd’hui, elle est en plus continue dans son action). Certains de ces scores sont utilisés par la police pour savoir où patrouiller pour faire baisser la criminalité, comme PredPol. Mais quand on y regarde de plus près, les prédictions disent, en substance, que les crimes auront lieu (en majorité) dans les zones (historiquement) les plus criminogènes de la ville. La frontière entre la banalité et la tautologie est étroite. Et le réel danger est que bien souvent, les scores transforment les probabilités en quasi-certitudes, et le soupçon devient une preuve, comme le notait Supiot (2015).

Justice prédictive et méthodes actuarielles

En juin 2010, un rapport de l’Académie de médecine préconisait d”« améliorer la pratique des expertises de dangerosité des criminels sexuels en enseignant et en diffusant les méthodes actuarielles ». Ces « méthodes actuarielles » sont tout simplement les techniques de scoring, de « profilage » tel que le défini le règlement européen relatif aux données personnelles du 27 avril 2016 (RGDP). Angèle Christin s’est intéressée aux algorithmes qui estiment la probabilité de récidive dans la justice pénale américaine. Comme elle l’a montré, ces techniques posent nombre de questions, en particulier des biais discriminatoires, l’opacité qui rend difficile les recours, et surtout la difficulté de comprendre ce qui est réellement calculé. Dans l’État de Virginie, un score entre 1 et 10 est renvoyé, convention reprise par Compas (Correctional Offender Management Profiling Alternative Sanctions ) qui offre en plus un code couleur qui prédit le risque de récidive violent. Il s’agit alors d’un outil d’aide à la décision, une machine ne pouvant placer une personne en détention seule (Christin et al. (2015)).

Les conclusions d’un score prédictif dépendent de deux éléments clés : le modèle utilisé, et les données. Dans la majorité des cas aux Etats Unis, les codes des modèles restent opaques (et donc impossible à attaquer), et rares sont ceux qui ont vu les données utilisées pour calibrer ces modèles. Mais on peut se demander si les décisions de justice ne sont pas eux aussi relativement opaques ? Certes, les juges doivent motiver leurs décisions, ce qui les rend critiquables et attaquables, mais si le processus était si transparent, les issues d’un procès (humains) ne devraient-elles pas être alors davantage prévisibles ? Enfin, les différents biais sont assez simples à comprendre. Supposons qu’être riche permet d’avoir un bon avocat, et avoir un bon avocat permet de ne pas avoir certaines condamnations. Dans ce cas, une variable liée à la richesse (le type de véhicule possédé par exemple) sera liée positivement avec le fait de ne pas être coupable (reconnu coupagle), et fera baisser le score de dangerosité. L’autre danger dans les biais de sélection est qu’ils sont parfois complexes à comprendre, voire paradoxaux. Un exemple classique est celui illustré sur la Figure 1. Pendant la seconde guerre mondiale, il a été demandé à des ingénieurs et des statisticiens comment renforcer les bombardiers qui faisaient face au feu ennemi.

Figure1 : Endroits endommagés des avions revenus (source : McGeddon 2016)

Le statisticien Abraham Wald a commencé à collecter des données sur les impacts dans la carlingue, comme le raconte Mangel & Samaniego (1984). A la surprise générale, il a recommandé de blinder les endroits des appareils qui présentaient le moins de dommages. En effet, les avions utilisés dans l’échantillon présentait un biais important : seuls les avions revenus ont été pris en compte. S’ils ont pu revenir avec des trous au bout des ailes, c’est que ces parties sont suffisamment solides. Et comme aucun avion n’est revenu avec des trous au niveau des moteurs des hélices, ce sont ces parties qu’il convenait de renforcer.

Un autre danger est celui où les relations causales sont inversées. Que penser de ce médecin qui prescrit un puissant neuroleptique à un patient mis en examen, de peur que la justice lui reproche de ne pas avoir vu la dangerosité de son patient, et qu’inversement, la justice s’appuie sur cette prescription pour prouver que le patient est dangereux ? Un algorithme mal conçu pourrait comprendre de travers le sens des relations causales.

Mais les modèles prédictifs en matière judiciaire ne sont pas que du côté des juges. Lors d’un accident corporel sur la route, la loi Badinter  (du 5 juillet 1985) prévoit un « droit à indemnisation » pour toute victime d’un accident de la circulation dans lequel est impliqué un véhicule terrestre à moteur. Lorsque la compagnie d’assurance du conducteur propose une indemnité, la victime fait une rapide analyse coût/bénéfice pour savoir s’il va au tribunal. Si elle ne construit pas formellement un modèle prédictif, elle tente de voir, à partir de quelques éléments à sa connaissance, les coûts de demander à un juge de trancher sur le montant de l’indemnité, et ses bénéfices (potentiels).

Autre point important, les juristes appellent ces modèles « prédictifs » des modèles « actuariels ». Or la première fonction des actuaires était d’actualiser, de calculer la valeur du temps. Et le temps judiciaire a des conséquences souvent désastreuses. En quoi une décision humaine, imparfaite, prise au bout de 5 ans de procédure serait « meilleure » qu’une décision automatique prise en 15 jours par une machine ? Nombre de personnes qui ont connu des procédures de plusieurs années, aboutissant à un non-lieu, rêvent de procédures accélérées. Car le « temps perdu » a une valeur, les actuaires le savent bien.

Que penser alors de cette efficacité des modèles algorithmiques ? La justice se doit d’être efficace, mais cette contrainte ne doit pas faire oublier l’objectif central qui est celui de rendre la justice. Que se passe-t-il si l’efficacité devient un objectif, pour ne pas dire le principal objectif ? Car c’est bien la question que posent les modèles prédictifs : quel est l’objectif que l’on cherche à maximiser ? Et comment le formule-t-on de manière simple ?

Aide à la décision, ou justification d’une prise de décision

Aux Etats-Unis, nombre de juges se sont vu reproché de motiver un jugement à l’aide d’outils d’aide à la décision, ce qui laisse planer un doute sur la fonction réelle de ces outils. L’idée était initialement d’apporter une aide. Récemment, plusieurs systèmes mis en place dans les années passées ont été questionnés. Par exemple en Australie, le STMP (Suspect Targeting Management Plan) proposait d’identifier si des préadolescents doivent être surveillés, ou pas. Ce modèle ressemble à s’y méprendre à n’importe quel modèle actuariel, c’est à dire un outil d’évaluation et prédiction des risques, en se concentrant soit sur les récidivistes, soit sur les personnes suspectées de commettre un futur crime. Or un rapport récent montrait que son utilisation n’a eu « aucun impact observable sur la prévention du crime »[2]. Parallèlement aux Etats-Unis, l’outil Compas (Correctional Offender Management Profiling Alternative Sanctions) a été critiqué dans Dressel & Farid (2017) : « Les défenseurs de ces systèmes soutiennent que les données et l’apprentissage automatique avancé rendent ces analyses plus précises et moins biaisées que celles des humains. Cependant, nous montrons que le logiciel d’évaluation des risques Compas, largement utilisé, n’est pas plus précis ou juste que des prédictions faites par des personnes qui ont peu ou pas du tout d’expertise en matière de justice pénale ». En questionnant des personnes recrutées sur Internet, sans compétences en droit, il s’agissait de prévoir si des personnes allaient, ou pas commettre un autre crime dans les deux ans à venir. Compas s’est trompé dans 34.8% des cas, et les internautes dans 33% des cas. Cela dit, on peut se demander ici ce que “se tromper” signifie. En l’occurrence, on ne mesure pas ici la récidive des personnes, mais la condamnation pour récidive des personnes. Et si les modèles (ou les gens) ne s’étaient pas trompés, mais que les juges, en revanche, oui ?

Prévoir, et se tromper

Et si un des soucis ne venait pas dans ce que l’on demande à un outil prédictif ? Prévoir, c’est (fondamentalement) établir une probabilité pour un fait futur. Comme cela avait été rappelé dans un débat sur les sondages et les élections, est-ce qu’on peut dire qu’on se trompe si on annonce qu’un événement peut se produire avec 5% de chances, et qu’il se produit effectivement ? Pour savoir si une technique de prévision est bonne, il faut collecter un ensemble de prévision, et les comparer aux observations. C’est ce que font les météorologues depuis une quinzaine d’années, et qui a été formalisé par Gneiting et al. (2007). Leur idée est qu’un ensemble de distributions prédictives est obtenu par un modèle \{\hat F_t,\hat F_{t+1},..,\hat F_{t+h}\} et il convient de comparer ces distributions aux observations \{y_t,y_{t+1},..,y_{t+h}\} – et non pas \{\hat y_t,\hat y_{t+1},..,\hat y_{t+h}\}. Il faut alors introduire une distance entre les distributions prédictives, et les observations. Dans un système physique, il est possible d’imaginer comprendre les différentes relations causales, et donc de prévoir. Mais dans les relations humaines (et la justice en est un exemple parfait), rien n’est aussi simple, aussi automatique que les lois de mécanique des fluides qui permettent de modéliser des phénomènes météorologiques.

Références

Binet, Jacques-Louis, 2010, La prévention médicale de la récidive chez les délinquants sexuels. Académie de Médecine.

Botsman, Rachel. 2017. Who Can You Trust?: How Technology Brought Us Together – and Why It Could Drive Us Apart. Portfolio Penguin

Charpentier, Arthur & Suire, Raphaël 2016. Données et santé: valeurs, acteurs et santé. Risques, 107

Charpentier, Arthur. 2016. Les dérives du principe de précaution. Risques. 108

Christin, Agnèle, Rosenblat, Alex & Boyd, Danah 2015. Courts and Predictive Algorithms. Datacivilrights

Dressel, Julie & Farid, Hany 2018. The accuracy, fairness, and limits of predicting recidivism. Science Adavances

Foucault, Michel 1975 Surveiller et punir, naissance de la prison. Gallimard

Galeon, Dom & Bergan, Brad 2017. China’s “Social Credit System” Will Rate How Valuable You Are as a Human. Futurism

Gneiting, Balabdaoui & Raftery 2007. Probabilistic forecasts, calibration and sharpness. JRRS-B, 69, 243–268.

Mangel, Marc & Samaniego, Francisco 1984.  Abraham Wald’s work on aircraft survivability , Journal of the American Statistical Association, vol. 79, no 386,‎ 259–267

McLannahan, 2015 Being ‘wasted’ on Facebook may damage your credit score (Octobre 2015, Financial Times)

Supiot, Alain 2015. La gouvernance par les nombres : cours au Collège de France, 2012-2014. Fayard.

Trujillo, Elsa 2017. La Chine met en place un système de notation de ses citoyens pour 2020. Le Figaro, décembre 2017

[1] Décrit dans « In Your Face: China’s all-seeing state » http://www.bbc.com/news/av/world-asia-china-42248056/in-your-face-china-s-all-seeing-state

[2] https://www.numerama.com/politique/300907-un-algorithme-teste-par-la-police-pour-anticiper-les-crimes-des-jeunes-inquiete-laustralie.html

Les marchés prédictifs comme technique de prévision

Les dernières élections présidentielles ont remis en avant l’importance des soudages, utilisés comme outils de prévision, même si les sondeurs s’en défendent. Comme l’ont dit Niels Bohr et Pierre Dac, « la prévision est difficile surtout lorsqu’elle concerne l’avenir », et des solutions alternatives ont été envisagées. Comme c’est la mode, le « big data » a été mentionné (deviner les intentions de vote à partir des tweets ou des informations publiées sur une page Facebook), mais les marchés prédictifs (et les sites de paris) ont aussi été largement utilisés. Mais est-il si simple d’utiliser les prix (ou les cotes) sur ces marchés prédictifs pour en déduire des probabilités ? Et peut-on vraiment les utiliser ?

Sur quoi parie-t-on ?

Comme le rappelle Rhode & Strumpf (2008) utiliser les paris pour connaître les croyances et donc les probabilités qu’un évènement se réalise n’est pas nouveau. Par exemple lors des élections papales au Vatican. En 1549, Matteo Dandolo c(ambassadeur de Vénitie) notait (raconté dans Baumgartner (2003)) que « it is therefore more than clear that the merchants are very well informed about the state of the poll, and that the Cardinals’ attendants in Conclave (i conclavisti) go partners with them in the wagers, which thus causes many tens of thousands of crowns to change hands ». Et les marchés de paris lors des élections ont été populaires aux Etats-Unis, jusqu’à la seconde guerre mondiale. Rhode & Strumpf (2008) avance plusieurs raisons pour la perte d’intérêt au cours de la seconde moitié du XXème siècle : les améliorations des techniques de sondages et la légalisation des paris sur chevaux (avec pour conséquence la disparition du marché illégal des paris).

Plus récemment, avec le développement des sites et donc d’un marché des paris, on a vu apparaître des paris (contrats vendus sur le marché en ligne intrade.com, liquidé en 2015) sur la survenance de tremblement de terre de magnitude dévastatrice (plus de 9 sur l’échelle de Richter), le vainqueur de la cérémonie des Oscars, la diminution de la couverture de la glace en Arctique entre deux années, ou encore l’observation du boson de Higgs. Polgreen et al. (2007) évoquent des paris sur la survenance d’épidémies de grippe. Un autre exemple – que l’on va détailler un peu – est celui du passage d’une loi sur l’énergie (et l’instauration de mesures contraignantes de limitation des émissions de gaz à effet de serre) aux Etats-Unis. Le titre permettant de toucher 1USD en cas d’adoption du projet de loi a été lancé en mai 2009. Le 26 juin 2009, la Chambre des Représentants a adopté (à une courte majorité) le projet de loi (avec pour objectif de réduire de 17 % d’ici à 2020 par rapport à 2005 et de 80 % d’ici à 2050 les émissions de CO2). A ce moment, le titre était échangé pour 50¢, comme le montre le Graphique 1. Il restait à faire approuver la loi par le Sénat. Six mois plus tard, en signant l’accord de la conférence de Copenhague en décembre 2009, les Etats-Unis s’étaient davantage engagés, et un an plus tard (début 2011), le Sénat serait renouvelé lors des élections de mi-mandat. Le gouvernement de Barack Obama espérait faire approuver la session “lame duck” du congrès, les élections de mi-mandat devant probablement renforcer la majorité Républicaine. Mais le jeudi 22 juillet, le chef de file Démocrate au Sénat Harry Reid a annoncé le retrait du projet de loi, faute de majorité pour l’approuver. Ce jour-là, le titre s’échangeait pour 10¢.

Figure 1 : Evolution du prix du passage du contrat sur le passage du ‘American Clean Energy and Security Act’ devant le Sénat (2009-2010)

Source : auteur, données Meng (2017)

Voir un prix comme une probabilité

Avant toutes choses, rappelons qu’une propriété fondamentale des probabilités est la somme des probabilités d’un évènement et de son complémentaire doivent sommer à un. C’est assez logique si les probabilités sont vues comme des « fréquences », correspondant au nombre de cas favorables sur le nombre de cas possibles. Cette interprétation devient plus délicate quand on imagine le cas de variables aléatoires continues, et un passage par la théorie de la mesure s’impose (en particulier pour admettre qu’un « évènement de probabilité nulle » puisse malgré tout survenir). Mais historiquement, d’autres définitions des probabilités avaient été proposées, en particulier par Jacques Bernoulli, qui avait introduit une notion de « probabilité morale » (comme le rappelle Johnson (2017)) que l’on verra réapparaître dans les travaux de de Finetti sous le nom de « probabilité subjective », ou à la même époque, dans les travaux de Frank Ramsey. Pour ce dernier, une probabilité mesure un degré de croyance – « a degree of belief », qui pouvait se mesurer au travers de paris – « through betting odds » – et les prix que les joueurs sont disposés à payer donnent une information quant à ces croyances. Il devient alors possible de déduire des probabilités à partir de prix.

L’idée n’était pas nouvelle, puisqu’elle avait été émise par dans Van Rekeningh in Spelen van Gelucken publié par Christiaan Huyghens en 1655 (en latin sous le titre ‘De Ratiociniis in Aleæ Ludo‘), et utilisée quelques années plus tard, en 1671 par Wilhelmina de Witt dans le contexte d’annuités. Le prix d’un contrat versant une rente jusqu’au décès pouvant être vu à comme une moyenne pondérée d’annuités (à maturité fixe), en observant les prix des différents contrats d’assurance, on pouvait extraire des probabilités interprétées comme des probabilités de survie. Ces mesures de probabilités n’étaient plus construites à partir de fréquences observées, mais construites à partir de prix historiques observés. On retrouvera cette idée en mathématique financière presque trois siècles plus tard, avec le théorème fondamental de valorisation, et les prix d’Arrow-Debreu. Cette littérature est riche et abondante (on peut renvoyer à Charpentier (2014)), mais il existe également des résultats moins connus, sur la création d’un consensus à partir de probabilités, et les applications pour les paris.

Travaillant sur le marché de pari hippique, Eisenberg & Gale (1959) ont obtenu des résultats relativement généraux, qui peuvent se formaliser ainsi : considérons un individu i\in\{1,2,\cdots,I\} qui a la possibilité de parier sur un cheval j\in\{1,2,\cdots,J\} lors d’une course. Chaque joueur possède une somme totale b_i (que l’on normalise de telle sorte que b_1+b_2+\cdots+b_I=1, et qu’il place la somme \beta_{i,j} sur le cheval . Ces montants vérifient la contrainte \beta_{i,1}+\cdots+\beta_{i,J}=b_i , et on note \pi_j la somme total placée sur le cheval j, de telle sorte que \beta_{1,j}+\cdots+\beta_{I,j}=\pi_j. Compte tenu de la contrainte de budget, notons que \pi_1+\cdots+\pi_J=1, de telle sorte que les montants \pi_j peuvent être interprétés comme des probabilités. Supposons maintenant que chaque joueur ait des croyances (que chaque cheval gagne) matérialisées par un vecteur de probabilités \mathbf{p}_i=(p_{i,1},\cdots,p_{i,J}). Eisenberg Gale (1959) définissent alors une situation d’équilibre, dès lors que si \beta_{i,j}>0 alors on doit avoir

p_{i,j}=\pi_j \cdot \max_s\left\{\frac{p_{i,s}}{\pi_s} \right\}" Il montre qu’un tel équilibre existe, et qu’il est unique. On retrouve ici un résultat connu en mathématique financières sous le nom de loi du prix unique, même si les croyances ne sont pas explicitement mentionnées. Et c’est ce résultat qui permet d’interpréter les prix sur un marché prédictif comme des probabilités.

En s’inspirant du modèle de Eisenberg Gale (1959), Manski (2005) obtient une interprétation sur un marché prédictif. Dans ces marchés, on ne peut pas parier sur un cheval dans une course, mais sur la survenance d’un évènement. Considérons un contrat offrant 1$ si un évènement A survient (élection d’un nouveau pape, départ d’un pays de la zone euro, etc), proposé au prix \pi_A. S’il existe un contrat sur l’évènement complémentaire \bar A (on va supposer ici que c’est le cas), il devrait être proposé au prix \pi_{\bar A}=1-\pi_A, sinon un arbitrage serait possible[i]. Considérons maintenant un agent i croyant avec probabilité [lap_i>\pi_A, cette personne a intérêt à investir tout son argent pour acheter son titre, sinon, il a intérêt à investir dans l’autre titre, associé à \bar A. Au niveau agrégé la demande pour les titres de type A et \bar A sera respectivement

\frac{1}{\pi_A}\sum_i b_i P(p_i>\pi_A) et
<br /> \frac{1}{\pi_{\bar A}}\sum_i b_i P[p_i<\pi_A] et on aura un équilibre si \sum_i b_i=\frac{1}{\pi_A}\sum_i b_iP[p_i>\pi_A]=\frac{1}{\pi_{\bar A}}\sum_i b_iP[p_i<\pi_A]Si on suppose que les croyances (p_i) et les richesses (b_i) sont indépendantes, on peut interpréter les prix \pi_A et \pi_{\bar A} comme des probabilités, \pi_{A}=P[p_i>\pi_A] et \pi_{\bar A}=P[p_i<\pi_A] si les agents sont homogènes. Wolfers & Zitzewitz (2007) propose une interprétation différente, plus économique, dans le contexte d’agents ayant une utilité logarithmique.

Marché et pari en ligne

La situation que nous venons de décrire est celle d’un marché parfait, où un équilibre se fait entre les parieurs, et cet équilibre donne des prix interprétables comme des probabilités de gain (on parle éventuellement de « pari mutuel »). Mais la pratique des paris en ligne est souvent différente, car les prix sont proposés par un bookmaker. Comme le nom l’indique, ces personnes – à la base – enregistrent les paiements, mais en pratique, ce sont aussi eux qui fixent les prix. Par exemple lors des dernières élections présidentielles en France, plusieurs sites proposaient de parier sur l’issue du second tour.

Tableau 1 : côtes lors des élections présidentielles de 2017

côtes (sites de paris en ligne) Intention de votes (instituts de sondage)
bet365 comeon betsafe FT Bloomberg BBC
Macron 1/8 1/8 1/7 64% 60.5% 61%
Le Pen 5/1 9/2 9/2 36% 39.5% 39%

Source : http://www.onlinebettingsites.com/2017-french-election/ (données fin avril 2017)

Comme le montre le Tableau 1, les côtes offertes par les bookmakers sont différentes entre les sites de paris. Une cote de 1/8 signifie qu’en pariant 8€, mon gain net sera de 1€ si le candidat l’emporte le jour de l’élection (et je perds ma mise si le candidat perd). La « probabilité » associée est ici \pi_{A}=8/9\sim88.89\% pour E. Macron (mon gain brut étant de 9/8€ pour 1€ misé) et \pi_{\bar A}=1/6\sim16.67\%. Le soucis – on retrouve ici la discussion initié par Jacques Bernoulli – est que ces « probabilités » ne somment pas à 1, puisque 8/9+1/6\sim1.055\%. La différence vient du fait qu’il ne s’agit pas un « juste » prix, le bookmaker s’assurant un rendement certain (de l’ordre de 5,5% de la mise initiale, quel que soit le site choisi). Les vraies probabilités induites par ces cotes sont ici respectivement \pi_A=16/19\sim 84.2\% et \pi_{\bar A}=3/19\sim 15.8\%. Les sites de paris en ligne donneraient une probabilité de gain pour Emmanuel Macron de 84%, alors que les sondages indiquent une intention de vote de 62%, pour les instituts de sondage.

A-t-on réellement une probabilité, ou une fourchette ?

On le voit, les grandeurs données ne sont pas identiques, l’une indiquant une croyance sur une probabilité de gagner, et l’autre une proportion de votes que devrait avoir un candidat. Dans le modèle de Manski, les probabilités induites par la moyenne des croyances et les prix coïncident si on suppose que les agents ont une utilité logarithmique. Comme le montre Wolfers & Zitzewitz (2006), si on suppose que les agents ont une aversion au risque, ça ne sera plus le cas. En particulier, l’article suggère de considérer des bornes pour \pi_A de la forme [\pi_{A}^2,2\pi_A-\pi_A^2, représentées sur la Figure 2, où est appelé « prix de marché » pour reprendre une notation proche de la Figure 1.

Figure 2 : Bornes sur les croyances moyennes

Faut-il utiliser les prédictions des marchés prédictifs ?

On l’a vu lors de la dernière élection en France, beaucoup s’interrogent sur la place pris par les sondages, en particulier en notant qu’il ne s’agissait pas d’une photographie neutre, mais que les électeurs pouvaient choisir leur candidat précisément à la lecture des sondages (la fameuse théorie du « vote utile » en particulier). Le danger à utiliser les marchés prédictifs comme outils de prévision est que ces dangers sont manipulables, comme l’a montré Schröder (2008). Un autre danger – et cela a été noté lors de la dernière élection présidentielle aux Etats-Unis – les côtes sur les sites en ligne de pari reflètent les croyances d’une certaine « élite » (disons les personnes souvent relativement éduquées, et la classe supérieure, suivant la politique), contrairement aux sondages, qui sont supposés être conduits sur un échantillon représentatif des électeurs, et sont supposer refléter les choix du « peuple » (et non pas une opinion ou une croyance). Si les parieurs tiennent comptent de ces sondages, les prix reflètent leurs croyances. Une dernière critique que l’on peut faire est que la majorité des marchés prédictifs représentent des volumes de transactions très faibles.

Les sondages traditionnels font face aujourd’hui à une défiance croissante. Il devient difficile de constituer un échantillon représentatif, le taux de non-réponse atteint des proportions jamais atteint (et nul ne sait si cette non-réponse est corrélée avec des choix électoraux). Et la confusion règne, entre les sondages classiques, et les « sondages en lignes » hébergés sur divers sites d’information. Mais pour reprendre l’anecdote raconté par Scott Armstrong dans Knowledge@Wharton en 2004, si dans une réunion du conseil exécutif d’une grande entreprise on demande à tous les participants de faire des prévisions quant aux résultats pour l’année prochaine, ou si on demande aux participants de parier sur les résultats de l’année prochaine, quels prévisions seront les plus crédibles ?

Références

Arrow, K.J. & Debreu, G. Existence of an equilibrium for a competitive economy, Econometrica, vol. 22,‎ 1954

Baumgartner, F. Behind locked doors: a history of papal elections. 2003

Charpentier, A. L’efficience des marchés : hypothèse de modèle ou fait stylisé ? Risques, 96. 2014

Frank, E., Verbeek, E. & Nüesch, S. Inter-Market Arbitrage in Betting. Economica, 2012.

Johnson, T. Ethics in Quantitative Finance: a pragmatic theory of markets. Wiley, 2017.

Knowledge@Wharton, How Credible Are Polls? Is There a Better Way to Predict Outcomes in Politics and Business, 3 Novembre 2004,

Manski, C.F. Interpreting the Predictions of Prediction Markets. Working Paper 10359, 2004

Meng, K.C. Using a Free Permit Rule to Forecast the Marginal Abatement Cost of Proposed Climate Policy. American Economic Review vol 107, 2017

Polgreen. Use of Prediction Markets to Forecast Infectious Disease Activity. Healthcare Epidemiology, 2007

Ramsey, F.P. Truth and probability, dans The Foundations of Mathematics and other Logical Essays, 1931 .

Rhode, P.W. & Strumpf, K. (2008) Historical Election Betting Markets: an International Perspective.

Schröder, J. Manipulations in Prediction Markets. Universitätsverlag Karlsruhe, 2009.

The Economist, The Future of Futurology, 15 Novembre 2007

Wolfers, J. & Zitzewitz, E. Interpreting Prediction Market Prices as Probabilities. Working Paper 12200, 2006

Wood, T. Do betting markets outperform election polls? Hardly. The Washington Post, Août 2016

[i] Comme l’a montré Franck et al. (2012), comme il existe aujourd’hui plusieurs sites de paris (plusieurs marchés), il peut exister des arbitrages entre les marchés, rarement au sein d’un marché.

La guerre des étoiles : distinguer le signal du bruit

La grande difficulté dans la modélisation et la construction de modèles prédictifs est de réussir à distinguer le signal et le bruit (pour reprendre le titre du classique de Nate Silver). La réponse statistique est la notion de significativité, et la recherche des ‘étoiles’ dans les sorties de régression. Avec l’explosion du nombre de données, il est devenu crucial de faire cette distinction, de savoir quelles sont les interactions qui sont significatives.

Approches historiques de cette notion de « significativité »

Le débat sur la significativité est ancien, même si sa formulation s’est faite historiquement dans des termes assez vagues. Par exemple, dès 1710, le médecin et mathématicien John Arbuthnot s’était interrogé sur le ratio du nombre de naissance de garçons et de filles, se demandant si la différence était « statistiquement significative ». Pour être plus précis, en utilisant des statistiques sur près de 90 ans, il avait noté “There seems no more probable Cause to be assigned in Physics for this Equality of the Births, than that in our ’first Parents Seed there were at first formed an equal Number of both Sexes.John Arbuthnot pose le premier la question en terme probabilistes. Un siècle plus tard, Pierre-Simon de Laplace a présenté ce que l’on peut interpréter comme un « test de significativité », (là encore avec notre terminologie actuelle). Il avait en effet noté, en prenant des mesures sur des baromètres que les observations à 9 heures du matin et 4 heures de l’après-midi était différentes. Significativement différentes. Et là encore posé la question en terme probabiliste, en se demandant s’il est « extrêmement probable » qu’il y ait une différence entre les deux mesures. Il avait alors introduit, le premier, un test de comparaison entre des valeurs moyennes : ayant noté que la différence excédait plusieurs écart-types, ce qu’il jugeait alors significativement important, il en conclue que les séries sont significativement différentes. En 1885, Francis Edgeworth avait repris ces idées, en comparant la taille des criminels, et la taille des gens ordinaires. Mais il faudra attendre les travaux de William Gosset (plus connu sous le nom Student), de Karl Pearson et surtout de Ronald Fisher pour avoir une définition plus rigoureuse de la significativité.

La notion de significativité est cruciale dans la construction de modèles prédictifs. En assurance automobile, l’âge du conducteur est une variable « significative » quand il s’agit d’expliquer la fréquence de sinistres. Formellement, cela signifie que l’âge et la fréquence de sinistre sont corrélées, et que cette corrélation, notée R, est « significativement non-nulle ». En 1921, Ronald Fisher, en proposant la construction d’un intervalle de confiance, propose ainsi un test de significativité. Comme il l’écrit, « from these values, we obtain the difference 0.0471 ± [0.0142] which might well be regarded as significant ». Sur la Figure 1, la figure de droite correspond au cas où la valeur est significativement non nulle (car l’intervalle de confiance à 95% ne contient pas 0) alors que la figure de gauche correspond au cas où la valeur est non-significative (car l’intervalle de confiance à 95% contient 0). Ronald Fisher passera alors plusieurs années à formaliser et expliquer cette idée de significativité statistique.

Figure 1 : distribution théorique de l’estimateur de la corrélation, R, et intervalle de confiance.

Tests, prise de décision et erreurs

Une des contributions majeures de la statistique des années 1920 a été de formaliser la prise de décision. La Figure 2 montre ainsi le mécanisme binaire de la prise de décision, et les deux types d’erreur : rejeter à tort une hypothèse, ou accepter à tort une hypothèse.

Figure 2 : schéma de la prise de décision.

Déclarer qu’une variable, ou une différence, est significative peut conduire à deux types d’erreur : la déclarer comme non-significative, alors qu’elle l’était (prendre un signal pour du bruit) ; et la déclarer comme significative, alors qu’elle ne l’était (prendre du bruit pour un signal). Quand on construit un test, on va essayer de contrôler la probabilité de commettre de telles erreurs.

Mais de faibles taux d’erreur ne veulent pas forcément dire qu’un test est efficace, et le principal danger des tests médicaux est lié à une mauvaise interprétation de ces taux d’erreur. Supposons qu’une maladie touche une personne sur mille, dans une population (selon le test, i.e. 1 personne sur 1000 est ‘positive’). Supposons aussi qu’il soit relative « efficace » au sens où 90% des cas ‘positifs’ sont effectivement atteints, et le test est négatif dans 99% des cas quand est n’est pas touché par la maladie. Ces chiffres sont bien au-dessus de la plupart des principaux tests couramment utilisés. Si le test est effectué sur 10000 personnes, le test sera positif sur 10 personnes (en moyenne), parmi lesquelles 9 sont effectivement malade, mais 1 est saine. A côté, le test sera négatif pour 9990 personnes. Et parmi ces 9990 négatifs, 9890 sont effectivement saines, et une centaine est pourtant malade. Donc au final, sur les 109 personnes malades, 9 ont été détectées, mais 100 sont passés inaperçues, soit un peu plus de 90% des malades ! Ce test supposé efficace ne l’est peut-être pas tant que ça.

Figure 3 : calculs des taux d’erreurs

Le concept de « p-value » et le mythe des 5%

Le concept de p-value est lié justement à l’erreur de rejeter, à tort une hypothèse. Si Ronald Fisher en parle abondement, il faut toutefois attribuer la paternité du concept à son collègue, Karl Pearson. Ce dernier, pour définir la notion de « significativité », utilise la formulation suivante : «  P=.1227 or the odds are now only 8 to 1 against a system of deviations as improbable as or more improbable than this one ». Pour reprendre l’exemple de la corrélation, Pearson nous dit qu’il y a une chance sur 8 pour obtenir une valeur aussi improbable. Comme l’illustre la Figure 4, la p-value est la probabilité d’avoir une statistique aussi grande ou aussi petite que celle obtenue sur l’échantillon, si effectivement la corrélation était nulle. Ou encore p=P{|R| > r | H0],

Figure 4 : distribution théorique de l’estimateur de la corrélation sous l’hypothèse où cette dernière serait nulle et probabilité que |R| dépasse la valeur empirique, observée.

Sur la figure de gauche, la p-value correspondant à l’aire rouge est de l’ordre de 10% alors que sur la figure de droite l’aire est de 0.1%. En fait, si la p-value est inférieur à 5%, alors 0 n’est pas dans l’intervalle de confiance à 95% de l’estimateur de corrélation. Donner la p-value est alors suffisant pour juger de la significativité d’une statistique.

C’est dans le chapitre 4 de son livre que Ronald Fisher pose les bases de la pratique (toujours en vigueur aujourd’hui) des tests statistiques : « if p is between 10% and 90% there is certainly no reason to suspect the hypothesis tested. If it is below 2% it is strongly indicated that the hypothesis fails to account for the whole of facts ». Autrement dit, avec une p-value supérieure à 10%, on peut accepter notre hypothèse (souvent que la variable n’est pas significative) et avec une p-value inférieure à 2%, on va la rejeter (la variable sera alors significative, si on fait un test de nullité d’une corrélation). Mais entre les deux ? Ronald Fisher clôt sans vraiment s’en rendre compte le débat, en affirmant « we whall not often be astray if we draw a conventional line at 5% ». Le choix – aujourd’hui dogmatique – d’un seuil à 5% repose sur l’idée de rejeter à tort une hypothèse avec une chance sur 20, ou bien correspond au fait de s’éloigner de 2 écart-types de la moyenne d’une loi normale centrée-réduite (ce qui arrive avec une chance sur 22).

Cette règle des 5% – une chance sur 20 – est encore en vigueur aujourd’hui. C’est elle que l’on utilise dans tous les modèles économétrique, en regardant les « étoiles » associées à chaque des variables explicatives (3 étoiles si la p-value est inférieure à 0.1%, 1 étoile si elle est inférieure à 5%, et rien au-delà de 10%). Si la -value est une mesure continue de la distance entre l’hypothèse que l’on cherche à tester et les données, ces étoiles ont instauré des seuils, malheureusement supposé infranchissables. Avec cette méthode, comme le notait Guelman (2015), «it seems impressive to see multiple independent findings that are statistically significant but with enough effort it is possible to find statistical significance anywhere. »

Pour illustrer la difficulté de la prise de décision, Power (2014) prend un exemple tiré de la survie à des séances de chimiothérapie, pour guérir un cancer.

Figure 5: chimiothérapie, données Williams et al. (1987).

Dans un “research hospital” le taux de survie est de 86%, alors qu’il est de 81% dans un “non-research hospital”. Un test du chi-deux, mesurant l’indépendance entre le choix de l’hôpital et la survie, donne une statistique de test de 0.5635, correspondant à une p-value de 45.29%. Autrement dit, on devrait être indifférent à l’endroit où on va se faire traiter, puisque l’hôpital est non significativement corrélé à la survie. Mais lorsque la vie est en jeu, est-on prêt à dire qu’une différence de 5 points (86% vs. 81%) n’est pas “statistiquement significative” ? Même avec une p-value proche de 50% !

Le problème des tests multiples

Si cette méthode pour juger de la significativité d’une variable dans un modèle prédictif a eu beaucoup de succès, il convient d’insister sur ses limites quand on se retrouver face à des données massives. Si on cherche à expliquer une variable (comme la sinistralité) par 100 variables, possiblement indépendantes de notre variable d’intérêt, l’analyse précédant devrait nous pousser à retenir 5 variables comme « significativement » corrélées avec la sinistralité.

Figure 6 : Exemple de séries significativement (très) corrélées, données Vigen (2015)

Le problème des tests multiples est d’autant plus important en imagerie médicale. Sur la Figure 7, 100 échantillons Gaussiens sont simulés, de moyenne nulle, et on teste la nullité des moyennes (seules les p-values sont présentées). Imaginons des tests sur des pixels d’une image d’IRM par exemple. Sur une image obtenue sur un individu sain, si des tests sont effectués, pixel par pixel, 10% des points présenteront une p-value inférieure à 10%, 5% une p-value inférieure à 5%, etc.

Figure 7 : 100 tests de nullité de moyenne, sur 100 échantillons simulés (de moyenne nulle).

En l’occurrence, la vision Bayésienne de la prise de décision (décrite dans Greenland & Poole (2013)) peut s’avérer plus juste, en plus d’offrir une interprétation plus claire.

Les alternatives pour juger de la significativité

Les p-values sont un outil important, central, dans la construction de modèles prédictifs. Et la pratique des tests est souvent un exercice intéressant : si la p-value est petite, on se sent conforté dans l’idée que la variable est significative. Mais si elle est grande (disons excède 10%), on ose parfois se dire qu’on n’a pas eu de chance… Dans certains cas, on peut même s’offrir la chance de faire le test sur un autre échantillon et – avec un peu de chance – la p-value sera plus faible.

Comme le note Briggs (2013), les p-value “encourage magical thinking […] they focus attention on the unobservable“. Même avec un regard critique, l’utilisation des p-value est dangereuse. Et l’utiliser de manière automatique, dans un algorithme d’apprentissage, l’est encore plus. Sans bon sens, on verra des variables extrinsèques exotiques utilisées dans les modèles prédictifs (pour reprendre la terminologie de Cass & Shell (1983). A quand un assureur qui utiliserait la pointure de pieds, les résultats au brevet des collèges ou la couleur de la boite à lettres dans son tarif d’assurance auto ?

Références

Arbuthnot, J. (1710). An argument for Divine Providence, taken from the constant regularity observed in the births of both sexes. Royal Society’s Philosophical Transactions.

Berkson, J. (1942). Tests of significance considered as evidence, Hoover, K.D. & Siegle.

Briggs, W. (2013) Everything Wrong With P-Values Under One Roof. http://wmbriggs.com/…

Cass, D. & Shell, K. (1983). Do Sunspots Matter?. Journal of Political Economy 91 (21): 193–228.

Fisher, R. (1925). Statistical Methods for Research Workers. Oliver & Boyd.

Greenland S. & Poole C. (2013). Living with P values: resurrecting a Bayesian perspective on frequentist statistics. Epidemiology, 24: 62-8.

Guelman, A. (2015). P-values and statistical practice. andrewgelman.com/…

Hall, P. and Selinger, B. (1986). Statistical significance: balancing evidence against doubt. Australian & New Zealand Journal of Statistics, 28.

Powers, P.R. (2014). Acts of God and Man Ruminations on Risk and Insurance. ColumbiaUniversity Press.

Silver, N. (2012) The Signal and the Noise: Why So Many Predictions Fail — but Some Don’t, Penguin Press

Vigen, T (2015). Spurious Correlations http://tylervigen.com/…