Category Archives: Publications

Repenser la responsabilité, et la causalité

Ce billet a été écrit avec Rodolphe Bigot, maître de conférences à l’Université de Picardie Jules Verne.

En 150 ans, le concept de responsabilité a beaucoup évolué, sans jamais disparaître. Et aujourd’hui, on le retrouve dans des contextes variés, allant des catastrophes écologiques ou industrielles – on évoquera un « principe de précaution » qui a rendu floue la notion même de causalité – aux « machines intelligentes » – qui quittent le rôle d’aide pour finalement prendre des décisions à notre place.

De la responsabilité pour faute …

Bien que gravée dans le marbre plus que bicentenaire du Code civil, la responsabilité civile est manifestement une institution juridique régulièrement repensée. La doctrine a mis en lumière le renouveau de son droit. L’image qui nous vient à l’esprit est celle d’un arbre à idées, soumis aux variations des saisons, avec ses heures de floraison, d’incandescence, des feuilles mortes et de dormance. Depuis quelques années, les projets de réforme se suivent et sortent la responsabilité civile d’une période d’hibernation. Incessamment, elle s’apprête à muer, encore et encore. Mais de longue date, elle est généralement définie, pour reprendre Tunc (2019) comme « l’institution par laquelle une personne est tenue de réparer un dommage causé par autrui ». Elle se trouve depuis plusieurs décennies dans une situation paradoxale. Comme le rappelle Ewald (1986), l’assurance s’est développée alors que l’on cherchait à socialiser (dans le sens transférer de l’individuel au collectif) le risque de responsabilité. Il a été remarqué par Viney (1965) que « sécurité sociale et responsabilité produisaient un déclin de la responsabilité individuelle et une socialisation des risques, la charge de ceux-ci étant répartie sur une collectivité : la communauté nationale ou une mutualité d’assurés gérée par un assureur ».

Avec la révolution industrielle, et en particulier l’explosion de machines à vapeur, on voit apparaître la notion de « cause inconnue ». Depuis 1804, où seule la responsabilité pour faute existait, le droit de la responsabilité a beaucoup évolué, institutionnalisant un système d’indemnisation qui n’est plus centré sur la sanction de l’auteur d’un dommage, mais la réparation, individuelle ou sociale. Les victimes et leur entourage, face aux coups du sort, n’ont plus la même résignation. La psychologie de la réclamation a aussi évolué. On peut remonter, comme le fait Ewald (1986), à la loi du 9 avril 1898 sur les accidents du travail, qui inspirera la législation des assurances sociales à venir. Cette loi force à repenser la notion de responsabilité individuelle, et le contrat social qui unit les membres d’une collectivité. À l’époque, d’un point de vue juridique, le juge partait d’un accident, d’un dommage, pour inférer l’existence de cause, et d’une faute : sans faute, il n’y aurait pas d’accident. Plus précisément sans faute, il n’y avait pas de responsabilité civile, ni de compensation donc, ce qui peut conduire à penser qu’en définitive, on niait l’accident : aujourd’hui il existe des régimes de responsabilité pour faute (c’est à la victime de la prouver), de responsabilité pour faute présumée (c’est à l’auteur de prouver qu’il n’a pas commis de faute), ou de responsabilité sans faute ou de plein droit (qui repose sur d’autres fondements : l’autorité ou la cohabitation de l’enfant avec ses parents ; la responsabilité du fait des choses que l’on a sous sa garde).

Les jugements de responsabilité sont alors des jugements portés sur la causalité d’un évènement. On retrouve l’idée que quiconque cause un dommage à autrui ait à le réparer. Cette vision est très éloignée de celle de l’actuaire qui calcule les probabilités de survenance d’un accident indépendamment de toute volonté. Mais un rapprochement est parfois opéré, et la volonté n’a plus d’influence. A ce titre, pendant longtemps, il était requis que l’auteur de la faute ait eu conscience de son acte. Le responsable devait pour cela avoir la « capacité de discernement », en quelque sorte (dans une tradition judéo-chrétienne) la capacité de distinguer le bien du mal. Cette condition était nommée l’imputabilité de la faute à son auteur. Deux types de personnes n’avaient pas cette faculté de discernement : les enfants en bas âge et les personnes mentalement déficientes (que cela soit durable ou que la personne ait été prise d’une crise passagère de folie au moment de l’acte). Progressivement, la loi et la jurisprudence ont supprimé cette exigence. L’article 489-2 du Code civil (issu d’une loi du 30 janvier 1968) dispose désormais que « celui qui a causé un dommage à autrui alors qu’il était sous l’empire d’un trouble mental, n’en est pas moins obligé à réparation ». La jurisprudence a ensuite posé le même principe concernant les enfants privés de discernement en 1984. La faute est donc désormais une faute objective, privée de son élément moral et volontaire, avec quelques nuances ou résistances de la jurisprudence. La doctrine a initié cette solution. Un certain nombre d’auteurs, dont Paul Esmein, les frères Mazeaud (Henri, Léon, Jean) et ensuite François Chabas[i], ont plaidé en faveur de l’élargissement de la notion de faute, qui n’implique aucun élément subjectif et qui, en quelque sorte, se réduit à une erreur de conduite que n’aurait pas commise un bon père de famille, une personne raisonnable, placée dans les mêmes circonstances que le défendeur. La faute perd son contenu psychologique. A ainsi pu être admise, à partir de cette conception objective de la faute qui n’implique pas de jugement moral sur le comportement, la responsabilité civile des incapables majeurs et des enfants en bas âge qui ont en commun de ne pas être doués de discernement.

En définitive, la responsabilité civile – du fait des choses, puis du fait d’autrui – et la faute ont subi une objectivation donnant naissance, selon Ewald (1998), à un droit de la responsabilité qui « n’est plus qu’un droit de l’indemnisation où la notion de faute (et de culpabilité) à travers laquelle on se reconnaît traditionnellement responsable a de moins en moins cours ». Pour le juge, si une personne n’avait pas commis telle ou telle faute, ou n’avait pas été à l’origine de tel fait générateur (de responsabilité), « le monde serait harmonieux » alors que pour l’assureur, quel que soit la volonté de chacun, les accidents se produisent avec une forte régularité statistique. On retrouve ici les réflexions de Durkheim (1897), lorsqu’il voit le suicide comme un phénomène social normal. Mais cette vision ne s’est pas imposée en un jour.

… à la gestion des risques

Si on évoque souvent les freins à la naissance de l’assurance-vie, avec en France l’ordonnance de Colbert de 1681 qui considère que les assurances sur la vie en cas de décès sont « réprouvées et contre les bonnes mœurs » car elles font souhaiter la mort de celui sur la tête duquel le souscripteur la prend, en d’autres termes le risque de votum mortis. Comme le rappelle Zelizer (1979), la naissance de l’« assurance pour faute » a aussi été difficile, plus tardive encore. Alors qu’en 1840 les assurances de responsabilité civile dans le cadre des accidents de la circulation (à cheval) sont toujours perçues comme une « incitation à l’incurie et à la négligence », dix ans plus tard l’assurance de responsabilité est enfin admise (« le fait de circuler à notre époque et en plein Paris [sans assurance] constitue indiscutablement une faute lourde »). Il faudra attendre 1876 pour que la Cour de cassation se prononce à son sujet et reconnaisse sa licéité, comme le rappelle Profit (2020). Plusieurs questionnements persistaient. Est-il moral et juste de déplacer le poids des conséquences des actes d’un individu sur l’ensemble de la mutualité, le dédouanant ainsi de sa responsabilité ? Comment légitimer de faire payer les négligences par la collectivité ? N’est-ce pas en contradiction avec l’idée d’inciter à la prévention (formalisée par les économistes – en commençant par Adam Smith – par la notion d’aléa moral) ? Cette assurance de responsabilité semble contredire la vision juridique, à tout le moins certaines fonctions qui lui sont assignées, comme la fonction normative et sanctionnatrice.

L’assurance a toutefois pu se développer car la réalisation d’un dommage ne profite en théorie (presque) jamais à l’assuré, et elle garantit surtout le tiers, victime du dommage. Conçue comme un mécanisme de protection d’une dette de réparation de l’assuré responsable, l’évolution a assigné à la responsabilité civile un second rôle, sans doute prédominant aujourd’hui, de protection de la créance d’indemnisation de la victime. Ce n’est donc plus tant la faute de l’assuré qui importe mais ses conséquences sur la victime, « l’assurance acquiert ici, outre la fonction économique, une fonction sociale, elle pallie l’insolvabilité du responsable pour garantir la réparation du dommage », comme le souligne Profit (2020). C’est dans cet esprit que sera pensée la loi du 5 juillet 1985 (loi dite Badinter) relative à l’indemnisation des accidents de la circulation. Pour éviter qu’une victime ne puisse pas être indemnisée, faute pour elle de démontrer l’existence d’une faute, la doctrine avait élaboré la théorie du risque. Celle-ci admettait l’idée d’une responsabilité sans faute, dite objective. Cette théorie est apparue dès la fin du 19ème siècle avec Raymond Saleilles et Louis Josserand à propos surtout des dommages causés par des choses (machines, locomotives, voitures…). Elle a eu aussi des influences considérables en jurisprudence et en législation, avec la loi du 9 avril 1898 sur les accidents du travail. Ce texte a attribué de plein droit la responsabilité à l’employeur, par la mise en place de leur indemnisation automatique sans avoir à démontrer une faute de l’employeur.

Dans le contexte des accidents du travail, si le patron a tout fait pour prévenir les accidents, il ne peut être tenu pour responsable, mais, malgré tout, des accidents surviennent. Des mutuelles professionnelles vont alors naître, garantissant (et limitant) la responsabilité civile des patrons. Cette couverture du risque professionnel introduit une mutualisation. Elle se transformera en solidarité avec la loi du 30 octobre 1946 qui abroge celle du 9 avril 1898 et rattache la réparation des accidents du travail à la sécurité sociale, laquelle se substitue aux assurances privées[ii]. On assiste ainsi au déplacement de la charge de ces accidents sur la société, quittant la vision juridique de la responsabilité fondée sur l’idée de recherche de cause – la faute conservant un rôle secondaire dès lors qu’elle est intentionnelle ou inexcusable –, puis de distribution des charges. Cette solidarité donnera naissance à une notion de responsabilité vue comme une répartition des risques, éloignée de l’idée de faute. Il ne s’agit plus de déterminer qui a commis une faute, mais qui devra supporter la perte causée par un dommage. On quitte l’éthique et la morale pour définir une équité économique. Si les accidents touchent des individus, c’est la société qui doit répartir convenablement leur charge. En allant un peu plus loin, comme l’ont montré plusieurs procès en responsabilité médicale[iii], on peut commettre une faute et être déchargé de sa responsabilité. Comme le relève Ewald (1986), l’assurance force à quitter la notion juridique de responsabilité pour « un projet de régulation sociale », en gérant une responsabilité collective. Du risque industriel au risque technologique, la responsabilité collective s’élargit, passant de l’entreprise à l’État, voire à plusieurs États.

Responsabilité et principe de précaution

Les risques écologiques ont mis en défaut la notion juridique classique de responsabilité, avec une causalité parfois floue, et une dimension temporelle inédite. Un dommage écologique s’étend sur plusieurs générations, et la perte ou le dommage n’est pas toujours perceptible immédiatement. Les causes multiples, croisées, imbriquées, rendent l’idée de responsabilité individuelle bien souvent caduque, du moins inadaptée.

 

Habituellement, pour que la responsabilité civile soit engagée, trois conditions cumulatives sont exigées : un préjudice, un fait générateur, et un lien de causalité entre celui-ci et celui-là. La mise en œuvre de la responsabilité suppose tout d’abord d’imputer matériellement le dommage à un fait générateur de la responsabilité. En conséquence, il faut démontrer un rapport de causalité entre la survenance du dommage et le fait générateur. Vient ensuite le moment de désigner un responsable qui varie selon le régime et le fondement de la responsabilité. Le responsable est compris comme celui qui répond du dommage. Il n’est pas nécessairement son auteur. Qu’il doive être prouvé ou qu’il soit présumé, le lien de causalité reste intangible en tant que condition de la responsabilité. A contrario, le fait générateur de responsabilité peut, selon les circonstances, consister tantôt en une faute, parfois prouvée, parfois présumée, tantôt en un simple fait, autrement dit un fait générateur non fautif, mais dommageable.

De plus, il convient qu’une personne soit affectée, ce qui pose soucis dans de nombreux dommages environnementaux, touchant des écosystèmes, des animaux ou des plantes. La loi du 8 août 2016 pour la reconquête de la biodiversité, de la nature et des paysages a permis d’élargir la responsabilité. L’article 1247 du Code civil dispose qu’« est réparable le préjudice écologique consistant en une atteinte non négligeable aux éléments ou aux fonctions des écosystèmes ou aux bénéfices collectifs tirés par l’homme de l’environnement ». Une conception repensée de la responsabilité a donc permis de prendre en compte ce préjudice écologique pur. Dans certains pays, la solution a été de reconnaître la personnalité juridique à la nature, ou l’un de ses éléments, tel qu’un fleuve (comme le Gange, en Inde) par exemple. Mais il convient de repenser la notion de « réparation », invoquant l’idée que la responsabilité a vocation non seulement à réparer les dommages mais aussi à prévenir leur survenance. En particulier, la responsabilité civile peut avoir une dimension prophylactique à partir du moment où on met en place un certain nombre de mesures pour éviter qu’un dommage survienne ou qu’il produise des conséquences trop importantes.

Le principe de précaution a été consacré dans l’ordre juridique par étapes. Il s’agit de l’un des fondements de la politique de l’Union européenne dans le domaine de l’environnement. Il est rappelé par la Charte française de l’environnement de 2004, mentionnée dans le préambule de la Constitution Française – « lorsque la réalisation d’un dommage, bien qu’incertaine en l’état des connaissances scientifiques, pourrait affecter de manière grave et irréversible l’environnement, les autorités publiques veillent, par application du principe de précaution et dans leurs domaines d’attributions, à la mise en œuvre de procédures d’évaluation des risques et à l’adoption de mesures provisoires et proportionnées afin de parer à la réalisation du dommage ». Ce principe de droit trouve sa source dans les adages selon lesquels « mieux vaut prévenir que guérir », et « dans le doute, abstiens-toi ». Les philosophes s’étaient penchés sur ce principe avant les juristes, à commencer par Nietzche (1887) : afin que l’homme puisse « répondre de lui-même en tant qu’avenir […] ne doit-il pas avoir appris à séparer le nécessaire de l’accidentel, à penser le rapport causal, à voir le lointain comme s’il était présent et à l’anticiper, à établir avec certitude quel est le but et le moyen convenable ».

Puisque la responsabilité de précaution serait fondée sur la causalité potentielle, elle imposerait un examen anticipatif de la causalité. Bien qu’il ait été suggéré d’ajuster à son égard la théorie la causalité adéquate, applicable en présence de connaissances scientifiques suffisantes pour prévoir le lendemain, le principe de précaution s’applique au contraire lorsque ces connaissances sont incertaines, comme le rappelle Boutonnet (2005). Cela conduit la doctrine à distinguer la « responsabilité-réparation » d’une « responsabilité-caution ».

En définitive, le fondement de la faute, dans la sphère individuelle, pérennise une logique ancienne de culpabilité et porte l’impératif sous-jacent de ne pas nuire à autrui. Puis le fondement du risque, soumis à une logique d’indemnisation, a ouvert la responsabilité sur la sphère sociale. Le nouveau fondement de la précaution, ayant le mérite d’être déjà un principe international, européen et interne, dans des champs variés mais reliés, s’étend à la sphère planétaire. On ne sait plus vraiment ce qu’est la responsabilité civile, ni la solidarité d’ailleurs, avec le foisonnement des fonds de garantie et d’indemnisation qui viennent en relais de la responsabilité, et s’entremêlent avec elle. Au terme de cette hybridation de la responsabilité et de la solidarité, ces centaures pourraient être renommés « responlidarité » ou « solidabilité ». Dans ses fonctions repensées, le projet de réforme de la responsabilité civile est susceptible de procéder à un nouveau métissage, voire confusion, avec celles de la responsabilité pénale.

Des écosystèmes victimes aux machines responsables

Les nouvelles technologies, avec des machines enrichies d’une intelligence dite artificielle, en premier lieu pour les véhicules autonomes, suscitent de nombreux inquiétudes et interrogations ces derniers temps. Noguéro & Vingiano-Viricel (2019) ont dernièrement recommandé qu’« il faut patiemment recueillir les enseignements de l’expérience et éviter la précipitation pour, si nécessaire, bâtir un droit qui serait spécifique pour appréhender la responsabilité du (ou du fait du) « véhicule autonome ». Dans l’intervalle, le principe de précaution devrait s’imposer : ne pas mettre la charrue avant les bœufs ».  À suivre donc…

Boutonnet, Mathilde (2005) Le principe de précaution en droit de la responsabilité civile. LGDJ.

Ewald, François (1986) L’Etat Providence. Grasset.

Ewald, François (1998) L’expérience de la responsabilité. in De quoi sommes-nous responsables ?, 8e Forum, Le Monde, Le Monde éditions

Mill, John Stuart (1843) A System of Logic. Harper & Brothers Publishers.

Nietzsche, Frederich (1887) Généalogie de la morale. Mercure de France.

Noguéro, David & Vingiano-Viricel , Iolande (2019) Intelligence artificielle et véhicules autonomes, in Droit de l’intelligence artificielle, Loiseau & Bensemoun Eds, LGDJ.

Profit, Alix (2020) Droit des assurances, Bigot & Cayol Eds, Ellipses.

Quézel-Ambrunaz, Christophe (2010) Essai sur la causalité en droit de la responsabilité civile, Dalloz, Nouvelle Bibliothèque de Thèses.

Thibierge, Catherine, Libres propos sur l’évolution du droit de la responsabilité (vers un élargissement de la fonction de la responsabilité civile ?), RTD Civ. 1999, p. 561 et s.

Tunc, André (2019) Responsabilité Civile in Encyclopædia Universalis. https://bit.ly/36tf0xL ; La responsabilité civile, Economica, 2e éd., 1989.

Viney, Geneviève (1965) Le déclin de la responsabilité individuelle. LGDJ

Zelizer, Viviana (1979). Morals and Markets: The Development of Life Insurance in the United States, Columbia University Press

[i] En lien avec leurs travaux sur la notion d’obligation en droit.

[ii] Avec la loi de 1898, la faute ne conditionne plus la réparation d’un accident du travail. Le risque professionnel la remplace. Mais la notion de faute n’y est pas complètement abandonnée. Elle joue désormais un rôle accessoire. Elle permet ainsi de sanctionner les comportements les plus graves, en particulier en cas de faute intentionnelle du salarié où aucune indemnité ne lui est attribuée.

[iii] Depuis l’arrêt Mercier du 20 mai 1936, les médecins doivent soigner « conformément aux données acquises de la science », et non pas en considération de mises en garde de collègues si elles n’ont pas été scientifiquement corroborées. Le cœur du contrat médical réside dans l’obligation de soins qui pèse sur le médecin.

Des modeles prédictifs en assurance

Cet post est aussi en ligne sur https://hal.archives-ouvertes.fr/hal-02350006, il a été coécrit avec Laurence Barry et Ewen Gallic.

Les compagnies d’assurance émettent des contrats qui prévoient des paiements d’indemnités en cas de survenance d’évènements aléatoires (accident, maladie, décès, etc.). En contrepartie, l’assuré doit s’acquitter d’une prime, dont le montant est déterminé ex-ante, avant le début de la période de couverture. Cette prime se décompose en deux termes : une prime pure (destinée à couvrir les pertes anticipées) et un chargement (incluant des commissions à des agents, divers frais, mais aussi couvrant contre le risque de variabilité des pertes). La prime pure est souvent calculée par classe de risque, et une classification est alors nécessaire.

Assurer une population hétérogène, ou l’importance de la classification

Le regroupement des risques selon diverses informations telles l’âge de l’assuré, son état de santé ou encore sa profession constitue ce que l’on appelle la classification des risques. Cette pratique de segmentation se justifie (à des fins d’admissibilité mais aussi de tarification) par la supposition que les risques sont placés dans des groupes relativement homogènes, au sein desquels les probabilités de survenance sont similaires. Pour Schauer (2006), cette « généralisation », qui vise à voir l’individu sous le prisme de sa classe de risque, de généraliser son comportement à partir de quelques variables explicatives, est probablement la raison d’être de l’actuaire : « to be an actuary is to be a specialist  in  generalization,  and  actuaries  engage  in  a form of decision-making that is sometimes called actuarial ». Statistiquement on cherche une méthode de classification aussi « discriminatoire » que possible[1], en gardant en mémoire que la discrimination est interdite, ce qui rend l’exercice périlleux, et souvent critiqué (nous y reviendrons plus loin).

Les assureurs évoquent souvent deux arguments pour justifier une segmentation. Le premier est qu’elle serait rendue économiquement nécessaire par la concurrence ; ne pas classifier conduit à une anti-sélection, les risques importants restant seuls chez les assureurs qui ne segmentent pas. Dans une telle situation, l’équilibre de marché ne serait pas possible puisque les risques faibles seraient chez un concurrent ayant segmenté. Si le facteur de risque était observable, tant par les assurés que les assureurs, il y aurait un phénomène d’auto-sélection, les assurés à risque faible ayant les polices les moins chères. Cette situation constitue un équilibre séparant de Nash. Mais si le facteur de risque n’est pas observable, un équilibre sous-optimal peut être atteint, résultant d’une externalité négative de cette information non-accessible, à la manière de Wilson (1977), tel que décrit dans Cummins et al. (1982) dans le cas des contrats d’assurance-vie. Cela dit, Kleindorfer & Kunreuther (1980) montrent qu’accéder à davantage d’information ne conduit pas nécessairement à une amélioration du bien-être des consommateurs. De plus si la classification n’est pas autorisée, l’équilibre est maintenu, les risques faibles subventionnant les risques élevés.

Le second argument avancé pour justifier une segmentation est que cette dernière (et le fait, par conséquent, d’ajuster les primes au risque) serait juste et équitable. Mais cette vision de l’équité n’a pas toujours été de mise et semble portée par les développements techniques. Ainsi la classification est devenue de plus en plus fine, multipliant les classes de risque et conduisant à des tarifs « personnalisés ». En plus des avancées statistiques, des facteurs économiques pourraient justifier cette sophistication : la concurrence de plus en plus forte sur certaines branches.

Incertitude en assurance

Il y a plusieurs manières de caractériser l’incertitude en assurance. Comme bien souvent quand on fait des prévisions, il convient de distinguer l’incertitude associée à l’estimation des probabilités et l’incertitude réelle sur le résultat (aléa de l’évènement). Pour la seconde notion, Hacking (1975) parle de probabilité structurelle, et c’est celle qui est souvent utilisée pour introduire les concepts de probabilité, par exemple avec des dés ou des jeux de cartes : les probabilités sont connues, seule l’issue du jeu est incertaine. Par exemple je sais que la probabilité d’avoir 6 en lançant un dé est 1/6 (compte tenu de la géométrie du cube).

D’un point de vue statistique, la probabilité se mesure quand on peut observer une fréquence, c’est-à-dire une répétition de risques semblables. Les statisticiens ont ainsi défini une notion de probabilité empirique, basée sur la répétition[2]. Si, en lançant mille dés j’obtiens 173 fois la face 6, la probabilité empirique d’avoir 6 est de 17,3%. La loi des grands nombres nous assure que cette fréquence va tendre vers la vraie valeur en répétant l’expérience, et le théorème central limite permet d’en contrôler les fluctuations. C’est la première incertitude dont nous parlions au début de cette section, que nous appellerions l’erreur d’estimation.

On peut enfin mentionner deux notions supplémentaires ; tout d’abord, les probabilités conditionnelles. Cette idée est introduite en assurance par de Moivre, ou de Witt, lorsqu’ils notaient que pour estimer une probabilité de décès, il fallait considérer des personnes de même âge. C’est cette idée que l’on retrouve quand on considère une classification : on veut des risques homogènes, similaires, sans être pour autant identiques. La probabilité que l’on obtient est alors conditionnelle à ce facteur commun qui caractérise la classe observée. Dans notre exemple des dés, cela revient à dire qu’il ne faut pas lancer mille dés, mais mille fois le même dé – ou à défaut des dés semblables.

Enfin, les probabilités subjectives ont été formalisées par Bruno de Finetti et Leonard Savage (ainsi que plus philosophiquement par Frank P. Ramsey) pour comprendre et modéliser la prise de décision. Elles sont relativement populaires en économie de l’incertain, mais difficile à mettre en œuvre dans un contexte de valorisation de contrats d’assurance automobile ou habitation. Il s’agit d’un jugement, qui ne peut être confronté à la réalité, mais envisageable pour l’assurance de risques encore mal connus (McGrayne (2012) évoque ainsi les premiers contrats d’assurance aviation). Une approche bayésienne consiste alors à combiner cette probabilité subjective avec la probabilité comme fréquence observée d’un phénomène : partant d’une croyance a priori, on affine l’estimation par une mise à jour progressive en répétant les expériences. Classiquement, la probabilité d’avoir la face 6 sera une moyenne entre notre croyance (1 chance sur 6) et une probabilité dite historique, obtenue en faisant quelques lancés (3 sur 20 lancers, par exemple). Les poids attribués aux deux dépendant du nombre d’expériences effectuées : on donnera plus de crédit à l’expérience si on fait mille lancés que si on en fait soixante.

Incertitude sur le résultat, ou aléa fondamental

Les probabilités prédictives, utilisées pour calculer la prime d’un contrat d’assurance, sont la première étape d’un problème de classification. Un outil classique pour juger de la pertinence d’un classifieur est la courbe ROC, décrite dans Kuhn (2018)) : on compare la probabilité individuelle (a priori, telle que résultant du modèle de classification) à un seuil, compris entre 0 et 1; si la probabilité est inférieure au seuil, l’estimation est que la personne survit, sinon qu’elle décède.

On compare ensuite cette estimation aux réalisations (ex-post) de survie et de décès. Pour chaque seuil, on peut considérer la matrice classique dite matrice de confusion de théorie de la décision : elle consiste à répartir les observations suivant le résultat observé (en colonne) et l’estimation résultant du modèle en ligne (en fonction de la probabilité estimée pour l’individu et le seuil que l’on s’est fixé). On peut ainsi partager la population entre les classements corrects, et les erreurs (dont les « faux positifs » si la personne a survécu malgré une probabilité estimée de décès supérieure au seuil, et les « faux négatifs » si la personne décède malgré une probabilité estimée inférieure au seuil).

Figure 1: Courbe ROC et classification pour un seuil de probabilité valant 1.5%.

La courbe ROC est obtenue en faisant varier le seuil. Chaque seuil correspond à un point de la courbe, rapportant graphiquement les taux de faux positifs (en abscisse) et de vrais positifs (en ordonnée), comme sur la Figure 1.

Considérons un groupe de 1000 assurés, où 20 personnes sont décédées l’an passé. Supposons un modèle dans lequel on admet que la population est parfaitement homogène, la probabilité estimée de décès est de 2% pour tout le monde. Dans ce cas pour tout seuil supérieur à 2%, on estimera que la totalité de la population survit : on aura un taux de faux positifs de 0% et un taux de vrais positifs de 0%, d’où un point (0,0) sur le graphe. A l’inverse pour tout seuil inférieur à 2%, on estimera que la totalité de la population décède : on aura un taux de faux positifs de 100% et un taux de vrais positifs de 100%, d’où un point (1,1) sur le graphe. La courbe de ROC de ce modèle uniforme à 2% est donc la diagonale du carré sur la figure 1.

Mais on peut aussi imaginer qu’il existe un peu d’hétérogénéité avec, par exemple, une probabilité de décès de 1% pour une moitié de la population et de 3% pour l’autre moitié, ou encore que le modèle produit des probabilités comprises entre 1% et 3% de façon non dichotomique. Les données simulées pour construire la courbe noire sur la Figure 1 suppose que la population a des probabilités de décès variables, comprises entre 1% et 3%, obtenues par une régression logistique. Comme le montre le tableau de droite, on commet des erreurs, et comme le montre celle de gauche, la nature de celle-ci varie en fonction du seuil choisi, qui modifie les taux de faux positifs et de faux négatifs.

Le cas extrême serait celui où le modèle aurait correctement attribué une probabilité de 100% aux 20 personnes qui sont effectivement décédées. C’est la courbe rouge sur la Figure 1. Ce partage est possible ex-post, une fois réalisation de l’aléa : a posteriori, il y a une certitude de décès pour ceux qui sont effectivement morts. Mais cela n’a cependant pas grande réalité dans l’assurance, à moins d’imaginer que l’actuaire serait un oracle, qui saurait avec certitude qui va mourir, et qui va survivre. La réalité est plutôt celle de la situation intermédiaire entre la courbe rouge et la diagonale, avant d’arriver dans la région hachurée, où le taux d’erreur est faible, mais pas nul : on ne peut pas prédire, avec certitude, qui va décéder. L’assurance n’est possible que si cette borne supérieure n’est pas trop élevée.

Incertitude statistique, données et modèles

Une question fondamentale pour la survie de l’assurance est de savoir où se situe cette borne supérieure : jusqu’où peut-on aller, entre les deux cas extrêmes (population homogène avec une probabilité de 2% pour tous, et une population très discriminée, avec 2% de la population ayant 100% de chances de mourir, et l’autre 0%) ? Et de quoi cette borne dépend-elle ? En particulier, des modèles plus complexes, tels que les réseaux de neurones très profonds permettent-ils vraiment d’améliorer la prévision ? Et l’enrichissement de données, tel qu’on l’observe grâce aux objets connectés et la fusion avec toutes sortes d’informations externes, va-t-il déplacer la borne supérieure vers le haut ?

Si l’apprentissage profond – voir Goodfellow et al. (2018) – permet d’avoir des classifieurs d’images avec un taux d’erreur proche de 0%, il est difficile d’imaginer qu’il sera possible de prévoir, presque un an à l’avance (à la signature du contrat), qui décèdera dans l’année, qui aura la grippe, qui aura un dégât des eaux, etc. Les modèles plus complexes permettent d’améliorer les prévisions, en tenant compte de non-linéarités, d’effets croisés entre les variables tarifaires, mais pas au point de faire disparaître l’aléa. Et tant que l’assurance est envisagée ex-ante (la prime est fixée au début de la période de couverture), il est difficile d’imaginer que rajouter de l’information fera aussi disparaître l’aléa. C’est d’ailleurs le cas pour les tests génétiques qui n’expliquent qu’une (petite) partie du risque de cancer, par exemple. Et rajouter des données revient souvent à rajouter du bruit, ce qui rend le travail d’analyse plus complexe. Cependant, force est de constater que des modèles plus complexes et des données plus riches tendent effectivement à « améliorer » la prévision, en remontant la courbe ROC vers le haut. Mais se pose-t-on les bonnes questions ? Que signifie vraiment une borne très éloignée du cas homogène, sur la diagonale ?

Homogénéité, équité et causalité

Comme nous l’avons vu, la tarification en assurance repose sur une répartition des risques (des contrats) en catégories, au sein desquelles la distribution des pertes peut être estimée, afin de fixer un niveau de primes. La répartition se fait à partir des caractéristiques de l’assuré, et du bien assuré. En retraçant l’histoire de l’assurance, Ewald (1986) montre que les mécanismes de prévoyance se sont mis en place en déplaçant la charge des accidents du travail sur la société : on abandonne l’idée d’une responsabilité individuelle de l’accident en faveur de la solidarité. L’assurance distingue « entre le dommage que subit tel ou tel individu — c’est affaire de chance ou de malchance — et la perte liée au dommage dont l’attribution est, quant à elle, toujours collective et sociale ». Ce principe de solidarité sociale, de mutualisation des risques, fait que le risque (en assurance) est toujours pensé collectivement.

Aujourd’hui, les tarifs sont considérés comme « justes », ou « actuariellement équitables » si chaque prime correspond à la perte attendue (pour ne pas dire « espérée », au sens mathématique) pour chaque assuré. Dans cette perception de l’équité, une hypothèse essentielle est que les classes soient « homogènes ». En effet, dans l’hypothèse inverse, les personnes les moins risquées subventionnent les personnes les plus risquées, ce qui est perçu comme socialement injuste.

On peut décrire cette version de l’équité actuarielle à l’aide de la formule de décomposition de la variance. La variance globale se décompose en effet en deux termes, la variance inter-classes et la variance intra-classes : l’ « équité actuarielle » vise à ce que  les classes de risque soient relativement distinctes les unes des autres, donc une variance inter-classes forte, accompagnée d’une homogénéité des classes, donc une variance intra-classes faible. D’un point de vue statistique, chercher à augmenter l’une est équivalente à faire diminuer l’autre. Cette mécanique n’est pas toujours claire pour des observateurs non avertis ; ainsi dans l’affaire Manhart, un des cas les plus documentés sur la discrimination par le genre en assurance, le juge Stevens affirme : « we focus on fairness to individuals rather than on fairness to classes […] even a true generalization about a class is an insufficient reason for disqualifying an individual to whom the generalization does not apply» (cité dans Anzalone (2016)). Autrement dit, pour la justice, un critère statistique de type « true generalization » ne peut être opposable à un individu.

Une autre critique importante, que l’on retrouve dans la « gender directive », est le lien entre discrimination et causalité. En effet, statistiquement, les actuaires vont chercher des facteurs de classification fortement corrélés avec la sinistralité. Mais il est possible que ces facteurs ne soient qu’un proxy de la vraie variable causale, restée elle inobservée, conduisant à une mauvaise estimation du risque pour certains. Comme le notent Antonio et Charpentier (2017), le genre a ainsi été longtemps utilisé en assurance automobile car très corrélé avec des variables associées au style de conduite et à d’autres variables historiquement non observables (mais qui le sont aujourd’hui grâce aux objets connectés, comme le kilométrage, les heures de conduites, les types de routes utilisés, etc).

Ce lien avec les mécanismes causaux est d’ailleurs relativement profond, et Hacking (1975) y voit une connexion avec la « révolution probabiliste » : on peut assez facilement mettre en évidence des corrélations, mais les causes, si elles existent, nous restent plus opaques. Laplace au début du 19e siècle déclare ainsi que « la probabilité est relative en partie à nos connaissances, en partie à notre ignorance », liant les probabilités à la fois à une vision newtonienne déterministe du monde et à notre incapacité à le connaitre parfaitement. Cette dernière composante fait que l’on ne peut pas annoncer la date exacte du décès d’un individu, mais statistiquement, dans un groupe homogène, on peut prédire le nombre de décès au cours d’une année. Et pour revenir à la relation causale, le tabagisme par exemple ne cause pas forcément une mort prématurée mais fumer sera vu comme dangereux car il augmente la probabilité de décès pendant une période donnée. Ainsi nous montre Hacking (1975), la causalité est pensée aujourd’hui dans un contexte probabiliste, et non plus déterministe.

Abraham, K.S. (1985) Efficiency and fairness in insurance risk classification, Virginia Law Review 71: 403-451.

Anderson, A.W. (1978). A Critique of the Manhart Brief. The Actuary, 12:5.

Antonio, K. & Charpentier, A. (2017). La tarification par genre en assurance, corrélation ou causalité ? Risques, 109.

Anzalone, C.A. (2016). U.S. Supreme Court Cases on Gender and Sexual Equality. Routledge.

Bailey, H., Hutchison, T. & Narber, G. (1975) The regulatory challenge to life insurance classification, Drake Law Review Insurance Law Annual 4: 779-827

Barry L. (2019). Justice ou justesse? L’équité de l’assurance. Working paper #15, chaire PARI.

Charpentier, A. & Denuit, M. (2004). Mathématiques de l’Assurance Non-Vie : Principes Généraux de Théorie du Risque. Economica.

Cramer, H. (1946). Mathematical Methods of Statistics. Princeton University Press.

Cummins, J.D., Smith, B.D., Vance, R.N. & VanDerhai, J.L. (1982). Risk Classification in Life Insurance. Kluwer-Nijhoff Publishing.

Ewald F. (1986). L’État providence. Grasset.

Fisher, R. A. (1936).  The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics. 7 (2): 179–188.

Frézal, S. & Barry, L. (2019). Fairness in Uncertainty: Some Limits and Misinterpretations of Actuarial Fairness, Journal of Business Ethics.

Goodfellow, U., Bengio, Y. & Courville, A. (2018) L’apprentissage profond. Massot Edition.

Hacking, I. (1975) The Emergence of Probability. Cambridge University Press

Hoy, M. (1982) Categorizing risks in the insurance industry, The Quarterly Journal of Economics 97: 321-336.

Kleindorfer, P. & Kunreuther, H. (1980) Misinformation and Equilibrium in Insurance Markets, in Economic Analysis of Regulated Markets, Jörg Finsinger Editor, Springer Verlag, 67-90

Kuhn, M. & Johnson, K. (2018). Applied Predictive Modeling. Springer Verlag.

Martin,G.D. (1976) Gender Discrimination in Pension Plans, Journal of Risk and Insurance 43.

McGrayne, S.B. (2012) The Theory That Would Not Die: How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy. Yale University Press.

Ramsey P.F. (1926). Truth and Probability.

Schauer, F. (2006) Profiles, Probabilities, and Stereotypes. Harvard University Press.

Von Mises, R. (1957). Probability, Statistics and Truth. Dover publications.

Wilson, C. (1977). A model of insurance markets with incomplete information. Journal of Economic Theory, 16:2, 167-207.

[1] Au sens statistique du mot, dans le sens introduit par Fisher (1936).

[2] Dans cette approche fréquentiste, et notamment pour Ronald Fisher et Richard von Mises, la probabilité d’un évènement unique (dit « one shot ») n’a pas de sens.

“Tout est poison, rien n’est poison : c’est la dose qui fait le poison”

disait Philippus Aureolus Theophrastus Bombastus von Hohenheim – ou Paracelse pour faire plus simple – ce fameux médecin et alchimiste suisse, mort en 1541. Cette citation pose la question du choix du seuil qui fait qu’un élément est dangereux dès qu’un seuil est franchi. Un peu comme en statistique, quand on dit (dans une régression) que si la p-value (associée à un test de Student) est inférieure à 5%, une variable est effectivement “explicative”, mais pas au delà de 5%. Le message est, bien entendu beaucoup plus subtil, en général. Mais le besoin d’avoir des seuils semble inscrit dans la nature humaine…

Cet été, je publiais mon billet Les autorités publiques face aux risques, de la confiance au doute écrit pour être publié dans la revue Risques, avec les contraintes usuelles de taille. Mais comme bien souvent, le brouillon initial faisait plusieurs pages, et j’ai mis de côté quelques éléments de réflexion, en particulier un long paragraphe sur la difficulté pour les scientifiques de diffuser un message (forcément) trop complexe pour être diffusé en une phrase choc.

Un soucis est qu’une vision utopique laissait penser qu’internet permettrait un accès à tous l’information. Malheureusement, la pluralité des sources permet surtout à tout un chacun de composer son propre menu, de se faire sa propre opinion, sur-mesure, parmi l’offre quasi-infinie qui lui est alors accessible. Mais comme le notait le précédant billet, le biais de confirmation va entrer en jeu. Pour reprendre l’exemple de Simon (1959), lorsque que l’on cherche à comprendre la prise de décision d’un agent (le fameux agent rationnel en théorie économique), si le problème est complexe, il ne va pas chercher la solution optimale, mais il se contentera d’une version qui le satisfait, tenant compte seulement de quelques informations jugées pertinente. On retrouve cette idée dans l’opposition entre le système 1 et le système 2, de Kahneman (2011), ou la notion d’avarice cognitive de Fiske & Taylor (1984). Ce dernier concept explique que nous sommes souvent enclin à adhérer à des énoncés convaincants, même douteux, faute de temps ou de motivations. Comme le dit la formule, on se contente de croire, faut de temps pour savoir.

Car le savoir est rarement vendeur ! La recherche scientifique est rarement spectaculaire. Testart (2000) disait ainsi que « l’acte d’expertise n’est plus seulement fondé sur la validité de la connaissance, la caution scientifique qu’il confère à la décision, mais sur sa capacité à intégrer les incertitudes et à scénariser un avenir incertain ». On retrouve cette importance de la narration, que j’évoquais dans un précédant article (sur les “fake news” et la recherche de la vérité, justement). Si j’osais faire une parenthèse, c’est la grande difficulté de l’apprentissage de la recherche : on apprend à raisonner, à avoir une démarche scientifique, mais on apprend rarement à raconter une histoire, à écrire un papier qui sera lu.

De manière étonnante, le consensus scientifique crée souvent du doute, de la suspicion, comme je le notais dans mon précédant billet, dans le contexte du changement climatique. Dans une conférence au début du mois, une des chercheuses qui présentait des travaux sur l’analyse textuelle des “fake news” expliquait (je me permets de traduire en français ce que j’en ai retenu, la chercheuse parlant de la presse américaine) que les journalistes sont dans un moule “science-po” : tout sujet présenté doit avoir une thèse, suivi d’une anti-thèse, si possible présentées de manière égale, pour respecter une forme de neutralité. Si on parle d’un sujet qui fait consensus dans la communauté scientifique (on pourra parler de vérité “officielle”), on ira chercher une parole alternative, parfois présenté comme “indépendante”. Cette “indépendance” est alors présenté comme un gage de valeur, une garantie de vérité, les organismes devant prendre des décisions publiques (dont je parlais dans mon précédant billet) étant souvent présentés comme les garants de cette “vérité officielle” (alors que c’est souvent simplement que ces instances se sont tournés vers la littérature scientifique). Cette création artificielle de controverses a malheureusement des effets dramatiques, car on a finit par s’y habituer, le consensus devenant alors constamment suspect.

Fisker, S.T. & Taylor, S.E. (1984). Social cognition. Addison-Wesley.

Kahneman, D. (2011). Système 1 et système 2: Les deux vitesses de la pensée.

Simon, H.A. (1959) Theories of Decision-Making in Economics and Behavioral Science. American Economic Review, 49:3, 253-283.

Testart, J. (2000). Les experts, la science et la loi. Le Monde Diplomatique.

Intelligence artificielle et assurance IARD

L’intelligence artificielle pose de nombreux défis, tant technologiques qu’éthiques, voire philosophiques. Les problèmes les plus souvent évoqués étant le biais des données et la transparence des algorithmes (ou des modèles). Ce problème est bien connu en justice prédictive (les juristes parleraient de justice actuarielle) : les modèles doivent être interprétables, compréhensibles, et tenir compte du biais connu des données. Car à part les expériences randomisées, les données « neutres » ou « brutes » n’existent pas. Si je veux construire un score de fraude, j’utilise ainsi des données construites suite à des enquêtes pour fraudes, la majorité des observations découlant d’une suspicion préalable de fraude. Il est ainsi nécessaire de comprendre comment les données ont été collectées, ce que tout statisticien apprenait historiquement à faire. L’interprétabilité des modèles pose des questions complexes car elle est associée à un processus narratif, ce dernier proposant souvent une explication causale à un mécanisme (qui est souvent implicite dans l’idée du processus prédictif). Mais la grande majorité des modèles actuariels et d’apprentissage machine se contentent d’étudier des corrélations. Le genre est ainsi corrélé avec la sinistralité en assurance automobile, et les actuaires avaient pris l’habitude de justifier cette relation en recourant à des stéréotypes, de la même manière que la conduite d’une voiture de sport prêtait à un conducteur les pratiques de tous les conducteurs de voitures de sport. Cette généralisation par stéréotypes, au cœur du travail de l’actuaire, est aujourd’hui remise en cause par l’idée de personnalisation de l’assurance, comme cela s’observe également dans le domaine de la santé. Cette personnalisation est devenue indispensable en grande dimension : les classes de risques n’ont pas de sens. Avec plusieurs centaines de variables explicatives, plus aucun individu ne se ressemble, et il devient impossible de raconter une histoire autour d’un assuré « moyen ».

Cette personnalisation, qui flatte probablement l’ego de l’assuré, en le rendant unique casse l’idée de mutualisation et de segmentation de l’assurance. Historiquement, une forme de solidarité existait entre individus qui se ressemblaient, mais elle disparait dès lors que chaque assuré doit être vu comme un être unique. Si la théorie économique justifiait cette « spirale de la segmentation », la pratique et la théorie mathématique commence à cerner les limites. Segmenter trop signifie bien souvent que le modèle ne capture plus un signal de fond, et commence à modéliser du bruit, il overfit, et perd en généralisation : un modèle de tarification bon une année ne le sera peut-être plus l’année suivante. Les assureurs rêvent aujourd’hui en voyant les performances des modèles des GAFA qui arrivent à prédirent les prochains achats sur un site (probablement d’ailleurs en créant l’envie). Si des dialogues sont nécessaires entre ces deux mondes que tout oppose, la tortue conservatrice fascinée par son historique de données et le lièvre agile obsédé par l’avenir de l’autre, les modèles avancés d’apprentissage marchent souvent mal dans certains aspects de l’assurance IARD.

 Les algorithmes d’apprentissage profonds (des réseaux de neurones avec de très nombreuses couches, constituant des boîtes noires avec des milliers de paramètres) sont devenus incontournables pour analyser des images (prédire rapidement le coût d’un sinistre matériel automobile à partir d’une dizaine de photos du véhicule endommagé) ou pour analyser ou générer du texte (en offrant une assistance rapide et fiable à un assuré). Mais ils sont difficilement utilisables pour provisionner de manière robuste le coût d’un accident corporel et ils posent des questions intéressantes sur la tarification de l’assurance. Ces algorithmes ont été développés dans un contexte de classification, pour reconnaître des caractères manuscrits ou des objets sur une image et il y a des raisons simples pour comprendre qu’un chien est différent d’un chat sur une photo. Mais expliquer pourquoi Mr Dupont et pas Mme Dupond a eu un accident d’automobile l’an passé est plus complexe. Et ce n’est pas leur but : ces modèles visent à estimer la probabilité que Mr Dupont ait un accident dans l’année. Un modèle très poussé pourra prédire que la probabilité est de 17.23% (au lieu des 15.62% obtenue par un modèle jugé aujourd’hui trop simple), et la prime demandée doit alors augmenter de 10%. Mais est-ce si important si au final pendant les 8 années que Mr Dupont passera dans la compagnie, il n’aura aucun sinistre ? ou en aura un très grave ? L’assurance IARD relève bien souvent d’un aléa très important, la sinistralité étant en très grande partie imprévisible. Un danger est que ces algorithmes proposent des intervalles de prix beaucoup plus grands, et que la mise en compétition de ces modèles fera baisser les primes du marché. Si la sinistralité ne baisse pas en parallèle le marché perdra de l’argent, certains assureurs risquant alors de disparaître. En revanche, si ces nouvelles techniques permettent de réduire la sinistralité, tout le monde sera gagnant, mais cela suppose de faire davantage de prévention, cette dernière reposant sur l’identification de mécanismes causaux clairs, en identifiant quels leviers pourraient réduire la probabilité d’avoir un accident, et sa gravité.

La valeur de la vie humaine

L’article La Valeur de la Vie Humaine, co-écrit avec Béatrice Cherrier est paru dans le dernier numéro de la revue Risque.

En 1928, revenant sur la révolution chinoise de 1925, André Malraux publie son roman Les conquérants, et glisse « j’ai appris qu’une vie ne vaut rien, mais que rien ne vaut une vie ». Si la formule peut plaire, on imagine qu’elle n’aidera pas trop un décideur public. En 2013, le Commissariat général à la stratégie et à la prospective, en France, évaluait la valeur d’une vie à trois millions d’euros. Mais d’où sort ce chiffre ? Et que signifie-t-il vraiment ?

Optimal transport on large networks

With Alfred Galichon and Lucas Vernet, we recently uploaded a paper entitled optimal transport on large networks on arxiv.

This article presents a set of tools for the modeling of a spatial allocation problem in a large geographic market and gives examples of applications. In our settings, the market is described by a network that maps the cost of travel between each pair of adjacent locations. Two types of agents are located at the nodes of this network. The buyers choose the most competitive sellers depending on their prices and the cost to reach them. Their utility is assumed additive in both these quantities. Each seller, taking as given other sellers prices, sets her own price to have a demand equal to the one we observed. We give a linear programming formulation for the equilibrium conditions. After formally introducing our model we apply it on two examples: prices offered by petrol stations and quality of services provided by maternity wards (only the later is described here for privacy issues). These examples illustrate the applicability of our model to aggregate demand, rank prices and estimate cost structure over the network. We insist on the possibility of applications to large scale data sets using modern linear programming solvers such as Gurobi.

Demand for gas in gas stations in Britanny, and demand for maternity in France (with border correction)

In addition to this paper we released a R toolbox to implement our results and an online tutorial, optimalnetwork.github.io.

Pareto Models for Top Incomes

With Emmanuel Flachaire, we uploaded on hal a paper on Pareto Models for Top Incomes,

Top incomes are often related to Pareto distribution. To date, economists have mostly used Pareto Type I distribution to model the upper tail of income and wealth distribution. It is a parametric distribution, with an attractive property, that can be easily linked to economic theory. In this paper, we first show that modelling top incomes with Pareto Type I distribution can lead to severe over-estimation of inequality, even with millions of observations. Then, we show that the Generalized Pareto distribution and, even more, the Extended Pareto distribution, are much less sensitive to the choice of the threshold. Thus, they provide more reliable results. We discuss different types of bias that could be encountered in empirical studies and, we provide some guidance for practice. To illustrate, two applications are investigated, on the distribution of income in South Africa in 2012 and on the distribution of wealth in the United States in 2013.

This paper was presented at and UCSB and in several workshops this spring, and this Summer, Emmanuel will present it at ECINEQ.

Note that a R package is also available on github, TopIncomes.

Données Agrégées et Variables Compositionnelles

Avec Enora Belz, nous venons de mettre en ligne une note méthodologique, Données Agrégées et Variables Compositionnelles, sur hal.

La réforme du droit sur les données personnelles en Europe rend difficile l’accès aux données individuelles (même souvent non-nominatives), surtout quand on cherche des données jugées sensibles (et souvent, le revenu entre dans cette catégorie). Une solution souvent envisagée est la mise à disposition de données agrégées spatialement. Ces données posent toutefois deux problèmes techniques. Le premier est que les données catégorielles deviennent des compositions. Le second est lié au paradoxe écologique qui dit qu’il est dangereux d’inférer des relations économétriques individuelles à partir de données agrégées. Nous verrons ici comment travailler avec des données compositionnelles (pour éventuellement juste valider une approche classique de régression linéaire-plus simple à interpréter). Et nous évoquerons le second, mais qui reste malheureusement trop général pour pouvoir être traité de manière satisfaisante.

Extended Scale Free Networks

With Emmanuel Flachaire, we recently uploaded a short article, Extended Scale-Free Networks, on arxiv.

Recently, Broido & Clauset (2019) mentioned that (strict) Scale-Free networks were rare, in real life. This might be related to the statement of Stumpf, Wiuf & May (2005), that sub-networks of scale-free networks are not scale-free. In the later, those sub-networks are asymptotically scale-free, but one should not forget about second-order deviation (possibly also third order actually). In this article, we introduce a concept of extended scale-free network, inspired by the extended Pareto distribution, that actually is maybe more realistic to describe real network than the strict scale free property. This property is consistent with Stumpf, Wiuf & May (2005): sub-network of scale-free larger networks are not strictly scale-free, but extended scale-free.

From betting to “prediction market”

This is the second part of a series on sports betting

Sports betting has long fascinated economists and statisticians. Griffith (1949) showed early on that horse race bettors put too much money on horses that have little chance of winning, and too little on those that have the best chance of winning. This tendency to underbid on the most likely event has been obaserved in all sports betting, where the “most likely event” is calculated on the basis of recent statistics. And it can be explained in a fundamental way by the mechanics of mutual betting: the bettor opposes his beliefs to those of the crowd, because the various bets will determine the odds.

Predictions, before surveys

Today, in the months leading up to each election, we find ourselves drowned under the polls, conducted every day (and commented on several times a day, as if estimation noise was worth exegesis). As Frédéric Dabi (Deputy Director General of Ifop) pointed out in a debate organised by Risques magazine in 2017, “surveys are an indication of the electoral balance of power, not a prediction”, but it is nevertheless often in the idea of having a prediction that they are used.

But if we go back in time, Rhode & Strumpf (2008) reminds us that other techniques were used, before the idea of surveys became necessary, in particular betting. In 1549, Matteo Dandolo (Ambassador of Veneto) noted that “it is therefore more than clear that the traders are very well informed of the state of the election, and that the employees of the cardinals in conclave (i conclavisti) participate with them in betting, which therefore leads to several tens of thousands of crowns changing hands” as Baumgartner (2003) tells us. Closer to home, betting markets during the elections were popular in the United States until the Second World War. Rhode & Strumpf (2008) suggests several reasons for the loss of interest in the second half of the 20th century: improvements in sampling techniques… and the legalization of horse betting. But online betting sites have revived interest in betting, whatever it may be. Because the sites we mentioned in a previous article are often not limited to sports betting, but also allow betting on a magnitude earthquake, an Oscar winner, or even the observation of the Higgs boson, as proposed by intrade.com, which was liquidated in 2015. As onlinebettingsites.com shows, we could bet on the French elections in 2017, or on the referendum on Brexit (even if for the latter, the predictive markets were not able to reflect the beliefs of the crowds, as an article in The Economist recalls).

Mathématiques du pari-mutuel

The “pari-mutual” theory is not unlike the mutualisation of risks, an important foundation of the insurance mechanism, dear to actuaries. Working in the horse betting markets, Edmund Eisenberg and David Gale obtained, in a short three-page article, Consensus of Subjective Probabilities, relatively general results, as long as the bet is static.

Supposons que I joueurs puissent parier sur J chevaux. Chaque joueur possède une somme totale bi, que l’on normalisera de telle sorte que bi désigne la part de la somme totale misée (et donc b1 +…+ bI =1). Le joueur i peut alors miser la somme bi,j sur le cheval j (avec ici bi,1+…+bi,J = bi). Lorsque les paris sont clôturés, on note pj le montant parié sur le cheval j, autrement dit b1,j+…+bI,j = pj). La contrainte de budget impose que la somme de ces montants soit égale a 1, ce qui donne aux pj une interprétation probabiliste. Nous reviendrons sur l’utilisation de ces « prix » par la suite. On peut aussi noter qj la cote de gain (payoff-odds) définie comme pj-1-1, de telle sorte que pj=(1+ qj) -1. Si on suppose qu’une portion 1-a est gardée par le bookmaker, alors pj= a(1+ qj) -1 et qj =( a -pj)/ pj. Les rendements espérés sur chacun des chevaux doivent être égaux, à l’équilibre, au rendement net attendu, où l’espérance est calculée sous la probabilité p, de manière à refléter les croyances de tous les parieur, soit ici

pjqj+ (1-pj)(-1)= a-1

The key result of the Eisenberg & Gale model is to show that there is a balance in this market. More precisely, the fraction bet on each horse must be equal to the probability of the horse market. To achieve this balance, it is often assumed that the equilibrium ratings are found by an auctioneer (this role will be played by the bookmaker). As Blough (2008) noted, the hypothesis that no wagering is made until the odds are balanced is a hypothesis that is indeed true in horse racing.

If we assume that each bettor is risk neutral (and seeks to maximize his expectation of winning) and that his beliefs are materialized by a probability vectors pi=(pi1,…,piJ) – in the sense that player i thinks that horse j will win with a probability pij – then at equilibrium, if bi,j >0,

pij=pj max{pis/ps}

where argmax{pis/ps}= argmax{pis(qs+1)}

s the horse on which bettor i must bet everything if he bets on a single horse. Blough (2008) elaborates at length on the description of this balance, and extends it to the case where agents potentially have risk aversion (but the same) and potentially different beliefs. This balance is then described as a consensus of belief.

In an article entitled Interpreting the Predictions of Prediction Markets, Charles Manski proposed using this theory to interpret these prices, in conjunction with more traditional approaches in economics, such as Arrow-Debreu prices.

To illustrate this consensus, let us consider a world cup final that should lead either to the victory of A or the victory of B. Let us imagine a contract offering $1 if A wins, and let this contract be offered at price pA. Si on n’autorise pas d’arbitrage, on a une loi du prix unique, et on en déduit que pB = 1-pA. Imaginons un joueur qui pense que la probabilité que A gagne est supérieure à pA, soit, avec les notations précédentes, piA > pA. Dans ce cas, le joueur a intérêt à parier tout son agent sur la victoire de A, c’est-à-dire acheter ce contrat. La demande agrégée pour ce titre sera alors

[b1P[p1A > pA]+…+ bI P[pIA > pA]] / pA

et on aura un équilibre si la demande agrégée pour les deux titres vérifie

[b1P[p1A > pA]+…+ bI P[pIA > pA]] / pA  

= [b1P[p1A < pA]+…+ bI P[pIA < pA]] / pB

 de telle sorte que

pA = b1P[p1A > pA]+…+ biP[piA > pA]] +…+ bIP[pIA > pA]

which allows the prize to be written as an average of the players’ beliefs.

It should be noted here that the balance is static, allowing the bookmaker to just set a rating. Recently, Agrawal et al (2014) proposed an algorithm to balance this market in continuous time. It may also be noted that this notion of equilibrium appears in many algorithms, such as in the so-called Fisher market.

The predictive power of prices

But this idea of seeing in the prices an aggregation of players’ beliefs is not new! In 1655, in Van Rekeningh in Spelen van Gelucken, (published in Latin under the title’De Ratiociniis in Aleæ Ludo’), Christiaan Huyghens proposed to extract information on beliefs from prices. In 1671, Wilhelmina de Witt noted that, as the price of a contract paying an annuity until death could be seen as a weighted average of annuities (with a fixed maturity), by observing the prices of the different insurance contracts, probabilities interpreted as probabilities of survival could be extracted.

These probabilities are “subjective” as Bruno de Finetti or Frank Ramsey called them. The latter did not see probabilities from a frequentist angle, but saw it as a measure of the degree of belief, which could be measured through bets, in Truth and Probability (1926). This is finally what the theory presented by Kenneth Arrow in 1953, and further developed by Gérard Debreu in 1959, introducing the “Arrow-Debreu prices”, says.

Many websites use odds to infer players’ beliefs, which are misrepresented as the probability that a team will win a competition. We can also note the work carried out last summer by doctoral students at the University of Rennes who had compared the odds on online betting sites, and the forecasts obtained by several algorithms (ranging from a naive Bayesian classifier to boosting, SVM or neural networks). A special issue of The Economist, published in 2007, entitled The Future of Futurology, noted that “the most heeded futurists these days are not individuals, but prediction markets, where the informed guesswork of many is consolidated into hard probability”. This idea has now largely returned to the forefront, as predicted in the article by Chen & Pennock (2010) published in AI Magazine.

Agrawal, Shipra, Delage, Erick, Peters, Mark, Wang, Zizhuo & Ye, Yinyu (2014). A Unified Framework for Dynamic Prediction Market Design. Operations Research.

Baron, Ken & Lange, Jeffrey (2006). Parimutuel Applications In Finance: New Markets for New Risks. Springer.

Baumgartner, Frederic (2003) Behind locked doors: a history of papal elections. Palgrave.

Blough, Stephen R. (2008) Differences of opinion at the racetrack. In Efficiency of Racetrack Betting Markets, 323-341, World Scientific.

Chen, Yiling & Pennock, David (2010). Designing Markets for Prediction. AI Magazine.

Decker, Wolfgang & Thuillier, Jean-Paul (2004). Le sport dans l’antiquité. Picard.

Eisenberg, Edmund & Gale, David (1959). Consensus of Subjective Probabilities: The Pari-Mutuel Method. Annals of Mathematical Statistics, 30:1, 165-168.

Griffith, RM (1949) Odds adjustments by American horse-race bettors. The American Journal of Psychology, 62, 290-294.

Manski, Charles (2005) Interpreting the Predictions of Prediction Markets. NBER 10359.

Rhode, Paul, W. & Strumpf, Koleman (2008) Historical Political Futures Markets: An International Perspective. NBER 14377.

[1] Baron & Lange (2006) discusses the comparison between so-called “risk-neutral” valuation in finance (based on the law of single price and arbitrage), and that relating to mutual betting. They thus speak of “self-hedging” because, in a bet, the bettors share the winnings in proportion to their initial bet. This is reminiscent of the way mutual insurance companies operate, where the money used to compensate victims must correspond to the total premiums charged.

 

La valeur de la vie

Un court article, écrit conjointement avec Béatrice Cherrier… Tous les commentaires sont les bienvenus !

En 1928, revenant sur la révolution chinoise de 1925, André Malraux publie son roman Les Conquérants, et glisse « j’ai appris qu’une vie ne vaut rien, mais que rien ne vaut une vie ». Si la formule peut plaire, on imagine qu’elle n’aidera pas trop un décideur public. En 2013, le Commissariat Général à la stratégie et à la prospective, en France, évaluait la valeur d’une vie à 3 millions d’euros. Mais d’où sort ce chiffre ? Et que signifie-t-il vraiment ?

Sauver une vie vaut-il le coup?

Chiffrer une vie est en effet un problème auxquels les assureurs, mais aussi les décideurs publics sont confrontés bien plus souvent qu’il n’y paraît. Après l’effondrement du World Trade Center en 2011, le Congrès américain adopta la Loi sur la sécurité du transport aérien et la stabilisation des systèmes. Cette nouvelle loi prévoyait la création d’un fonds spécial pour indemniser les victimes des attentats du 11 septembre 2001. Le montant de l’indemnité, et les personnes qui y auraient droit, seraient décidées par un fonctionnaire tout-puissant. Ce « special master,» Kenneth Feinberg, explique dans un ouvrage qui revient sur son expérience (Feinberg 2006) que le gouvernement souhaitait éviter une avalanche de poursuites pour préjudices corporels. Cela aurait pu plonger l’industrie du transport aérien dans la tourmente.

Un cadre très strict fut donc instauré : seules les victimes « ayant recu un traitement à l’hopital dans les 72 heures qui suivirent les attaques », blessées aux abords du World Trade Center et du Pengatone, ainsi que leurs conjoints et enfants – mais pas leurs parents – furent déclarés admissibles à une indemnisation. Le fond accorda plus de 7 milliards de dollars à 5 560 victimes et membres de leur famille. Feinberg se devait, légalement, d’étalonner les dommages et intérêts en fonction de la « valeur financière » de la victime décédée. Il dû ainsi expliquer à la femme d’un pompier, par exemple, que son mari valait moins qu’un courtier d’assurance.

En France, le récent passage aux 80km/h sur les routes à deux voies fut aussi partiellement justifié par les vies sauvées. Alors que le premier ministre se réjouissait, en janvier, d’un bilan de 116 vies épargnées, la journaliste Alba Ventura (2019) s’interroge sur RTL : « s’il s’agit de ne sauver qu’une vie, est-ce que ça ne vaut pas le coup ? » Le support radiophonique ajoute à l’ambigüité. Demande-t-elle en fait si « cela ne vaut pas le coût? »  Car le problème est bien celui des méthodes employées par la puissance publique pour chiffrer le prix d’une vie, sauvée ou perdue.

La valeur d’une vie humaine comme taux marginal de substitution

A la fin des années 1940, l’US Air Force cherchait à maximiser les dommages infligés par ses raids aériens contre l’Union Soviétique. Quand un groupe de chercheurs de la RAND Corporation proposa de faire voler un grand nombre d’avions peu coûteux pour leurrer les défenses aériennes soviétiques, les généraux de l’Air Force refusèrent l’idée, arguant que le coût de la vie des pilotes sacrifiés ne figurait pas dans les calculs. Comme le rappelle Spencer Banzhaf (2014),  l’économiste de la défense Jack Hirshleifer choisit alors de calculer valeur de la vie d’un pilote en intégrant le coût de sa formation et de son remplacement. Cette réponse avait l’avantage d’utiliser des grandeurs directement monétaires, et facilement quantifiables. Dans les années 1960, sur l’influence des réflexions autour du capital humain, il fut suggéré d’utiliser une estimation des salaires nets actualisés perçus au cours d’une vie de pilote, supposés refléter l’utilité matérielle du métier. Ces méthodes restaient dans la lignée de celles définies par Louis Dublin et Alfred Lotka pour les compagnies d’assurance dans l’entre-deux-guerres (Cavalin 2016).

S’il reprend comme titre le slogan publicitaire d’une compagnie d’assurance, popularisé par des organismes de sécurité routière ( « The Life You Save May Be Your Own »),Thomas Schelling, prix Nobel d’économie en 2005, publie en 1968 un article qui rompt largement avec cette tradition.  Il utilise en fait le travail de l’un de ses étudiants (et ancien pilote militaire) Jack Carlson, qui cherchait à évaluer si lcertains investissements en matière de sécurité (pour les pilotes) « valaient le coût ». Le coût d’un système d’éjection des avions B-58 était par exemple de l’ordre de 80 000 dollars, pour un gain substantiel sur la probabilité de survie. C’est cette idée de lier la valeur de la vie avec la notion de risque qui permis à Schelling de développer le concept de « valeur statistique » de la vie.

L’innovation majeur de Schelling consistait à impliquer les citoyen.ne.s dans l’évaluation de la valeur de leur propre vie. Puisqu’il était stérile de leur demander de chiffrer leur propre vie de but en blanc, on pouvait en révanche adapter la méthode de Carlson en leur  demandant, par exemple, combien ils et elles seraient prêtes à dépenser pour un airbag, ou un traitement médical, qui diminuerait leur taux de mortalité de 1%. Ainsi, en se plaçant dans un diagramme représentant en abscisse la probabilité de survie où l’espérance de vie résiduelle et en ordonnée la richesse, comme sur la Figure 1, pouvait-on construire des courbes d’indifférence liant richesse et survie : quelle somme accepte-t-on (marginalement) de dépenser pour gagner statistiquement un peu de vie, soit en diminuant sa probabilité de décès, soit en allongeant son espérance de vie ? Dans l’exemple ci-dessous, la valeur de la vie est simplement la dérivée de la courbe d’indifférence.

Figure 1 : Arbitrage entre espérance de vie et richesse.

La valeur de la vie n’est alors pas une grandeur constante, mais dépend de la situation dans laquelle on se trouve. Aussi,SVL=\frac{d\omega}{d\text{E}}=\frac{d\omega}{d\text{p}}suivant qu’on la calcule par rapport à une variation de l’espérance de vie, ou de la probabilité de décès. Si on a une espérance de vie résiduelle plus ou moins grande (à gauche ou à droite), ou si on est plus ou moins riche (en haut ou en bas), la pente ne sera pas la même. Un exemple classique est celui d’une roulette russe, avec un pistolet a douze chambres. Supposons qu’il y a 3 balles, quel serait le montant que l’on serait prêt à payer pour enlever une balle ? Que deviendrait ce montant s’il y avait 9 balles et qu’on souhaite en enlever plusieurs ? Supposons que la valeur statistique de la vie soit de 3 millions d’euros. Dans le premier cas, la probabilité passe de 3/12 à 2/12, soit dp_1=1/12 (soit une baisse de 1/3). Dans le second cas, pour avoir aussi une baisse de 1/3, il faudrait passer de 9/12 a 6/12, soit dp_2=3/12. Si on suppose que la valeur statistique de la vie est constante, alors d\omega_2/d\omega_1=d\text{p}_2/d\text{p}_1=3, et on devrait être prêt à dépenser 3 fois plus pour une même baisse relative de probabilité de décès.

D’un point de vue heuristique, dans le second cas, on est dans une situation un peu désespérée (on a 3 chances sur 4 de mourir) et donc toute solution est bonne à prendre, quelle que soit son prix ! C’est ce que l’on retrouve au travers de la convexité de la courbe de droite sur la Figure 1 : si ma probabilité de décès est élevée (à droite sur l’axe des abscisses), je suis prêt à dépenser beaucoup, pour un faible gain. Cette manière d’évaluer sa propre vie, proposée par Schelling, est souvent, appelée « gunpoint value.»

Sauver ma vie, ou celle d’autrui ?

Mais cette approche répond-elle vraiment à la question de départ ? La vie sauvée par une mesure de sécurité contraignante et couteuse est rarement celle de la personne qui prend une décision. Cette tension est particulièrement visible au sein des débats français sur la mesure de la valeur d’une vie, puisqu’à la différence des Etats-Unis celle-ci est largement le fait d’ingénieurs-économistes recrutés par l’Etat afin de mettre en place des politiques publiques visant a augmenter le bien-être des populations. La question de la sécurité routière est à l’origine d’un article fondateur sur le sujet, présenté par deux ingénieurs des ponts et chaussées, Claude Abraham et Jacques Thedie, au colloque annuel de recherche opérationnelle d’Aix-en-Provence en 1960.

Répondant à la question « combien une collectivité doit dépenser pour sauver une vie humaine », ils pointent deux types d’éléments à quantifier. Les éléments « objectifs » de nature « économique, » quantifiable en actualisant les pertes de salaires directes et les pertes de production et de consommation, grâce un raisonnement pragmatique qui mélange capital humain et analyse macroéonomique. Par exemple, un homme de 41-45 ans a une valeur de production deux fois supérieure à un homme de 56-60 ans, et sa valeur de consommation est 50% plus élevée. Mais la perte d’un homme de plus de 65 ans est en réalité un gain, ce qui montre l’importance d’intégrer les éléments « affectifs.» Puisque leur évaluation est autrement plus difficile, ceux-ci s’en remettent à l’estimation faite par les tribunaux en matière d’indemnisation des dommages personnels, en particulier l’attribution d’un praetium doloris.

Comme le relate Daniel Benamouzig (2005), les aspects théoriques, techniques, éthiques et métaphysiques du principe et de la méthode de la quantification d’une valeur de vie présentés par Abraham et Thédié, et en particulier de l’application de telles méthodes dans le champ de la santé, firent l’objet de débats houleux. Ceux-ci n’ont d’ailleurs toujours pas fait l’objet de résolution consensuelle. Françoise Favre (1970) note par exemple que l’utilisation du calcul économique de la valeur d’une année-vie pour décider si un dépistage systématique du cancer du col de l’utérus doit être mis en place peut conduire par construction une réponse négative. En effet, la valeur marchande du travail féminin qui sert de base au calcul est largement inférieur à celle du travail masculin, ce qui crée des inégalités de traitement hommes-femmes.

Adoptant un cadre éthique et théorique empruntant au choix social, Jacques Drèze (1962) propose une méthode de calcul alternative plus proche de celle développée par Schelling. Une décision publique doivent se fonder sur les préférences de la collectivité issues de l’agregation des utilités individuelles pour la décision en question. Une solution aux problèmes de mesure et d’incommensurabilités soulevé par Abraham et Thédié consiste a poser la question aux citoyens « combien la collectivité doit-elle dépenser, selon vous, pour sauver une vie? » L’utilité de la vie peut-être calculée en identifiant la disposition individuelle subjective à payer pour prolonger sa vie en écartant un risque déterminé, ajoute Drèze. Celui-ci conclue que sa méthode conduit à une estimation de la valeur de vie nettement supérieure à celle à laquelle aboutissent ces collègues. La sensibilité des évaluations aux méthodes de calcul, est, aujourd’hui encore, un problème majeur.

Plusieurs méthodes, plusieurs valeurs ?

Biausque (2011) reprend plusieurs études, afin d’estimer la valeur (statistique) de la vie, face à des risques environnementaux, de sante ou routier que l’on peut résumer dans le Tableau 1.

Environnement Santé Trafic routier
Nb d’études 51 250 65
Moyenne (€) 2 455 982 2 574 149 4 884 853
Minimum (€) 24 427 4 450 267 615
Maximum (€) 7 641 706 22 100 000 17 500 000

Tableau 1 : source Biausque (2011).

On voit que ces calculs sont complexes, et donnent lieu à des ordres de grandeurs très différents les uns des autres. La variabilité entre individus était évoquée dans Feinberg (2006) qui expliquait qu’il pouvait être économiquement juste à dire que la vie d’un trader de 25 ans “valait plus” qu’un pompier de 45 ans. Mais c’est surtout la variabilité entre les méthodes, que l’on retrouve également dans Hugonnier et al. (2018) qui surprend, et dérange, avec un facteur allant de 1 à 20 suivant la méthode utilisée.

état de santé Quintile

0%-20%

Quintile

40%-60%

Quintile

80%-100%

Statistique ‘fair’ 4 380 000 4 400 000 7 890 000
‘very good’ 8 800 000 8 830 000 12 135 000
Gunpoint ‘fair’ 235 000 235 000 422 000
‘very good’ 590 000 590 000 650 000
Capital humain 250 000 390 000 525 000

Tableau 2 : source Hugonnier et al. (2018)

Le Tableau 2 reprend la valeur statistique (inspirée de Drèze 1962), celle basée sur des calculs de capital humain, ainsi qu’une « gunpoint value », en fonction du niveau de richesse de la personne qui décède (niveaux de quantiles) et de l’état de santé de la personne (avant son décès).

Ces tableaux montrent à quel point il est difficile d’évaluer la vie de personnes impliquées dans un accident mortel. On essaye d’imaginer la valeur de la vie d’un « individu représentatif » (peut être en fonction de son état de santé, de son âge, de son revenu). Mais comment faire pour attribuer une valeur à une vie qui n’existe pas encore ? Car nombre de décisions prises aujourd’hui impactant aussi les « générations futures », c’est-à-dire des personnes qui aujourd’hui n’existent pas… Est-il possible de donner une valeur à la vie de ces personnes ? Car c’est normalement ce qu’il convient de faire si on veut mettre en place une politique visant à limiter le réchauffement climatique.

References

Abraham, С. & Thedié, J. 1960 Le prix d’une vie humaine dans les décisions économiques. Revue française de Recherche opérationnelle. 16 : 157-168

Banzhaf, Spenser H. 2014. Retrospectives: The Cold-War Origins of the Value of Statistical Life. Journal of Economic Perspective, 28 :4, 213-226.

Benamouzig, Daniel. 2005. La Santé au miroir de l’Economie. Paris : PUF

Biausque V. 2011, Valeur statistique de la vie humaine : une méta-analyse. OCDE

Cavalin, C. 2016. « La valeur d’une vie statistique : histoire américaine, histoire de la pensée économique. » Incidence 12.

Commissariat général à la stratégie et à la prospective 2013. Éléments pour une révision de la valeur de la vie humaine. http://www.strategie.gouv.fr/

Costa, Dora L. & Kahn Matthew E. 2004. Changes in the value of life, 1940-1980. Journal of Risk and Uncertainty, 29 :2, 159-180

Drèze, Jacques 1962. L’utilité sociale d’une vie humaine. Revue française de recherche opérationnelle 23 : 3 -28

Fabre, Françoise. 1970. « Une étude économique de la prévention et du dépistage précoce du cancer du col de l’utérus » Cahiers du Séminaire d’Econometrie 12, 121-143

Feinberg, Kenneth R. 2006. What Is Life Worth?: The Inside Story of the 9/11 Fund and Its Effort to Compensate the Victims of September 11th. Public Affairs.

Johansson, Per-Olov, 2000. Is there a meaningful definition of the value of statistical life? Journal of Health Economics, 20, 131-139

Hugonnier, J., Pelgrin, F. & St-Amour, P. 2018. Valuing Life as an Asset, as a Statistic and at Gunpoint. Swiss Finance Institute Research Paper 18-27

Lery, Simon 2004. Arbitrages : le prix de la vie. Alternatives Economiques, 223.

Mrozek, Janusz R. & Taylor, Laura O. 2002. What determines the value of life : a meta analysis. Journal of Policy Analysis and Management, 21 :2, 253–270

Schelling, T.C. 1968. ‘The life you save may be your own.’ In Problems in PublicExpenditure Analysis ed. Samuel B. Chase (Washington DC: Brookings Institution) 127–162

Ventura, Alba. 2019. 80km/h : « S’il s’agit de ne sauver qu’une vie, est-ce que ça ne vaut pas le coup ? », RTL, 29 janvier 2019.

A brief history of sports betting

this article was originaly published – in French – in variance.eu

A report by the American Gaming Association (May 2017) estimated that between $100 billion and $400 billion was bet each year on an estimated gross income of between $5 billion and $20 billion, just for sports betting. We will return here to a brief history of sports betting, emphasizing the concept of pari-mutuel betting. We will see, in a second article, the links of this principle with mathematical finance, and insurance.

From games to sports

Sports betting has been around for a long time, even if the origin of the first bet is impossible to date. We can think of the Greeks, inventors of the Olympic Games, where it was not uncommon for spectators to bet among themselves on the winners (Decker & Thuiller, 2004). Closer to home, as Georges Vigarello reminds us, “Under the Ancien Régime, gambling was the subject of a real passion. It takes the form of either betting games or prize games.

The first, bets, are made between people from the same social world, between farmers or between nobles. The second, the prize games, take place during parish celebrations, and show different regional practices, with the struggle in Brittany, or the jump in Provence. We can also think of the confrontations between villages at the soule for example. Among the nobles, prize games are organized for special occasions (birth or wedding). These games were recreational and festive moments.

It was not until the end of the 19th century that gambling became a sport, in line with the hygienist theories of the time. We can think of Baron Pierre de Coubertin, who wanted to “use all the means appropriate to develop our physical qualities to make them serve the collective good” through “sport”. We will find the Baron again in 1887 with the creation of the Union of French Societies of Athletic Sports, the official appearance of the notion of “sport”, replacing that of “game”, as Dietschy & Clastres (2006) points out, noting in passing that this Union is based on amateurism, in reaction against the companies of cycling (from 1860) and walking (around 1870) which resumed the traditions of price and betting games. Around 1890, this union, dedicated to athletics, opened up to other sports (rugby, field hockey, fencing, swimming) which were represented by specialized commissions.

The first bookmakers and gambling

A little earlier, during the Industrial Revolution, horse betting organised by bookmakers developed. These bets were popular in the United Kingdom in the 16th and 17th centuries, but remained reserved for the aristocracy and the landed gentry. And in reality, only horse owners were allowed to bet on the results of these private races, known as “matches”. One of his races, launched by the twelfth Earl of Derby (Edward Smith-Stanley) around 1870, also left its mark on sporting vocabulary. If these races were originally private, Charles II’s passion for these races made them more ambitious, attracting huge crowds, betting more and more important sums. Innkeepers and pub owners were then major promoters of these races, which encouraged owners to organize the races near their establishments. They then naturally became the first bookmakers, organizing the first steeple-chases, a form of race (first created in Ireland) where riders ran from one church tower to another by jumping everything in their path! In 1826, at the stables in Saint Alban, north of London, the idea of horses starting and finishing in the same place was launched, giving rise to modern racecourses.

Betting was not yet regulated and betting on races was based on a credit system. And since gambling near a place where alcohol was available in large quantities can have dramatic consequences, the British government banned gambling in pubs, which led to the opening of betting shops, run by bookmakers, with the adoption of the Gambling Act in 1845. The bookmakers not only played the role of scribes, keeping track of transactions in registers, they also served as arbitrators in betting. The bookmaker has become the intermediary with whom to bet, he receives the bets, but does not bet against the player. The arbitrator does not only act at the end, in the event of a dispute, but above all to make the bet official. Indeed, cash bets were rare, and bookmakers decided whether the items bet had the same value and, if not, what the difference was. One of the players then adds money to a cap. Players put their hands in the hat and remove them, either to agree with the assessment or to indicate their disagreement. This is referred to as “hand in cap”, which refers to the amount of money needed to ensure a fair bet. The word “handicap” was then commonly used in horse betting (to designate disadvantaged participants at the start of a race) and then to have a medical connotation from 1950 onwards.

Thereafter, bookmakers will not lack imagination, introducing cash bets, then offering fixed odds against each horse in a race. Parliament then went backwards with the Suppression of Betting Houses Act in 1853. Credit institutions and games of chance on racetracks were allowed. At the same time, in France, Léon Sari invented the “pari mutuel” in 1857 with Charles de Morny, owner of the Maisons-Laffitte racetracks (which became a building with stands in June 1878). Joseph Oller, who co-founded the Moulin-Rouge, is the concessionaire. As the Senate report on gambling in France reminds us, the law of June 2, 1891 legalizes betting on horse races and establishes the principle of mutualization. As we will see later, this principle means that bettors play against each other and share the winnings (once the legal levies provided for by law have been made for the benefit of the State and the institution of racing). In mathematical finance, we speak of “self-hedging strategy”. In March 1931, the PMU (“pari mutuel urbain”) was born, and it was not until 1985 that the “sports lotto” arrived.

From horses to other sports

The “pool” has long referred in England to a game of cards played for collective stakes, drawing its etymology from the French “hen”, or rather from the old French “hen”, referring to a young poultry (we will find the Latin word pulla, de pullus, the “young animal”), but also “booty” or “looting”. Here we find the idea of playing for money. This use can be traced back to 1870 (in the sense of “collective betting”) before becoming a pool during the First World War, and then to designate a group of people sharing skills. As early as 1920, the term “football pool” was coined, as recalled by Forrest (1999).

In Liverpool, England, John Moores founded Littlewoods in 1923, a retail company, before launching mail order sales, while offering football bets. The most famous game was the “Treble Chance”, where players could choose to bet on 10, 11 or 12 football matches for the coming weekend. Anecdotally, as noted by Forrest & Pérez (20013), when a match could not take place (for example because of rain), a panel of experts appointed by Littlewoods had to model the match, and provide a forecast. After the Second World War, in Europe, we will see the arrival of so-called 1X2 formulas where the player must predict whether, in a set of 12 to 15 games, the home team will win (1), lose (2) or draw (X). It can be noted that these “football pools” could refer to any form of pari-mutuel betting, very strongly resembling a lotto. The main difference is that in the lottery, the draw is supposed to be a pure random process, unlike football matches. And for the players, the difference is significant! In the 1980s, Liverpool was one of the largest private companies in Europe. Before decreasing with the birth of online betting sites….

Internet and online betting

Now, in addition to the betting companies that still exist in the United Kingdom, the strong point of bookmakers is their online presence. The first sites were created around 1995, for example Intertops, which was based on a law passed by the island nation of Antigua and Barbuda (an officially independent, Commonwealth member country) in 1994, granting licences to companies wishing to provide gambling services over the Internet (subsequently, they obtained licences from the Mohawk territory of Kahnawake in Quebec, or Malta). Betting on sports events has quickly become very popular.

In 2000, Betfair was launched, and revolutionized the industry: Betfair itself did not take customer bets, but rather offered customers to place bets between them. These peer-to-peer betting was quickly very popular. In 2002, the first live betting was launched, offering bettors the opportunity to bet on a sporting event while it was taking place. Today, on lƒes larger sites, all kinds of sports are available, whether collective (football, basketball) or individual (tennis, boxing), with possibly a competition involving more than two players or teams (athletics, cycling). The player can choose an objective, which can be a final score (1X2 in football), a number of goals scored, etc., then he concludes the bet by choosing the amount he is willing to bet (the bet). On all sites, no less than 20,000 bets are possible every day.

Decker, Wolfgang & Thuillier, Jean-Paul (2004). Le sport dans l’antiquité. Picard.

Dietschy, Paul & Clastres, Patrick (2006). Sport, société et culture en France du XIXe siècle à nos jours. Hachette, Carré Histoire.

Forrest, David (1999). The Past and Future of the British Football Pools. Journal of Gambling Studies, 15:2, 161-176.

Forrest, David & Pérez, Levi (2013) The Football Pools in The Oxford Handbook of the Economics of Gambling, 147-162

Vigarello, Georges (2004) Le sport est-il encore un jeu ? Sciences Humaines, no 152.

To be continued…. with a post on how bets, predictions and players’ beliefs are linked.

Foundations of Machine Learning, part 5

This post is the nineth (and probably last) one of our series on the history and foundations of econometric and machine learning models. The first fours were on econometrics techniques. Part 8 is online here.

Optimization and algorithmic aspects

In econometrics, (numerical) optimization became omnipresent as soon as we left the Gaussian model. We briefly mentioned it in the section on the exponential family, and the use of the Fisher score (gradient descent) to solve the first order condition \mathbf{X}^T W(\beta)^{-1})[y-\widehat{y}]=\mathbf{0}. In learning, optimization is the central tool. And it is necessary to have effective optimization algorithms, to solve problems (described previously) of the form: \widehat{\beta}\in\underset{\beta\in\mathbb{R}^p}{\text{argmin}}\left\lbrace\sum_{i=1}^n \ell(y_i,\beta_0+\mathbf{x}^T\beta)+\lambda\Vert\boldsymbol{\beta}\Vert\right\rbraceIn some cases, instead of global optimization, it is sufficient to consider optimization by coordinates (widely studied in Daubechies et al. (2004)). If f:\mathbb{R}^d\rightarrow\mathbf{R} is convex and differentiable, if \mathbf{x} satisfies f(\mathbf{x}+h\boldsymbol{e}_i)\geq f(\mathbf{x}) for any h>0 and i\in\{1,\cdots, d\}then f(\mathbf{x})=\min\{f\}, where \mathbf{e}=(\mathbf{e}_i) is the canonical basis of \mathbb{R}^d. However, this property is not true in the non-differentiable case. But if we assume that the non-differentiable part is separable (additively), it becomes true again. More specifically, iff(\mathbf{x})=g(\mathbf{x})+\sum_{i=1}^d h_i(x_i)with\left\lbrace\begin{array}{l}g: \mathbb{R}^d\rightarrow\mathbb{R}\text{ convex-differentiable}\\h_i: \mathbb{R}\rightarrow\mathbb{R}\text{ convex}\end{array}\right.This was the case for Lasso regression, \beta)\mapsto\| \mathbf{y}-\beta_0-\mathbf{X}\beta\|_{\ell_2 }+\lambda\|\beta\|_{\ell_1}, as shown by Tsen (2001). Getting back to our initial notations, we can use a coordinate descent algorithm: from an initial value \mathbf{x}^{(0)}, we consider (by iterating)x_j^{(k)}\in\text{argmin}\big\lbrace f(x_1^{(k)},\cdots,x_{k-1}^{(k)},x_k,x_{k+1}^{(k-1)},\cdots,x_n^{(k-1)})\big\rbrace for j=1,2,\cdots,nThese algorithmic problems and numerical issues may seem secondary to econometricians. However, they are essential in automatic learning: a technique is interesting if there is a stable and fast algorithm, which allows to obtain a solution. These optimization techniques can be transposed: for example, this coordinate descent technique can be used in the case of SVM methods (known as “vector support” methods) when the space is not linearly separable, and the classification error must be penalized (we will come back to this technique in the next section).

In-sample, out-of-sample and cross-validation

These techniques seem intellectually interesting, but we have not yet discussed the choice of the penalty parameter \lambda. But this problem is actually more general, because comparing two parameters \widehat{\beta}_{\lambda_1} and \widehat{\beta}_{\lambda_2} is actually comparing two models. In particular, if we use a Lasso method, with different thresholds \lambda, we compare models that do not have the same dimension. Previously, we have addressed the problem of model comparison from an econometric perspective (by penalizing overly complex models). In the learning literature, judging the quality of a model on the data used to construct it does not make it possible to know how the model will behave on new data. This is the so-called “generalization” problem. The traditional approach then consists in separating the sample (size n) into two parts: a part that will be used to train the model (the training database, in-sample, size m) and a part that will be used to test the model (the testing database, out-of-sample, size n-m). The latter then makes it possible to measure a real predictive risk. Suppose that the data are generated by a linear model y_i=\mathbf{x}_i^T \beta_0+\varepsilon_i where \varepsilon_i are independent and centred law achievements. The empirical quadratic risk in-sample is here\frac{1}{m}\sum_{i=1}^m\mathbb{E}\big([\mathbf{x}_i^T \widehat{\beta}-\mathbf{x}_i^T \beta_0]^2\big)=\mathbb{E}\big([\mathbf{x}_i^T \widehat{\beta}-\mathbf{x}_i^T \beta_0]^2\big),for any observation i. Assuming the residuals \varepsilon Gaussian, then we can show that this risk is worth \sigma^2 \text{trace} (\Pi_X)/m is \sigma^2 p/m. On the other hand, the empirical out-of-sample quadratic risk is here \mathbb{E}\big([\mathbf{x}^T \widehat{\beta}-\mathbf{x}^T \beta_0]^2\big) where \mathbf{x} is a new observation, independent of the others. It can be noted that \mathbb{E}\big([\mathbf{x}^T \widehat{\beta}-\mathbf{x}^T \beta_0]^2\big\vert \mathbf{x}\big)=\text{Var}\big(\mathbf{x}^T \widehat{\beta}\big\vert \mathbf{x}\big)=\sigma^2\mathbf{x}^T(\mathbf{x}^T\mathbf{x})^{-1}\mathbf{x},and by integrating with respect to \mathbf{x}, \mathbb{E}\big([\mathbf{x}^T \widehat{\beta}-\mathbf{x}^T\beta_0]^2\big)=\sigma^2\text{trace}\big(\mathbb{E}[\mathbf{x}\mathbf{x}^T]\mathbb{E}\big[(\mathbf{x}^T\mathbf{x})^{-1}\big]\big).The expression is then different from that obtained in-sample, and using the Groves & Rothenberg (1969) increase, we can show that \mathbb{E}\big([\mathbf{x}^T \widehat{\beta}-\mathbf{x}^T \beta_0]^2\big) \geq \sigma^2\frac{p}{m}which is pretty intuitive, when we start thinking about it. Except in some simple cases, there is no simple (explicit) formula. Note, however, that if \mathbf{X}\sim\mathcal{N}(0,\sigma^2 \mathbb{I}), then \mathbf{x}^T \mathbf{x} follows a Wishart law, and it can be shown that \mathbb{E}\big([\mathbf{x}^T \widehat{\beta}-\mathbf{x}^T \beta_0]^2\big)=\sigma^2\frac{p}{m-p-1}.If we now look at the empirical version: if \widehat{\beta} is estimated on the first m observations,\widehat{\mathcal{R}}^{~\text{ IS}}=\sum_{i=1}^m [y_i-\boldsymbol{x}_i^T\widehat{\boldsymbol{\beta}}]^2\text{ and }\widehat{\mathcal{R}}^{\text{ OS}}=\sum_{i=m+1}^{n} [y_i-\boldsymbol{x}_i^T\widehat{\boldsymbol{\beta}}]^2and as Leeb (2008) noted, \widehat{\mathcal{R}}^{\text{IS}}-\widehat{\mathcal{R}}^{\text{OS}}\approx 2\cdot\nu where \nu represents the number of degrees of freedom, which is not unlike the penalty used in the Akaike test.

Figure 4 shows the respective evolution of \widehat{\mathcal{R}}^{\text{IS}} and \widehat{\mathcal{R}}^{\text{OS}} according to the complexity of the model (number of degrees in a polynomial regression, number of nodes in splines, etc). The more complex the model, the more \widehat{\mathcal{R}}^{\text{IS}} will decrease (this is the red curve, below). But that’s not what we’re interested in here: we want a model that predicts well on new data (i. e. out-of-sample). As Figure 4 shows, if the model is too simple, it does not predict well (as it does with in-sample data). But what we can see is that if the model is too complex, we are in a situation of “overlearning”: the model will start to model the noise. Of course, this figure should remind us of the one we’ve seen in our second post of that series

Figure 4 : Generalization, under- and over-fitting

Instead of splitting the database in two, with some of the data that will be used to calibrate the model and some to study its performance, it is also possible to use cross-validation. To present the general idea, we can go back to the “jackknife”, introduced by Quenouille (1949) (and formalized by Quenouille (1956) and Tukey (1958)) relatively used in statistics to reduce bias. Indeed, if we assume that \{y_1,\cdots,y_n\} is a sample drawn according to a law F_\theta, and that we have an estimator T_n (\mathbf{y})=T_n (y_1,\cdots,y_n), but that this estimator is biased, with \mathbf{E}[T_n (\mathbf{Y})]=\theta+O(n^{-1}), it is possible to reduce the bias by considering \widetilde{T}_n(\mathbf{y})=\frac{1}{n}\sum_{i=1}^n T_{n-1}(\mathbf{y}_{(i)})\text{ where }\mathbf{y}_{(i)}=(y_1,\cdots,y_{i-1},y_{i+1},\cdots,y_n)It can then be shown that \mathbb{E}[\tilde{T}_n(Y)]=\theta+O(n^{-2})The idea of cross-validation is based on the idea of building an estimator by removing an observation. Since we want to build a predictive model, we will compare the forecast obtained with the estimated model, and the missing observation\widehat{\mathcal{R}}^{\text{ CV}}=\frac{1}{n}\sum_{i=1}^n \ell(y_i,\widehat{m}_{(i)}(\mathbf{x}_i))We will speak here of the “leave-one-out” (loocv) method.

This technique reminds us of the traditional method used to find the optimal parameter in exponential smoothing methods for time series. In simple smoothing, we will construct a forecast from a time series as {}_t\widehat{y}_{t+1} =\alpha\cdot{}_{t-1}\widehat{y}_t +(1-\alpha)\cdot y_t, where \alpha\in[0,1], and we will consider as “optimal” \alpha^\star = \underset{\alpha\in[0,1]}{\text{argmin}}\left\lbrace \sum_{t=2}^T \ell({}_{t-1}\widehat{y}_{t},y_{t}) \right\rbraceas described by Hyndman et al (2009).

The main problem with the leave-one-out method is that it requires calibration of n models, which can be problematic in large dimensions. An alternative method is cross validation by k-blocks (called “k-fold cross validation”) which consists in using a partition of \{1,\cdots,n\} in k groups (or blocks) of the same size, \mathcal{I}_1,\cdots,\mathcal{I}_k, and let us note \mathcal{I}_{\bar j}=\{1,\cdots,n\}\setminus \mathcal{I}_j. By noting \widehat{m}_{(j)} built on the sample \mathcal{I}_{\bar j}, we then set:\widehat{\mathcal{R}}^{k-\text{ CV}}=\frac{1}{k}\sum_{j=1}^k \mathcal{R}_j\text{ where }\mathcal{R}_j=\frac{k}{n}\sum_{i\in\mathcal{I}_{{j}}} \ell(y_i,\widehat{m}_{(j)}(\mathbf{x}_i))Standard cross-validation, where only one observation is removed each time (loocv), is a special case, with k=n. Using k=5 or 10 has a double advantage over k=n: (1) the number of estimates to be made is much smaller, 5 or 10 rather than n; (2) the samples used for estimation are less similar and therefore less correlated to each other, which tends to avoid excess variance, as recalled by James et al. (2013).

Another alternative is to use boosted samples. Let \mathcal{I}_b be a sample of size n obtained by drawing with replacement in \{1,\cdots,n\} to know which observations (y_i,\mathbf{x}_i) will be kept in the learning population (at each draw). Note \mathcal{I}_{\bar b}=\{1,\cdots,n\}\setminus\mathcal{I}_b. By noting \widehat{m}_{(b)} built on sample \mathcal{I}_b, we then set :\widehat{\mathcal{R}}^{\text{ B}}=\frac{1}{B}\sum_{b=1}^B \mathcal{R}_b\text{ where }\mathcal{R}_b=\frac{n_{\overline{b}}}{n}\sum_{i\in\mathcal{I}_{\overline{b}}} \ell(y_i,\widehat{m}_{(b)}(\mathbf{x}_i))where n_{\bar b} is the number of observations that have not been kept in \mathcal{I}_b. It should be noted that with this technique, on average e^{-1}\sim36.7\% of the observations do not appear in the boosted sample, and we find an order of magnitude of the proportions used when creating a calibration sample, and a test sample. In fact, as Stone (1977) had shown, the minimization of AIC is to be compared to the cross-validation criterion, and Shao (1997) showed that the minimization of BIC corresponds to k-fold cross-validation, with k=n/\log n.

All those techniques here are mentioned in the “machine learning” section since they rely on automatic, computational techniques, and no probabilistic foundations are necessary. In many cases we did use the notation m^\star (at least in the first posts on “machine learning” techniques) to highlight the fact that we want some sort of “optimal” model – and to make a distinction with estimators \widehat{m} considered earlier, when we had some probabilistic framework. But of course, it is possible (and necessary) to build bridges between those two cultures…

References are online here. As explained in the introduction, it is some sort of online version of an introduction to our joint paper with Emmanuel Flachaire and Antoine Ly, Econometrics and Machine Learning (initially writen in French), that will actually appear soon in the journal Economics and Statistics (in English and in French).

Foundations of Machine Learning, part 1

This post is the fifth one of our series on the history and foundations of econometric and machine learning models. The first fours were on econometrics techniques. Part 4 is online here.

In parallel with these tools developed by, and for economists, a whole literature has been developed on similar issues, centered on the problems of prediction and forecasting. For Breiman (2001a), a first difference comes from the fact that the statistic has developed around the principle of inference (or to explain the relationship linking y to variables \mathbf{x}) while another culture is primarily interested in prediction. In a discussion that follows the article, David Cox states very clearly that in statistic (and econometrics) “predictive success (…) is not the primary basis for model choice“. We will get back here on the roots of automatic learning techniques. The important point, as we will see, is that the main concern of machine learning is related to the generalization properties of a model, i.e. its performance – according to a criterion chosen a priori – on new data, and therefore on non-sample tests.

A learning machine

Today, we speak of “machine learning” to describe a whole set of techniques, often computational, as alternatives to the classical econometric approach. Before characterizing them as much as possible, it should be noted that historically other names have been given. For example, Friedman (1997) proposes to make the link between statistics (which closely resemble econometric techniques – hypothesis testing, ANOVA, linear regression, logistics, GLM, etc.) and what was then called “data mining” (which then included decision trees, methods from the closest neighbours, neural networks, etc.). The bridge between those two cultures corresponds to “statistical learning” techniques described in Hastie et al (2009). But one should keep in mind that machine learning is a very large field of research.

The so-called “natural” learning (as opposed to machine learning) is that of children, who learn to speak, read and play. Learning to speak means segmenting and categorizing sounds, and associating them with meanings. A child also learns simultaneously the structure of his or her mother tongue and acquires a set of words describing the world around him or her. Several techniques are possible, ranging from rote learning, generalization, discovery, more or less supervised or autonomous learning, etc. The idea in artificial intelligence is to take inspiration from the functioning of the brain to learn, to allow “artificial” or “automatic” learning, by a machine. A first application was to teach a machine to play a game (tic-tac-toe, chess, go, etc.). An essential step is to explain the objective it must achieve to win. One historical approach has been to teach the machine the rules of the game. If it allows you to play, it will not help the machine to play well. Assuming that the machine knows the rules of the game, and that it has a choice between several dozen possible moves, which one should it choose? The classical approach in artificial intelligence uses the so-called min-max algorithm using an evaluation function: in this algorithm, the machine searches forward in the possible moves tree, as far as the calculation resources allow (about ten moves in chess, for example). Then, it calculates different criteria (which have been previously indicated to her) for all positions (number of pieces taken, or lost, occupancy of the center, etc. in our example of the chess game), and finally, the machine plays the move that allows it to maximize its gain. Another example may be the classification and recognition of images or shapes. For example, the machine must identify a number in a handwritten handwriting (checks, ZIP code on envelopes, etc). It is a question of predicting the value of a variable y, knowing that a priori y\in\{0,1,2,\cdots,8,9\}. A classical strategy is to provide the machine with learning bases, in other words here millions of labelled (identified) images of handwritten numbers. A simple (and natural) strategy is to use a decision criterion based on the closest neighbors whose labels are known (using a predefined metric).

The method of the closest neighbors (“k-nearest neighbors”) can be described as follows: we consider (as in the previous part) a set of n observations, i. e. pairs (y_i,\mathbf{x}_i) with \mathbf{x}_i\in\mathbb{R}^p. Let us consider a distance \Delta on \mathbb{R}^p (the Euclidean distance or the Mahalanobis distance, for example). Given a new observation \mathbf{x}\in\mathbb{R}^p, let us assume the ordered observations as a function of the distance between the \mathbf{x}_i and \mathbf{x}, in the sense that \Delta(\mathbf{x}_1, \mathbf{x})\leq\Delta(\mathbf{x}_2, \mathbf{x})\leq\cdots\leq\Delta(\mathbf{x}_n, \mathbf{x}) then we can consider as prediction for y the average of the nearest k neighbours,\widehat{m}_k(\mathbf{x})=\frac{1}{k}\sum_{i=1}^k y_iLearning here works by induction, based on a sample (called the learning – or training – sample).

Automatic learning includes those algorithms that give computers the ability to learn without being explicitly programmed (as Arthur Samuel defined it in 1959). The machine will then explore the data with a specific objective (such as searching for the nearest neighbours in the example just described). Tom Mitchell proposed a more precise definition in 1998: a computer program is said to learn from experience E in relation to a task T and a performance measure P, if its performance on T, measured by P, improves with experience E. Task T can be a defect score for example, and performance P can be the percentage of errors made. The system learns if the percentage of predicted defects increases with experience.

As we can see, machine learning is basically a problem of optimizing a criterion based on data (from now on called learning). Many textbooks on machine learning techniques propose algorithms, without ever mentioning any probabilistic model. In Watt et al (2016) for example, the word “probability” is mentioned only once, with this footnote that will surprise and make smile any econometricians, “the logistic regression can also be interpreted from a probabilistic perspective” (page 86). But many recent books offer a review of machine learning approaches using probabilistic theories, following the work of Vaillant and Vapnik. By proposing the paradigm of “probably almost correct” learning (PAC), a probabilistic flavor has been added to the previously very computational approach, by quantifying the error of the learning algorithm (usually in a classification problem).

To be continued (references are online here)…