Category Archives: Research

Repenser la responsabilité, et la causalité

Ce billet a été écrit avec Rodolphe Bigot, maître de conférences à l’Université de Picardie Jules Verne.

En 150 ans, le concept de responsabilité a beaucoup évolué, sans jamais disparaître. Et aujourd’hui, on le retrouve dans des contextes variés, allant des catastrophes écologiques ou industrielles – on évoquera un « principe de précaution » qui a rendu floue la notion même de causalité – aux « machines intelligentes » – qui quittent le rôle d’aide pour finalement prendre des décisions à notre place.

De la responsabilité pour faute …

Bien que gravée dans le marbre plus que bicentenaire du Code civil, la responsabilité civile est manifestement une institution juridique régulièrement repensée. La doctrine a mis en lumière le renouveau de son droit. L’image qui nous vient à l’esprit est celle d’un arbre à idées, soumis aux variations des saisons, avec ses heures de floraison, d’incandescence, des feuilles mortes et de dormance. Depuis quelques années, les projets de réforme se suivent et sortent la responsabilité civile d’une période d’hibernation. Incessamment, elle s’apprête à muer, encore et encore. Mais de longue date, elle est généralement définie, pour reprendre Tunc (2019) comme « l’institution par laquelle une personne est tenue de réparer un dommage causé par autrui ». Elle se trouve depuis plusieurs décennies dans une situation paradoxale. Comme le rappelle Ewald (1986), l’assurance s’est développée alors que l’on cherchait à socialiser (dans le sens transférer de l’individuel au collectif) le risque de responsabilité. Il a été remarqué par Viney (1965) que « sécurité sociale et responsabilité produisaient un déclin de la responsabilité individuelle et une socialisation des risques, la charge de ceux-ci étant répartie sur une collectivité : la communauté nationale ou une mutualité d’assurés gérée par un assureur ».

Avec la révolution industrielle, et en particulier l’explosion de machines à vapeur, on voit apparaître la notion de « cause inconnue ». Depuis 1804, où seule la responsabilité pour faute existait, le droit de la responsabilité a beaucoup évolué, institutionnalisant un système d’indemnisation qui n’est plus centré sur la sanction de l’auteur d’un dommage, mais la réparation, individuelle ou sociale. Les victimes et leur entourage, face aux coups du sort, n’ont plus la même résignation. La psychologie de la réclamation a aussi évolué. On peut remonter, comme le fait Ewald (1986), à la loi du 9 avril 1898 sur les accidents du travail, qui inspirera la législation des assurances sociales à venir. Cette loi force à repenser la notion de responsabilité individuelle, et le contrat social qui unit les membres d’une collectivité. À l’époque, d’un point de vue juridique, le juge partait d’un accident, d’un dommage, pour inférer l’existence de cause, et d’une faute : sans faute, il n’y aurait pas d’accident. Plus précisément sans faute, il n’y avait pas de responsabilité civile, ni de compensation donc, ce qui peut conduire à penser qu’en définitive, on niait l’accident : aujourd’hui il existe des régimes de responsabilité pour faute (c’est à la victime de la prouver), de responsabilité pour faute présumée (c’est à l’auteur de prouver qu’il n’a pas commis de faute), ou de responsabilité sans faute ou de plein droit (qui repose sur d’autres fondements : l’autorité ou la cohabitation de l’enfant avec ses parents ; la responsabilité du fait des choses que l’on a sous sa garde).

Les jugements de responsabilité sont alors des jugements portés sur la causalité d’un évènement. On retrouve l’idée que quiconque cause un dommage à autrui ait à le réparer. Cette vision est très éloignée de celle de l’actuaire qui calcule les probabilités de survenance d’un accident indépendamment de toute volonté. Mais un rapprochement est parfois opéré, et la volonté n’a plus d’influence. A ce titre, pendant longtemps, il était requis que l’auteur de la faute ait eu conscience de son acte. Le responsable devait pour cela avoir la « capacité de discernement », en quelque sorte (dans une tradition judéo-chrétienne) la capacité de distinguer le bien du mal. Cette condition était nommée l’imputabilité de la faute à son auteur. Deux types de personnes n’avaient pas cette faculté de discernement : les enfants en bas âge et les personnes mentalement déficientes (que cela soit durable ou que la personne ait été prise d’une crise passagère de folie au moment de l’acte). Progressivement, la loi et la jurisprudence ont supprimé cette exigence. L’article 489-2 du Code civil (issu d’une loi du 30 janvier 1968) dispose désormais que « celui qui a causé un dommage à autrui alors qu’il était sous l’empire d’un trouble mental, n’en est pas moins obligé à réparation ». La jurisprudence a ensuite posé le même principe concernant les enfants privés de discernement en 1984. La faute est donc désormais une faute objective, privée de son élément moral et volontaire, avec quelques nuances ou résistances de la jurisprudence. La doctrine a initié cette solution. Un certain nombre d’auteurs, dont Paul Esmein, les frères Mazeaud (Henri, Léon, Jean) et ensuite François Chabas[i], ont plaidé en faveur de l’élargissement de la notion de faute, qui n’implique aucun élément subjectif et qui, en quelque sorte, se réduit à une erreur de conduite que n’aurait pas commise un bon père de famille, une personne raisonnable, placée dans les mêmes circonstances que le défendeur. La faute perd son contenu psychologique. A ainsi pu être admise, à partir de cette conception objective de la faute qui n’implique pas de jugement moral sur le comportement, la responsabilité civile des incapables majeurs et des enfants en bas âge qui ont en commun de ne pas être doués de discernement.

En définitive, la responsabilité civile – du fait des choses, puis du fait d’autrui – et la faute ont subi une objectivation donnant naissance, selon Ewald (1998), à un droit de la responsabilité qui « n’est plus qu’un droit de l’indemnisation où la notion de faute (et de culpabilité) à travers laquelle on se reconnaît traditionnellement responsable a de moins en moins cours ». Pour le juge, si une personne n’avait pas commis telle ou telle faute, ou n’avait pas été à l’origine de tel fait générateur (de responsabilité), « le monde serait harmonieux » alors que pour l’assureur, quel que soit la volonté de chacun, les accidents se produisent avec une forte régularité statistique. On retrouve ici les réflexions de Durkheim (1897), lorsqu’il voit le suicide comme un phénomène social normal. Mais cette vision ne s’est pas imposée en un jour.

… à la gestion des risques

Si on évoque souvent les freins à la naissance de l’assurance-vie, avec en France l’ordonnance de Colbert de 1681 qui considère que les assurances sur la vie en cas de décès sont « réprouvées et contre les bonnes mœurs » car elles font souhaiter la mort de celui sur la tête duquel le souscripteur la prend, en d’autres termes le risque de votum mortis. Comme le rappelle Zelizer (1979), la naissance de l’« assurance pour faute » a aussi été difficile, plus tardive encore. Alors qu’en 1840 les assurances de responsabilité civile dans le cadre des accidents de la circulation (à cheval) sont toujours perçues comme une « incitation à l’incurie et à la négligence », dix ans plus tard l’assurance de responsabilité est enfin admise (« le fait de circuler à notre époque et en plein Paris [sans assurance] constitue indiscutablement une faute lourde »). Il faudra attendre 1876 pour que la Cour de cassation se prononce à son sujet et reconnaisse sa licéité, comme le rappelle Profit (2020). Plusieurs questionnements persistaient. Est-il moral et juste de déplacer le poids des conséquences des actes d’un individu sur l’ensemble de la mutualité, le dédouanant ainsi de sa responsabilité ? Comment légitimer de faire payer les négligences par la collectivité ? N’est-ce pas en contradiction avec l’idée d’inciter à la prévention (formalisée par les économistes – en commençant par Adam Smith – par la notion d’aléa moral) ? Cette assurance de responsabilité semble contredire la vision juridique, à tout le moins certaines fonctions qui lui sont assignées, comme la fonction normative et sanctionnatrice.

L’assurance a toutefois pu se développer car la réalisation d’un dommage ne profite en théorie (presque) jamais à l’assuré, et elle garantit surtout le tiers, victime du dommage. Conçue comme un mécanisme de protection d’une dette de réparation de l’assuré responsable, l’évolution a assigné à la responsabilité civile un second rôle, sans doute prédominant aujourd’hui, de protection de la créance d’indemnisation de la victime. Ce n’est donc plus tant la faute de l’assuré qui importe mais ses conséquences sur la victime, « l’assurance acquiert ici, outre la fonction économique, une fonction sociale, elle pallie l’insolvabilité du responsable pour garantir la réparation du dommage », comme le souligne Profit (2020). C’est dans cet esprit que sera pensée la loi du 5 juillet 1985 (loi dite Badinter) relative à l’indemnisation des accidents de la circulation. Pour éviter qu’une victime ne puisse pas être indemnisée, faute pour elle de démontrer l’existence d’une faute, la doctrine avait élaboré la théorie du risque. Celle-ci admettait l’idée d’une responsabilité sans faute, dite objective. Cette théorie est apparue dès la fin du 19ème siècle avec Raymond Saleilles et Louis Josserand à propos surtout des dommages causés par des choses (machines, locomotives, voitures…). Elle a eu aussi des influences considérables en jurisprudence et en législation, avec la loi du 9 avril 1898 sur les accidents du travail. Ce texte a attribué de plein droit la responsabilité à l’employeur, par la mise en place de leur indemnisation automatique sans avoir à démontrer une faute de l’employeur.

Dans le contexte des accidents du travail, si le patron a tout fait pour prévenir les accidents, il ne peut être tenu pour responsable, mais, malgré tout, des accidents surviennent. Des mutuelles professionnelles vont alors naître, garantissant (et limitant) la responsabilité civile des patrons. Cette couverture du risque professionnel introduit une mutualisation. Elle se transformera en solidarité avec la loi du 30 octobre 1946 qui abroge celle du 9 avril 1898 et rattache la réparation des accidents du travail à la sécurité sociale, laquelle se substitue aux assurances privées[ii]. On assiste ainsi au déplacement de la charge de ces accidents sur la société, quittant la vision juridique de la responsabilité fondée sur l’idée de recherche de cause – la faute conservant un rôle secondaire dès lors qu’elle est intentionnelle ou inexcusable –, puis de distribution des charges. Cette solidarité donnera naissance à une notion de responsabilité vue comme une répartition des risques, éloignée de l’idée de faute. Il ne s’agit plus de déterminer qui a commis une faute, mais qui devra supporter la perte causée par un dommage. On quitte l’éthique et la morale pour définir une équité économique. Si les accidents touchent des individus, c’est la société qui doit répartir convenablement leur charge. En allant un peu plus loin, comme l’ont montré plusieurs procès en responsabilité médicale[iii], on peut commettre une faute et être déchargé de sa responsabilité. Comme le relève Ewald (1986), l’assurance force à quitter la notion juridique de responsabilité pour « un projet de régulation sociale », en gérant une responsabilité collective. Du risque industriel au risque technologique, la responsabilité collective s’élargit, passant de l’entreprise à l’État, voire à plusieurs États.

Responsabilité et principe de précaution

Les risques écologiques ont mis en défaut la notion juridique classique de responsabilité, avec une causalité parfois floue, et une dimension temporelle inédite. Un dommage écologique s’étend sur plusieurs générations, et la perte ou le dommage n’est pas toujours perceptible immédiatement. Les causes multiples, croisées, imbriquées, rendent l’idée de responsabilité individuelle bien souvent caduque, du moins inadaptée.

 

Habituellement, pour que la responsabilité civile soit engagée, trois conditions cumulatives sont exigées : un préjudice, un fait générateur, et un lien de causalité entre celui-ci et celui-là. La mise en œuvre de la responsabilité suppose tout d’abord d’imputer matériellement le dommage à un fait générateur de la responsabilité. En conséquence, il faut démontrer un rapport de causalité entre la survenance du dommage et le fait générateur. Vient ensuite le moment de désigner un responsable qui varie selon le régime et le fondement de la responsabilité. Le responsable est compris comme celui qui répond du dommage. Il n’est pas nécessairement son auteur. Qu’il doive être prouvé ou qu’il soit présumé, le lien de causalité reste intangible en tant que condition de la responsabilité. A contrario, le fait générateur de responsabilité peut, selon les circonstances, consister tantôt en une faute, parfois prouvée, parfois présumée, tantôt en un simple fait, autrement dit un fait générateur non fautif, mais dommageable.

De plus, il convient qu’une personne soit affectée, ce qui pose soucis dans de nombreux dommages environnementaux, touchant des écosystèmes, des animaux ou des plantes. La loi du 8 août 2016 pour la reconquête de la biodiversité, de la nature et des paysages a permis d’élargir la responsabilité. L’article 1247 du Code civil dispose qu’« est réparable le préjudice écologique consistant en une atteinte non négligeable aux éléments ou aux fonctions des écosystèmes ou aux bénéfices collectifs tirés par l’homme de l’environnement ». Une conception repensée de la responsabilité a donc permis de prendre en compte ce préjudice écologique pur. Dans certains pays, la solution a été de reconnaître la personnalité juridique à la nature, ou l’un de ses éléments, tel qu’un fleuve (comme le Gange, en Inde) par exemple. Mais il convient de repenser la notion de « réparation », invoquant l’idée que la responsabilité a vocation non seulement à réparer les dommages mais aussi à prévenir leur survenance. En particulier, la responsabilité civile peut avoir une dimension prophylactique à partir du moment où on met en place un certain nombre de mesures pour éviter qu’un dommage survienne ou qu’il produise des conséquences trop importantes.

Le principe de précaution a été consacré dans l’ordre juridique par étapes. Il s’agit de l’un des fondements de la politique de l’Union européenne dans le domaine de l’environnement. Il est rappelé par la Charte française de l’environnement de 2004, mentionnée dans le préambule de la Constitution Française – « lorsque la réalisation d’un dommage, bien qu’incertaine en l’état des connaissances scientifiques, pourrait affecter de manière grave et irréversible l’environnement, les autorités publiques veillent, par application du principe de précaution et dans leurs domaines d’attributions, à la mise en œuvre de procédures d’évaluation des risques et à l’adoption de mesures provisoires et proportionnées afin de parer à la réalisation du dommage ». Ce principe de droit trouve sa source dans les adages selon lesquels « mieux vaut prévenir que guérir », et « dans le doute, abstiens-toi ». Les philosophes s’étaient penchés sur ce principe avant les juristes, à commencer par Nietzche (1887) : afin que l’homme puisse « répondre de lui-même en tant qu’avenir […] ne doit-il pas avoir appris à séparer le nécessaire de l’accidentel, à penser le rapport causal, à voir le lointain comme s’il était présent et à l’anticiper, à établir avec certitude quel est le but et le moyen convenable ».

Puisque la responsabilité de précaution serait fondée sur la causalité potentielle, elle imposerait un examen anticipatif de la causalité. Bien qu’il ait été suggéré d’ajuster à son égard la théorie la causalité adéquate, applicable en présence de connaissances scientifiques suffisantes pour prévoir le lendemain, le principe de précaution s’applique au contraire lorsque ces connaissances sont incertaines, comme le rappelle Boutonnet (2005). Cela conduit la doctrine à distinguer la « responsabilité-réparation » d’une « responsabilité-caution ».

En définitive, le fondement de la faute, dans la sphère individuelle, pérennise une logique ancienne de culpabilité et porte l’impératif sous-jacent de ne pas nuire à autrui. Puis le fondement du risque, soumis à une logique d’indemnisation, a ouvert la responsabilité sur la sphère sociale. Le nouveau fondement de la précaution, ayant le mérite d’être déjà un principe international, européen et interne, dans des champs variés mais reliés, s’étend à la sphère planétaire. On ne sait plus vraiment ce qu’est la responsabilité civile, ni la solidarité d’ailleurs, avec le foisonnement des fonds de garantie et d’indemnisation qui viennent en relais de la responsabilité, et s’entremêlent avec elle. Au terme de cette hybridation de la responsabilité et de la solidarité, ces centaures pourraient être renommés « responlidarité » ou « solidabilité ». Dans ses fonctions repensées, le projet de réforme de la responsabilité civile est susceptible de procéder à un nouveau métissage, voire confusion, avec celles de la responsabilité pénale.

Des écosystèmes victimes aux machines responsables

Les nouvelles technologies, avec des machines enrichies d’une intelligence dite artificielle, en premier lieu pour les véhicules autonomes, suscitent de nombreux inquiétudes et interrogations ces derniers temps. Noguéro & Vingiano-Viricel (2019) ont dernièrement recommandé qu’« il faut patiemment recueillir les enseignements de l’expérience et éviter la précipitation pour, si nécessaire, bâtir un droit qui serait spécifique pour appréhender la responsabilité du (ou du fait du) « véhicule autonome ». Dans l’intervalle, le principe de précaution devrait s’imposer : ne pas mettre la charrue avant les bœufs ».  À suivre donc…

Boutonnet, Mathilde (2005) Le principe de précaution en droit de la responsabilité civile. LGDJ.

Ewald, François (1986) L’Etat Providence. Grasset.

Ewald, François (1998) L’expérience de la responsabilité. in De quoi sommes-nous responsables ?, 8e Forum, Le Monde, Le Monde éditions

Mill, John Stuart (1843) A System of Logic. Harper & Brothers Publishers.

Nietzsche, Frederich (1887) Généalogie de la morale. Mercure de France.

Noguéro, David & Vingiano-Viricel , Iolande (2019) Intelligence artificielle et véhicules autonomes, in Droit de l’intelligence artificielle, Loiseau & Bensemoun Eds, LGDJ.

Profit, Alix (2020) Droit des assurances, Bigot & Cayol Eds, Ellipses.

Quézel-Ambrunaz, Christophe (2010) Essai sur la causalité en droit de la responsabilité civile, Dalloz, Nouvelle Bibliothèque de Thèses.

Thibierge, Catherine, Libres propos sur l’évolution du droit de la responsabilité (vers un élargissement de la fonction de la responsabilité civile ?), RTD Civ. 1999, p. 561 et s.

Tunc, André (2019) Responsabilité Civile in Encyclopædia Universalis. https://bit.ly/36tf0xL ; La responsabilité civile, Economica, 2e éd., 1989.

Viney, Geneviève (1965) Le déclin de la responsabilité individuelle. LGDJ

Zelizer, Viviana (1979). Morals and Markets: The Development of Life Insurance in the United States, Columbia University Press

[i] En lien avec leurs travaux sur la notion d’obligation en droit.

[ii] Avec la loi de 1898, la faute ne conditionne plus la réparation d’un accident du travail. Le risque professionnel la remplace. Mais la notion de faute n’y est pas complètement abandonnée. Elle joue désormais un rôle accessoire. Elle permet ainsi de sanctionner les comportements les plus graves, en particulier en cas de faute intentionnelle du salarié où aucune indemnité ne lui est attribuée.

[iii] Depuis l’arrêt Mercier du 20 mai 1936, les médecins doivent soigner « conformément aux données acquises de la science », et non pas en considération de mises en garde de collègues si elles n’ont pas été scientifiquement corroborées. Le cœur du contrat médical réside dans l’obligation de soins qui pèse sur le médecin.

Des modeles prédictifs en assurance

Cet post est aussi en ligne sur https://hal.archives-ouvertes.fr/hal-02350006, il a été coécrit avec Laurence Barry et Ewen Gallic.

Les compagnies d’assurance émettent des contrats qui prévoient des paiements d’indemnités en cas de survenance d’évènements aléatoires (accident, maladie, décès, etc.). En contrepartie, l’assuré doit s’acquitter d’une prime, dont le montant est déterminé ex-ante, avant le début de la période de couverture. Cette prime se décompose en deux termes : une prime pure (destinée à couvrir les pertes anticipées) et un chargement (incluant des commissions à des agents, divers frais, mais aussi couvrant contre le risque de variabilité des pertes). La prime pure est souvent calculée par classe de risque, et une classification est alors nécessaire.

Assurer une population hétérogène, ou l’importance de la classification

Le regroupement des risques selon diverses informations telles l’âge de l’assuré, son état de santé ou encore sa profession constitue ce que l’on appelle la classification des risques. Cette pratique de segmentation se justifie (à des fins d’admissibilité mais aussi de tarification) par la supposition que les risques sont placés dans des groupes relativement homogènes, au sein desquels les probabilités de survenance sont similaires. Pour Schauer (2006), cette « généralisation », qui vise à voir l’individu sous le prisme de sa classe de risque, de généraliser son comportement à partir de quelques variables explicatives, est probablement la raison d’être de l’actuaire : « to be an actuary is to be a specialist  in  generalization,  and  actuaries  engage  in  a form of decision-making that is sometimes called actuarial ». Statistiquement on cherche une méthode de classification aussi « discriminatoire » que possible[1], en gardant en mémoire que la discrimination est interdite, ce qui rend l’exercice périlleux, et souvent critiqué (nous y reviendrons plus loin).

Les assureurs évoquent souvent deux arguments pour justifier une segmentation. Le premier est qu’elle serait rendue économiquement nécessaire par la concurrence ; ne pas classifier conduit à une anti-sélection, les risques importants restant seuls chez les assureurs qui ne segmentent pas. Dans une telle situation, l’équilibre de marché ne serait pas possible puisque les risques faibles seraient chez un concurrent ayant segmenté. Si le facteur de risque était observable, tant par les assurés que les assureurs, il y aurait un phénomène d’auto-sélection, les assurés à risque faible ayant les polices les moins chères. Cette situation constitue un équilibre séparant de Nash. Mais si le facteur de risque n’est pas observable, un équilibre sous-optimal peut être atteint, résultant d’une externalité négative de cette information non-accessible, à la manière de Wilson (1977), tel que décrit dans Cummins et al. (1982) dans le cas des contrats d’assurance-vie. Cela dit, Kleindorfer & Kunreuther (1980) montrent qu’accéder à davantage d’information ne conduit pas nécessairement à une amélioration du bien-être des consommateurs. De plus si la classification n’est pas autorisée, l’équilibre est maintenu, les risques faibles subventionnant les risques élevés.

Le second argument avancé pour justifier une segmentation est que cette dernière (et le fait, par conséquent, d’ajuster les primes au risque) serait juste et équitable. Mais cette vision de l’équité n’a pas toujours été de mise et semble portée par les développements techniques. Ainsi la classification est devenue de plus en plus fine, multipliant les classes de risque et conduisant à des tarifs « personnalisés ». En plus des avancées statistiques, des facteurs économiques pourraient justifier cette sophistication : la concurrence de plus en plus forte sur certaines branches.

Incertitude en assurance

Il y a plusieurs manières de caractériser l’incertitude en assurance. Comme bien souvent quand on fait des prévisions, il convient de distinguer l’incertitude associée à l’estimation des probabilités et l’incertitude réelle sur le résultat (aléa de l’évènement). Pour la seconde notion, Hacking (1975) parle de probabilité structurelle, et c’est celle qui est souvent utilisée pour introduire les concepts de probabilité, par exemple avec des dés ou des jeux de cartes : les probabilités sont connues, seule l’issue du jeu est incertaine. Par exemple je sais que la probabilité d’avoir 6 en lançant un dé est 1/6 (compte tenu de la géométrie du cube).

D’un point de vue statistique, la probabilité se mesure quand on peut observer une fréquence, c’est-à-dire une répétition de risques semblables. Les statisticiens ont ainsi défini une notion de probabilité empirique, basée sur la répétition[2]. Si, en lançant mille dés j’obtiens 173 fois la face 6, la probabilité empirique d’avoir 6 est de 17,3%. La loi des grands nombres nous assure que cette fréquence va tendre vers la vraie valeur en répétant l’expérience, et le théorème central limite permet d’en contrôler les fluctuations. C’est la première incertitude dont nous parlions au début de cette section, que nous appellerions l’erreur d’estimation.

On peut enfin mentionner deux notions supplémentaires ; tout d’abord, les probabilités conditionnelles. Cette idée est introduite en assurance par de Moivre, ou de Witt, lorsqu’ils notaient que pour estimer une probabilité de décès, il fallait considérer des personnes de même âge. C’est cette idée que l’on retrouve quand on considère une classification : on veut des risques homogènes, similaires, sans être pour autant identiques. La probabilité que l’on obtient est alors conditionnelle à ce facteur commun qui caractérise la classe observée. Dans notre exemple des dés, cela revient à dire qu’il ne faut pas lancer mille dés, mais mille fois le même dé – ou à défaut des dés semblables.

Enfin, les probabilités subjectives ont été formalisées par Bruno de Finetti et Leonard Savage (ainsi que plus philosophiquement par Frank P. Ramsey) pour comprendre et modéliser la prise de décision. Elles sont relativement populaires en économie de l’incertain, mais difficile à mettre en œuvre dans un contexte de valorisation de contrats d’assurance automobile ou habitation. Il s’agit d’un jugement, qui ne peut être confronté à la réalité, mais envisageable pour l’assurance de risques encore mal connus (McGrayne (2012) évoque ainsi les premiers contrats d’assurance aviation). Une approche bayésienne consiste alors à combiner cette probabilité subjective avec la probabilité comme fréquence observée d’un phénomène : partant d’une croyance a priori, on affine l’estimation par une mise à jour progressive en répétant les expériences. Classiquement, la probabilité d’avoir la face 6 sera une moyenne entre notre croyance (1 chance sur 6) et une probabilité dite historique, obtenue en faisant quelques lancés (3 sur 20 lancers, par exemple). Les poids attribués aux deux dépendant du nombre d’expériences effectuées : on donnera plus de crédit à l’expérience si on fait mille lancés que si on en fait soixante.

Incertitude sur le résultat, ou aléa fondamental

Les probabilités prédictives, utilisées pour calculer la prime d’un contrat d’assurance, sont la première étape d’un problème de classification. Un outil classique pour juger de la pertinence d’un classifieur est la courbe ROC, décrite dans Kuhn (2018)) : on compare la probabilité individuelle (a priori, telle que résultant du modèle de classification) à un seuil, compris entre 0 et 1; si la probabilité est inférieure au seuil, l’estimation est que la personne survit, sinon qu’elle décède.

On compare ensuite cette estimation aux réalisations (ex-post) de survie et de décès. Pour chaque seuil, on peut considérer la matrice classique dite matrice de confusion de théorie de la décision : elle consiste à répartir les observations suivant le résultat observé (en colonne) et l’estimation résultant du modèle en ligne (en fonction de la probabilité estimée pour l’individu et le seuil que l’on s’est fixé). On peut ainsi partager la population entre les classements corrects, et les erreurs (dont les « faux positifs » si la personne a survécu malgré une probabilité estimée de décès supérieure au seuil, et les « faux négatifs » si la personne décède malgré une probabilité estimée inférieure au seuil).

Figure 1: Courbe ROC et classification pour un seuil de probabilité valant 1.5%.

La courbe ROC est obtenue en faisant varier le seuil. Chaque seuil correspond à un point de la courbe, rapportant graphiquement les taux de faux positifs (en abscisse) et de vrais positifs (en ordonnée), comme sur la Figure 1.

Considérons un groupe de 1000 assurés, où 20 personnes sont décédées l’an passé. Supposons un modèle dans lequel on admet que la population est parfaitement homogène, la probabilité estimée de décès est de 2% pour tout le monde. Dans ce cas pour tout seuil supérieur à 2%, on estimera que la totalité de la population survit : on aura un taux de faux positifs de 0% et un taux de vrais positifs de 0%, d’où un point (0,0) sur le graphe. A l’inverse pour tout seuil inférieur à 2%, on estimera que la totalité de la population décède : on aura un taux de faux positifs de 100% et un taux de vrais positifs de 100%, d’où un point (1,1) sur le graphe. La courbe de ROC de ce modèle uniforme à 2% est donc la diagonale du carré sur la figure 1.

Mais on peut aussi imaginer qu’il existe un peu d’hétérogénéité avec, par exemple, une probabilité de décès de 1% pour une moitié de la population et de 3% pour l’autre moitié, ou encore que le modèle produit des probabilités comprises entre 1% et 3% de façon non dichotomique. Les données simulées pour construire la courbe noire sur la Figure 1 suppose que la population a des probabilités de décès variables, comprises entre 1% et 3%, obtenues par une régression logistique. Comme le montre le tableau de droite, on commet des erreurs, et comme le montre celle de gauche, la nature de celle-ci varie en fonction du seuil choisi, qui modifie les taux de faux positifs et de faux négatifs.

Le cas extrême serait celui où le modèle aurait correctement attribué une probabilité de 100% aux 20 personnes qui sont effectivement décédées. C’est la courbe rouge sur la Figure 1. Ce partage est possible ex-post, une fois réalisation de l’aléa : a posteriori, il y a une certitude de décès pour ceux qui sont effectivement morts. Mais cela n’a cependant pas grande réalité dans l’assurance, à moins d’imaginer que l’actuaire serait un oracle, qui saurait avec certitude qui va mourir, et qui va survivre. La réalité est plutôt celle de la situation intermédiaire entre la courbe rouge et la diagonale, avant d’arriver dans la région hachurée, où le taux d’erreur est faible, mais pas nul : on ne peut pas prédire, avec certitude, qui va décéder. L’assurance n’est possible que si cette borne supérieure n’est pas trop élevée.

Incertitude statistique, données et modèles

Une question fondamentale pour la survie de l’assurance est de savoir où se situe cette borne supérieure : jusqu’où peut-on aller, entre les deux cas extrêmes (population homogène avec une probabilité de 2% pour tous, et une population très discriminée, avec 2% de la population ayant 100% de chances de mourir, et l’autre 0%) ? Et de quoi cette borne dépend-elle ? En particulier, des modèles plus complexes, tels que les réseaux de neurones très profonds permettent-ils vraiment d’améliorer la prévision ? Et l’enrichissement de données, tel qu’on l’observe grâce aux objets connectés et la fusion avec toutes sortes d’informations externes, va-t-il déplacer la borne supérieure vers le haut ?

Si l’apprentissage profond – voir Goodfellow et al. (2018) – permet d’avoir des classifieurs d’images avec un taux d’erreur proche de 0%, il est difficile d’imaginer qu’il sera possible de prévoir, presque un an à l’avance (à la signature du contrat), qui décèdera dans l’année, qui aura la grippe, qui aura un dégât des eaux, etc. Les modèles plus complexes permettent d’améliorer les prévisions, en tenant compte de non-linéarités, d’effets croisés entre les variables tarifaires, mais pas au point de faire disparaître l’aléa. Et tant que l’assurance est envisagée ex-ante (la prime est fixée au début de la période de couverture), il est difficile d’imaginer que rajouter de l’information fera aussi disparaître l’aléa. C’est d’ailleurs le cas pour les tests génétiques qui n’expliquent qu’une (petite) partie du risque de cancer, par exemple. Et rajouter des données revient souvent à rajouter du bruit, ce qui rend le travail d’analyse plus complexe. Cependant, force est de constater que des modèles plus complexes et des données plus riches tendent effectivement à « améliorer » la prévision, en remontant la courbe ROC vers le haut. Mais se pose-t-on les bonnes questions ? Que signifie vraiment une borne très éloignée du cas homogène, sur la diagonale ?

Homogénéité, équité et causalité

Comme nous l’avons vu, la tarification en assurance repose sur une répartition des risques (des contrats) en catégories, au sein desquelles la distribution des pertes peut être estimée, afin de fixer un niveau de primes. La répartition se fait à partir des caractéristiques de l’assuré, et du bien assuré. En retraçant l’histoire de l’assurance, Ewald (1986) montre que les mécanismes de prévoyance se sont mis en place en déplaçant la charge des accidents du travail sur la société : on abandonne l’idée d’une responsabilité individuelle de l’accident en faveur de la solidarité. L’assurance distingue « entre le dommage que subit tel ou tel individu — c’est affaire de chance ou de malchance — et la perte liée au dommage dont l’attribution est, quant à elle, toujours collective et sociale ». Ce principe de solidarité sociale, de mutualisation des risques, fait que le risque (en assurance) est toujours pensé collectivement.

Aujourd’hui, les tarifs sont considérés comme « justes », ou « actuariellement équitables » si chaque prime correspond à la perte attendue (pour ne pas dire « espérée », au sens mathématique) pour chaque assuré. Dans cette perception de l’équité, une hypothèse essentielle est que les classes soient « homogènes ». En effet, dans l’hypothèse inverse, les personnes les moins risquées subventionnent les personnes les plus risquées, ce qui est perçu comme socialement injuste.

On peut décrire cette version de l’équité actuarielle à l’aide de la formule de décomposition de la variance. La variance globale se décompose en effet en deux termes, la variance inter-classes et la variance intra-classes : l’ « équité actuarielle » vise à ce que  les classes de risque soient relativement distinctes les unes des autres, donc une variance inter-classes forte, accompagnée d’une homogénéité des classes, donc une variance intra-classes faible. D’un point de vue statistique, chercher à augmenter l’une est équivalente à faire diminuer l’autre. Cette mécanique n’est pas toujours claire pour des observateurs non avertis ; ainsi dans l’affaire Manhart, un des cas les plus documentés sur la discrimination par le genre en assurance, le juge Stevens affirme : « we focus on fairness to individuals rather than on fairness to classes […] even a true generalization about a class is an insufficient reason for disqualifying an individual to whom the generalization does not apply» (cité dans Anzalone (2016)). Autrement dit, pour la justice, un critère statistique de type « true generalization » ne peut être opposable à un individu.

Une autre critique importante, que l’on retrouve dans la « gender directive », est le lien entre discrimination et causalité. En effet, statistiquement, les actuaires vont chercher des facteurs de classification fortement corrélés avec la sinistralité. Mais il est possible que ces facteurs ne soient qu’un proxy de la vraie variable causale, restée elle inobservée, conduisant à une mauvaise estimation du risque pour certains. Comme le notent Antonio et Charpentier (2017), le genre a ainsi été longtemps utilisé en assurance automobile car très corrélé avec des variables associées au style de conduite et à d’autres variables historiquement non observables (mais qui le sont aujourd’hui grâce aux objets connectés, comme le kilométrage, les heures de conduites, les types de routes utilisés, etc).

Ce lien avec les mécanismes causaux est d’ailleurs relativement profond, et Hacking (1975) y voit une connexion avec la « révolution probabiliste » : on peut assez facilement mettre en évidence des corrélations, mais les causes, si elles existent, nous restent plus opaques. Laplace au début du 19e siècle déclare ainsi que « la probabilité est relative en partie à nos connaissances, en partie à notre ignorance », liant les probabilités à la fois à une vision newtonienne déterministe du monde et à notre incapacité à le connaitre parfaitement. Cette dernière composante fait que l’on ne peut pas annoncer la date exacte du décès d’un individu, mais statistiquement, dans un groupe homogène, on peut prédire le nombre de décès au cours d’une année. Et pour revenir à la relation causale, le tabagisme par exemple ne cause pas forcément une mort prématurée mais fumer sera vu comme dangereux car il augmente la probabilité de décès pendant une période donnée. Ainsi nous montre Hacking (1975), la causalité est pensée aujourd’hui dans un contexte probabiliste, et non plus déterministe.

Abraham, K.S. (1985) Efficiency and fairness in insurance risk classification, Virginia Law Review 71: 403-451.

Anderson, A.W. (1978). A Critique of the Manhart Brief. The Actuary, 12:5.

Antonio, K. & Charpentier, A. (2017). La tarification par genre en assurance, corrélation ou causalité ? Risques, 109.

Anzalone, C.A. (2016). U.S. Supreme Court Cases on Gender and Sexual Equality. Routledge.

Bailey, H., Hutchison, T. & Narber, G. (1975) The regulatory challenge to life insurance classification, Drake Law Review Insurance Law Annual 4: 779-827

Barry L. (2019). Justice ou justesse? L’équité de l’assurance. Working paper #15, chaire PARI.

Charpentier, A. & Denuit, M. (2004). Mathématiques de l’Assurance Non-Vie : Principes Généraux de Théorie du Risque. Economica.

Cramer, H. (1946). Mathematical Methods of Statistics. Princeton University Press.

Cummins, J.D., Smith, B.D., Vance, R.N. & VanDerhai, J.L. (1982). Risk Classification in Life Insurance. Kluwer-Nijhoff Publishing.

Ewald F. (1986). L’État providence. Grasset.

Fisher, R. A. (1936).  The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics. 7 (2): 179–188.

Frézal, S. & Barry, L. (2019). Fairness in Uncertainty: Some Limits and Misinterpretations of Actuarial Fairness, Journal of Business Ethics.

Goodfellow, U., Bengio, Y. & Courville, A. (2018) L’apprentissage profond. Massot Edition.

Hacking, I. (1975) The Emergence of Probability. Cambridge University Press

Hoy, M. (1982) Categorizing risks in the insurance industry, The Quarterly Journal of Economics 97: 321-336.

Kleindorfer, P. & Kunreuther, H. (1980) Misinformation and Equilibrium in Insurance Markets, in Economic Analysis of Regulated Markets, Jörg Finsinger Editor, Springer Verlag, 67-90

Kuhn, M. & Johnson, K. (2018). Applied Predictive Modeling. Springer Verlag.

Martin,G.D. (1976) Gender Discrimination in Pension Plans, Journal of Risk and Insurance 43.

McGrayne, S.B. (2012) The Theory That Would Not Die: How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy. Yale University Press.

Ramsey P.F. (1926). Truth and Probability.

Schauer, F. (2006) Profiles, Probabilities, and Stereotypes. Harvard University Press.

Von Mises, R. (1957). Probability, Statistics and Truth. Dover publications.

Wilson, C. (1977). A model of insurance markets with incomplete information. Journal of Economic Theory, 16:2, 167-207.

[1] Au sens statistique du mot, dans le sens introduit par Fisher (1936).

[2] Dans cette approche fréquentiste, et notamment pour Ronald Fisher et Richard von Mises, la probabilité d’un évènement unique (dit « one shot ») n’a pas de sens.

Machine Learning and Econometrics

This week-end, the Canadian Econometric Study Group will organise a conference in Montréal, on Machine Learning Econometrics. Since I was in the scientific committee, I’ve read some of the papers that will be presented, and it will be extremely interesting. There will be two invited speakers, Gregory Duncan (Amazon and University of Washington) and Dacheng Xiu (University of Chicago).I will be around at the poster session on Friday, and I should chair a session on Saturday ! See you there !

“Tout est poison, rien n’est poison : c’est la dose qui fait le poison”

disait Philippus Aureolus Theophrastus Bombastus von Hohenheim – ou Paracelse pour faire plus simple – ce fameux médecin et alchimiste suisse, mort en 1541. Cette citation pose la question du choix du seuil qui fait qu’un élément est dangereux dès qu’un seuil est franchi. Un peu comme en statistique, quand on dit (dans une régression) que si la p-value (associée à un test de Student) est inférieure à 5%, une variable est effectivement “explicative”, mais pas au delà de 5%. Le message est, bien entendu beaucoup plus subtil, en général. Mais le besoin d’avoir des seuils semble inscrit dans la nature humaine…

Cet été, je publiais mon billet Les autorités publiques face aux risques, de la confiance au doute écrit pour être publié dans la revue Risques, avec les contraintes usuelles de taille. Mais comme bien souvent, le brouillon initial faisait plusieurs pages, et j’ai mis de côté quelques éléments de réflexion, en particulier un long paragraphe sur la difficulté pour les scientifiques de diffuser un message (forcément) trop complexe pour être diffusé en une phrase choc.

Un soucis est qu’une vision utopique laissait penser qu’internet permettrait un accès à tous l’information. Malheureusement, la pluralité des sources permet surtout à tout un chacun de composer son propre menu, de se faire sa propre opinion, sur-mesure, parmi l’offre quasi-infinie qui lui est alors accessible. Mais comme le notait le précédant billet, le biais de confirmation va entrer en jeu. Pour reprendre l’exemple de Simon (1959), lorsque que l’on cherche à comprendre la prise de décision d’un agent (le fameux agent rationnel en théorie économique), si le problème est complexe, il ne va pas chercher la solution optimale, mais il se contentera d’une version qui le satisfait, tenant compte seulement de quelques informations jugées pertinente. On retrouve cette idée dans l’opposition entre le système 1 et le système 2, de Kahneman (2011), ou la notion d’avarice cognitive de Fiske & Taylor (1984). Ce dernier concept explique que nous sommes souvent enclin à adhérer à des énoncés convaincants, même douteux, faute de temps ou de motivations. Comme le dit la formule, on se contente de croire, faut de temps pour savoir.

Car le savoir est rarement vendeur ! La recherche scientifique est rarement spectaculaire. Testart (2000) disait ainsi que « l’acte d’expertise n’est plus seulement fondé sur la validité de la connaissance, la caution scientifique qu’il confère à la décision, mais sur sa capacité à intégrer les incertitudes et à scénariser un avenir incertain ». On retrouve cette importance de la narration, que j’évoquais dans un précédant article (sur les “fake news” et la recherche de la vérité, justement). Si j’osais faire une parenthèse, c’est la grande difficulté de l’apprentissage de la recherche : on apprend à raisonner, à avoir une démarche scientifique, mais on apprend rarement à raconter une histoire, à écrire un papier qui sera lu.

De manière étonnante, le consensus scientifique crée souvent du doute, de la suspicion, comme je le notais dans mon précédant billet, dans le contexte du changement climatique. Dans une conférence au début du mois, une des chercheuses qui présentait des travaux sur l’analyse textuelle des “fake news” expliquait (je me permets de traduire en français ce que j’en ai retenu, la chercheuse parlant de la presse américaine) que les journalistes sont dans un moule “science-po” : tout sujet présenté doit avoir une thèse, suivi d’une anti-thèse, si possible présentées de manière égale, pour respecter une forme de neutralité. Si on parle d’un sujet qui fait consensus dans la communauté scientifique (on pourra parler de vérité “officielle”), on ira chercher une parole alternative, parfois présenté comme “indépendante”. Cette “indépendance” est alors présenté comme un gage de valeur, une garantie de vérité, les organismes devant prendre des décisions publiques (dont je parlais dans mon précédant billet) étant souvent présentés comme les garants de cette “vérité officielle” (alors que c’est souvent simplement que ces instances se sont tournés vers la littérature scientifique). Cette création artificielle de controverses a malheureusement des effets dramatiques, car on a finit par s’y habituer, le consensus devenant alors constamment suspect.

Fisker, S.T. & Taylor, S.E. (1984). Social cognition. Addison-Wesley.

Kahneman, D. (2011). Système 1 et système 2: Les deux vitesses de la pensée.

Simon, H.A. (1959) Theories of Decision-Making in Economics and Behavioral Science. American Economic Review, 49:3, 253-283.

Testart, J. (2000). Les experts, la science et la loi. Le Monde Diplomatique.

Intelligence artificielle et assurance IARD

L’intelligence artificielle pose de nombreux défis, tant technologiques qu’éthiques, voire philosophiques. Les problèmes les plus souvent évoqués étant le biais des données et la transparence des algorithmes (ou des modèles). Ce problème est bien connu en justice prédictive (les juristes parleraient de justice actuarielle) : les modèles doivent être interprétables, compréhensibles, et tenir compte du biais connu des données. Car à part les expériences randomisées, les données « neutres » ou « brutes » n’existent pas. Si je veux construire un score de fraude, j’utilise ainsi des données construites suite à des enquêtes pour fraudes, la majorité des observations découlant d’une suspicion préalable de fraude. Il est ainsi nécessaire de comprendre comment les données ont été collectées, ce que tout statisticien apprenait historiquement à faire. L’interprétabilité des modèles pose des questions complexes car elle est associée à un processus narratif, ce dernier proposant souvent une explication causale à un mécanisme (qui est souvent implicite dans l’idée du processus prédictif). Mais la grande majorité des modèles actuariels et d’apprentissage machine se contentent d’étudier des corrélations. Le genre est ainsi corrélé avec la sinistralité en assurance automobile, et les actuaires avaient pris l’habitude de justifier cette relation en recourant à des stéréotypes, de la même manière que la conduite d’une voiture de sport prêtait à un conducteur les pratiques de tous les conducteurs de voitures de sport. Cette généralisation par stéréotypes, au cœur du travail de l’actuaire, est aujourd’hui remise en cause par l’idée de personnalisation de l’assurance, comme cela s’observe également dans le domaine de la santé. Cette personnalisation est devenue indispensable en grande dimension : les classes de risques n’ont pas de sens. Avec plusieurs centaines de variables explicatives, plus aucun individu ne se ressemble, et il devient impossible de raconter une histoire autour d’un assuré « moyen ».

Cette personnalisation, qui flatte probablement l’ego de l’assuré, en le rendant unique casse l’idée de mutualisation et de segmentation de l’assurance. Historiquement, une forme de solidarité existait entre individus qui se ressemblaient, mais elle disparait dès lors que chaque assuré doit être vu comme un être unique. Si la théorie économique justifiait cette « spirale de la segmentation », la pratique et la théorie mathématique commence à cerner les limites. Segmenter trop signifie bien souvent que le modèle ne capture plus un signal de fond, et commence à modéliser du bruit, il overfit, et perd en généralisation : un modèle de tarification bon une année ne le sera peut-être plus l’année suivante. Les assureurs rêvent aujourd’hui en voyant les performances des modèles des GAFA qui arrivent à prédirent les prochains achats sur un site (probablement d’ailleurs en créant l’envie). Si des dialogues sont nécessaires entre ces deux mondes que tout oppose, la tortue conservatrice fascinée par son historique de données et le lièvre agile obsédé par l’avenir de l’autre, les modèles avancés d’apprentissage marchent souvent mal dans certains aspects de l’assurance IARD.

 Les algorithmes d’apprentissage profonds (des réseaux de neurones avec de très nombreuses couches, constituant des boîtes noires avec des milliers de paramètres) sont devenus incontournables pour analyser des images (prédire rapidement le coût d’un sinistre matériel automobile à partir d’une dizaine de photos du véhicule endommagé) ou pour analyser ou générer du texte (en offrant une assistance rapide et fiable à un assuré). Mais ils sont difficilement utilisables pour provisionner de manière robuste le coût d’un accident corporel et ils posent des questions intéressantes sur la tarification de l’assurance. Ces algorithmes ont été développés dans un contexte de classification, pour reconnaître des caractères manuscrits ou des objets sur une image et il y a des raisons simples pour comprendre qu’un chien est différent d’un chat sur une photo. Mais expliquer pourquoi Mr Dupont et pas Mme Dupond a eu un accident d’automobile l’an passé est plus complexe. Et ce n’est pas leur but : ces modèles visent à estimer la probabilité que Mr Dupont ait un accident dans l’année. Un modèle très poussé pourra prédire que la probabilité est de 17.23% (au lieu des 15.62% obtenue par un modèle jugé aujourd’hui trop simple), et la prime demandée doit alors augmenter de 10%. Mais est-ce si important si au final pendant les 8 années que Mr Dupont passera dans la compagnie, il n’aura aucun sinistre ? ou en aura un très grave ? L’assurance IARD relève bien souvent d’un aléa très important, la sinistralité étant en très grande partie imprévisible. Un danger est que ces algorithmes proposent des intervalles de prix beaucoup plus grands, et que la mise en compétition de ces modèles fera baisser les primes du marché. Si la sinistralité ne baisse pas en parallèle le marché perdra de l’argent, certains assureurs risquant alors de disparaître. En revanche, si ces nouvelles techniques permettent de réduire la sinistralité, tout le monde sera gagnant, mais cela suppose de faire davantage de prévention, cette dernière reposant sur l’identification de mécanismes causaux clairs, en identifiant quels leviers pourraient réduire la probabilité d’avoir un accident, et sa gravité.

La valeur de la vie humaine

L’article La Valeur de la Vie Humaine, co-écrit avec Béatrice Cherrier est paru dans le dernier numéro de la revue Risque.

En 1928, revenant sur la révolution chinoise de 1925, André Malraux publie son roman Les conquérants, et glisse « j’ai appris qu’une vie ne vaut rien, mais que rien ne vaut une vie ». Si la formule peut plaire, on imagine qu’elle n’aidera pas trop un décideur public. En 2013, le Commissariat général à la stratégie et à la prospective, en France, évaluait la valeur d’une vie à trois millions d’euros. Mais d’où sort ce chiffre ? Et que signifie-t-il vraiment ?

Optimal transport on large networks

With Alfred Galichon and Lucas Vernet, we recently uploaded a paper entitled optimal transport on large networks on arxiv.

This article presents a set of tools for the modeling of a spatial allocation problem in a large geographic market and gives examples of applications. In our settings, the market is described by a network that maps the cost of travel between each pair of adjacent locations. Two types of agents are located at the nodes of this network. The buyers choose the most competitive sellers depending on their prices and the cost to reach them. Their utility is assumed additive in both these quantities. Each seller, taking as given other sellers prices, sets her own price to have a demand equal to the one we observed. We give a linear programming formulation for the equilibrium conditions. After formally introducing our model we apply it on two examples: prices offered by petrol stations and quality of services provided by maternity wards (only the later is described here for privacy issues). These examples illustrate the applicability of our model to aggregate demand, rank prices and estimate cost structure over the network. We insist on the possibility of applications to large scale data sets using modern linear programming solvers such as Gurobi.

Demand for gas in gas stations in Britanny, and demand for maternity in France (with border correction)

In addition to this paper we released a R toolbox to implement our results and an online tutorial, optimalnetwork.github.io.

Pareto Models for Top Incomes

This week, The Society for the Study of Economic Inequality (ECINEQ) organised the Eighth ECINEQ Meeting 2019  in Paris, hosted by the Paris School of Economics and the World Inequality Lab. Emmanuel Flachaire was there to present our joint work on Pareto Models for Top Incomes. Slides are also available


The paper is still available on hal, and the package (TopIncomes) is also available from github,

library(devtools)
install_github("freakonometrics/TopIncomes")
library(TopIncomes)

Quinze ans…

Il y a presque quinze ans, jour pour jour, en juin 2004, le premier tome de Mathématiques de l’Assurance Non-Vie  était disponible en librairie…

Quinze ans…! Déjà… Autant le second tome est un peu dépassé aujourd’hui (on reste sur les GLM et les GAM, mais de nombreuses autres techniques statistiques auraient pu être présentée si on avait pris le temps de faire un vraie nouvelle édition), autant le premier me semble toujours au goût du jour. Avec le recul, je mettrais la section plus économique dans le premier tome, en rajoutant une section sur la concurence… mais avec quinze ans de recul, je suis toujours fier de voir ce livre trôner dans la bibliothèque de collègues, ainsi que de nombreux praticiens….

Pareto Models for Top Incomes

With Emmanuel Flachaire, we uploaded on hal a paper on Pareto Models for Top Incomes,

Top incomes are often related to Pareto distribution. To date, economists have mostly used Pareto Type I distribution to model the upper tail of income and wealth distribution. It is a parametric distribution, with an attractive property, that can be easily linked to economic theory. In this paper, we first show that modelling top incomes with Pareto Type I distribution can lead to severe over-estimation of inequality, even with millions of observations. Then, we show that the Generalized Pareto distribution and, even more, the Extended Pareto distribution, are much less sensitive to the choice of the threshold. Thus, they provide more reliable results. We discuss different types of bias that could be encountered in empirical studies and, we provide some guidance for practice. To illustrate, two applications are investigated, on the distribution of income in South Africa in 2012 and on the distribution of wealth in the United States in 2013.

This paper was presented at and UCSB and in several workshops this spring, and this Summer, Emmanuel will present it at ECINEQ.

Note that a R package is also available on github, TopIncomes.

Données Agrégées et Variables Compositionnelles

Avec Enora Belz, nous venons de mettre en ligne une note méthodologique, Données Agrégées et Variables Compositionnelles, sur hal.

La réforme du droit sur les données personnelles en Europe rend difficile l’accès aux données individuelles (même souvent non-nominatives), surtout quand on cherche des données jugées sensibles (et souvent, le revenu entre dans cette catégorie). Une solution souvent envisagée est la mise à disposition de données agrégées spatialement. Ces données posent toutefois deux problèmes techniques. Le premier est que les données catégorielles deviennent des compositions. Le second est lié au paradoxe écologique qui dit qu’il est dangereux d’inférer des relations économétriques individuelles à partir de données agrégées. Nous verrons ici comment travailler avec des données compositionnelles (pour éventuellement juste valider une approche classique de régression linéaire-plus simple à interpréter). Et nous évoquerons le second, mais qui reste malheureusement trop général pour pouvoir être traité de manière satisfaisante.

Extended Scale Free Networks

With Emmanuel Flachaire, we recently uploaded a short article, Extended Scale-Free Networks, on arxiv.

Recently, Broido & Clauset (2019) mentioned that (strict) Scale-Free networks were rare, in real life. This might be related to the statement of Stumpf, Wiuf & May (2005), that sub-networks of scale-free networks are not scale-free. In the later, those sub-networks are asymptotically scale-free, but one should not forget about second-order deviation (possibly also third order actually). In this article, we introduce a concept of extended scale-free network, inspired by the extended Pareto distribution, that actually is maybe more realistic to describe real network than the strict scale free property. This property is consistent with Stumpf, Wiuf & May (2005): sub-network of scale-free larger networks are not strictly scale-free, but extended scale-free.

From betting to “prediction market”

This is the second part of a series on sports betting

Sports betting has long fascinated economists and statisticians. Griffith (1949) showed early on that horse race bettors put too much money on horses that have little chance of winning, and too little on those that have the best chance of winning. This tendency to underbid on the most likely event has been obaserved in all sports betting, where the “most likely event” is calculated on the basis of recent statistics. And it can be explained in a fundamental way by the mechanics of mutual betting: the bettor opposes his beliefs to those of the crowd, because the various bets will determine the odds.

Predictions, before surveys

Today, in the months leading up to each election, we find ourselves drowned under the polls, conducted every day (and commented on several times a day, as if estimation noise was worth exegesis). As Frédéric Dabi (Deputy Director General of Ifop) pointed out in a debate organised by Risques magazine in 2017, “surveys are an indication of the electoral balance of power, not a prediction”, but it is nevertheless often in the idea of having a prediction that they are used.

But if we go back in time, Rhode & Strumpf (2008) reminds us that other techniques were used, before the idea of surveys became necessary, in particular betting. In 1549, Matteo Dandolo (Ambassador of Veneto) noted that “it is therefore more than clear that the traders are very well informed of the state of the election, and that the employees of the cardinals in conclave (i conclavisti) participate with them in betting, which therefore leads to several tens of thousands of crowns changing hands” as Baumgartner (2003) tells us. Closer to home, betting markets during the elections were popular in the United States until the Second World War. Rhode & Strumpf (2008) suggests several reasons for the loss of interest in the second half of the 20th century: improvements in sampling techniques… and the legalization of horse betting. But online betting sites have revived interest in betting, whatever it may be. Because the sites we mentioned in a previous article are often not limited to sports betting, but also allow betting on a magnitude earthquake, an Oscar winner, or even the observation of the Higgs boson, as proposed by intrade.com, which was liquidated in 2015. As onlinebettingsites.com shows, we could bet on the French elections in 2017, or on the referendum on Brexit (even if for the latter, the predictive markets were not able to reflect the beliefs of the crowds, as an article in The Economist recalls).

Mathématiques du pari-mutuel

The “pari-mutual” theory is not unlike the mutualisation of risks, an important foundation of the insurance mechanism, dear to actuaries. Working in the horse betting markets, Edmund Eisenberg and David Gale obtained, in a short three-page article, Consensus of Subjective Probabilities, relatively general results, as long as the bet is static.

Supposons que I joueurs puissent parier sur J chevaux. Chaque joueur possède une somme totale bi, que l’on normalisera de telle sorte que bi désigne la part de la somme totale misée (et donc b1 +…+ bI =1). Le joueur i peut alors miser la somme bi,j sur le cheval j (avec ici bi,1+…+bi,J = bi). Lorsque les paris sont clôturés, on note pj le montant parié sur le cheval j, autrement dit b1,j+…+bI,j = pj). La contrainte de budget impose que la somme de ces montants soit égale a 1, ce qui donne aux pj une interprétation probabiliste. Nous reviendrons sur l’utilisation de ces « prix » par la suite. On peut aussi noter qj la cote de gain (payoff-odds) définie comme pj-1-1, de telle sorte que pj=(1+ qj) -1. Si on suppose qu’une portion 1-a est gardée par le bookmaker, alors pj= a(1+ qj) -1 et qj =( a -pj)/ pj. Les rendements espérés sur chacun des chevaux doivent être égaux, à l’équilibre, au rendement net attendu, où l’espérance est calculée sous la probabilité p, de manière à refléter les croyances de tous les parieur, soit ici

pjqj+ (1-pj)(-1)= a-1

The key result of the Eisenberg & Gale model is to show that there is a balance in this market. More precisely, the fraction bet on each horse must be equal to the probability of the horse market. To achieve this balance, it is often assumed that the equilibrium ratings are found by an auctioneer (this role will be played by the bookmaker). As Blough (2008) noted, the hypothesis that no wagering is made until the odds are balanced is a hypothesis that is indeed true in horse racing.

If we assume that each bettor is risk neutral (and seeks to maximize his expectation of winning) and that his beliefs are materialized by a probability vectors pi=(pi1,…,piJ) – in the sense that player i thinks that horse j will win with a probability pij – then at equilibrium, if bi,j >0,

pij=pj max{pis/ps}

where argmax{pis/ps}= argmax{pis(qs+1)}

s the horse on which bettor i must bet everything if he bets on a single horse. Blough (2008) elaborates at length on the description of this balance, and extends it to the case where agents potentially have risk aversion (but the same) and potentially different beliefs. This balance is then described as a consensus of belief.

In an article entitled Interpreting the Predictions of Prediction Markets, Charles Manski proposed using this theory to interpret these prices, in conjunction with more traditional approaches in economics, such as Arrow-Debreu prices.

To illustrate this consensus, let us consider a world cup final that should lead either to the victory of A or the victory of B. Let us imagine a contract offering $1 if A wins, and let this contract be offered at price pA. Si on n’autorise pas d’arbitrage, on a une loi du prix unique, et on en déduit que pB = 1-pA. Imaginons un joueur qui pense que la probabilité que A gagne est supérieure à pA, soit, avec les notations précédentes, piA > pA. Dans ce cas, le joueur a intérêt à parier tout son agent sur la victoire de A, c’est-à-dire acheter ce contrat. La demande agrégée pour ce titre sera alors

[b1P[p1A > pA]+…+ bI P[pIA > pA]] / pA

et on aura un équilibre si la demande agrégée pour les deux titres vérifie

[b1P[p1A > pA]+…+ bI P[pIA > pA]] / pA  

= [b1P[p1A < pA]+…+ bI P[pIA < pA]] / pB

 de telle sorte que

pA = b1P[p1A > pA]+…+ biP[piA > pA]] +…+ bIP[pIA > pA]

which allows the prize to be written as an average of the players’ beliefs.

It should be noted here that the balance is static, allowing the bookmaker to just set a rating. Recently, Agrawal et al (2014) proposed an algorithm to balance this market in continuous time. It may also be noted that this notion of equilibrium appears in many algorithms, such as in the so-called Fisher market.

The predictive power of prices

But this idea of seeing in the prices an aggregation of players’ beliefs is not new! In 1655, in Van Rekeningh in Spelen van Gelucken, (published in Latin under the title’De Ratiociniis in Aleæ Ludo’), Christiaan Huyghens proposed to extract information on beliefs from prices. In 1671, Wilhelmina de Witt noted that, as the price of a contract paying an annuity until death could be seen as a weighted average of annuities (with a fixed maturity), by observing the prices of the different insurance contracts, probabilities interpreted as probabilities of survival could be extracted.

These probabilities are “subjective” as Bruno de Finetti or Frank Ramsey called them. The latter did not see probabilities from a frequentist angle, but saw it as a measure of the degree of belief, which could be measured through bets, in Truth and Probability (1926). This is finally what the theory presented by Kenneth Arrow in 1953, and further developed by Gérard Debreu in 1959, introducing the “Arrow-Debreu prices”, says.

Many websites use odds to infer players’ beliefs, which are misrepresented as the probability that a team will win a competition. We can also note the work carried out last summer by doctoral students at the University of Rennes who had compared the odds on online betting sites, and the forecasts obtained by several algorithms (ranging from a naive Bayesian classifier to boosting, SVM or neural networks). A special issue of The Economist, published in 2007, entitled The Future of Futurology, noted that “the most heeded futurists these days are not individuals, but prediction markets, where the informed guesswork of many is consolidated into hard probability”. This idea has now largely returned to the forefront, as predicted in the article by Chen & Pennock (2010) published in AI Magazine.

Agrawal, Shipra, Delage, Erick, Peters, Mark, Wang, Zizhuo & Ye, Yinyu (2014). A Unified Framework for Dynamic Prediction Market Design. Operations Research.

Baron, Ken & Lange, Jeffrey (2006). Parimutuel Applications In Finance: New Markets for New Risks. Springer.

Baumgartner, Frederic (2003) Behind locked doors: a history of papal elections. Palgrave.

Blough, Stephen R. (2008) Differences of opinion at the racetrack. In Efficiency of Racetrack Betting Markets, 323-341, World Scientific.

Chen, Yiling & Pennock, David (2010). Designing Markets for Prediction. AI Magazine.

Decker, Wolfgang & Thuillier, Jean-Paul (2004). Le sport dans l’antiquité. Picard.

Eisenberg, Edmund & Gale, David (1959). Consensus of Subjective Probabilities: The Pari-Mutuel Method. Annals of Mathematical Statistics, 30:1, 165-168.

Griffith, RM (1949) Odds adjustments by American horse-race bettors. The American Journal of Psychology, 62, 290-294.

Manski, Charles (2005) Interpreting the Predictions of Prediction Markets. NBER 10359.

Rhode, Paul, W. & Strumpf, Koleman (2008) Historical Political Futures Markets: An International Perspective. NBER 14377.

[1] Baron & Lange (2006) discusses the comparison between so-called “risk-neutral” valuation in finance (based on the law of single price and arbitrage), and that relating to mutual betting. They thus speak of “self-hedging” because, in a bet, the bettors share the winnings in proportion to their initial bet. This is reminiscent of the way mutual insurance companies operate, where the money used to compensate victims must correspond to the total premiums charged.