Category Archives: Publications

Optimal Transport for Counterfactual Estimation: A Method for Causal Inference

For those who wish to reproduce the techniques proposed in our paper, Optimal Transport for Counterfactual Estimation: A Method for Causal Inference, Ewen Gallic has put online some nice pages, with the application mentioned in the paper (both univariate and bivariate, including confidence intervals with bootstrap), as well as simpler examples, which I use in the slides, to present the method

http://egallic.fr/Recherche/Transport_Counterfactual/

I will present this work at the Bachelier Seminar, in Paris, at the end of the week. Slides are online here.

Many problems ask a question that can be formulated as a causal question: “what would have happened if…?” For example, “would the person have had surgery if he or she had been Black?” To address this kind of questions, calculating an average treatment effect (ATE) is often uninformative, because one would like to know how much impact a variable (such as skin color) has on a specific individual, characterized by certain covariates. Trying to calculate a conditional ATE (CATE) seems more appropriate. In causal inference, the propensity score approach assumes that the treatment is influenced by x, a collection of covariates. Here, we will have the dual view: doing an intervention, or changing the treatment (even just hypothetically, in a thought experiment, for example by asking what would have happened if a person had been Black) can have an impact on the values of x. We will see here that optimal transport allows us to change certain characteristics that are influenced by the variable we are trying to quantify the effect of. We propose here a mutatis mutandis version of the CATE, which will be done simply in dimension one by saying that the CATE must be computed relative to a level of probability, associated to the proportion of x (a single covariate) in the control population, and by looking for the equivalent quantile in the test population. In higher dimension, it will be necessary to go through transport, and an application will be proposed on the impact of some variables on the probability of having an unnatural birth (the fact that the mother smokes, or that the mother is Black).

La société du bullshit

En 1986, le philosophe Harry Frankfurt définissait le concept de “bullshit” en lui donnant un sens bien précis, traduit parfois en français sous le nom de “baratin”. Un baratineur n’est pas un menteur (qui est conscient de tromper), il est juste totalement indifférent à la vérité, ce qui le rend presque plus dangereux encore (“bullshit is a greater enemy of the truth than lies are”). Les baratineurs ont une opinion sur tout et n’importe quoi, ils parlent donc abondamment de choses dont ils ne savent pratiquement rien. Et la fascination de ces derniers mois autour des agents conversationnels (comme GPT-3 ou ChatGPT1),ces algorithmes nés pour baratiner, ne peut que nous interpeller.

ChatGPT ou la complétion de texte

Un modèle de langue de grande taille (LLM, Large Language Model) est un modèle de traitement de langage naturel qui utilise un grand nombre de données textuelles pour apprendre à prédire les mots et les phrases suivants dans un texte donné. Ces modèles sont entraînés à partir de vastes ensembles de données, tels que des corpus de textes de diverses sources, tels que des livres, des articles de presse, des pages Web. GPT-32 est un de ces modèles, contenant 175 milliards de paramètres (120 fois plus que GPT-2, lancé un an auparavant) répartis dans un réseau de neurones à 96 couches, avec une mémoire contextuelle de 2048 tokens (ou lexème)3, et vectorisant dans un espace en dimension 12288 (je renvoie à Wolfram (2023) pour davantage de détails techniques sur le fonctionnement de ChatGPT). Ce charabia4 signifie qu’en tapant quelques mots, l’algorithme les transpose tout d’abord dans un espace (vectoriel) leur donnant du contexte, on parlera de plongement lexical (word embedding). Le plus connu de ces algorithmes est probablement Word2vec5, de Mikolov (2013), qui repose sur l’idée (énoncée dans les années 1950) que les mots apparaissant dans des contextes similaires ont des significations apparentées. On peut alors introduire une géométrie dans cet espace latent, qui permettra d’interpréter le fait que le vecteur reliant homme et roi est parallèle au vecteur reliant femme et reine, que l’on écrira parfois sous la forme roi – homme + femme = reine. Un autre exemple célèbre est Paris – France + Espagne = Madrid, autrement dit Paris est à la France ce que Madrid est à l’Espagne. Ce plongement lexical n’est pas associé à une compréhension de la géopolitique, permettant de savoir qu’effectivement Madrid est la capitale de l’Espagne, mais simplement sur des concomitances de mots dans des phrases, utilisées pour entraîner l’algorithme. La qualité des textes utilisés sera alors importante, et cette logique permet d’expliquer que l’algorithme reproduira des biais observés dans les textes, et semblera raciste, ou sexiste. Là encore, un exemple connu est chirurgien – homme + femme = infirmière.

Ensuite, ce modèle est un outil génératif de complétion de texte, c’est-à-dire qu’en voyant une succession de mots, il va essayer de prédire des mots qui pourraient suivre, listant les mots les plus probables, puis en choisissant. Sur GPT-3, le paramètre dit de “température” permet d’introduire de l’aléa, en lui demandant de ne pas forcément toujours retenir la suite la plus probable, mais lui autorisant un peu d’aléa (qu’on pourrait pourrait associer à une forme de poésie ou de créativité). Il est important de retenir, comme l’explique Li (2023), que tant d’un point de vue philosophique que mathématique, il est fondamentalement impossible pour les modèles entraînés à deviner le mot suivant d’apprendre les significations du langage et que leurs performances ne sont que le résultat de la mémorisation de statistiques, de corrélations qui ne reflètent pas un modèle causal du processus générant la séquence. Pour illustrer, imaginons un algorithme entraîné sur un seul texte, la Bible. Si je lui demande de compléter la phrase “au commencement était…”, la suite logique pour l’algorithme sera au choix “le verbe” ou “la parole”. Ici, la quantité de textes utilisés pour entraîner l’algorithme est astronomique. Par exemple, sur GPT-35, je peux lui demander de continuer un début de phrase :

La réponse dépend, entre autres, du nombre de termes que l’on demande. Les phrases sont cohérentes et grammaticalement justes, montrant que GPT-3 a une “compétence linguistique formelle”, comme le diraient les chercheurs en sciences cognitives. Mais il n’a aucune “compétence linguistique fonctionnelle”, c’est-à-dire qu’il n’a aucune capacité de raisonnement. Autrement dit, GPT-3 se comporte exactement comme l’opérateur enfermé dans la “chambre chinoise” de John Searle, cette expérience de pensée analysée par Cole (2004). Pourtant, il peut effectuer des calculs, par exemple calculer une intégrale

ou

En effet \int_{0}^{\pi/2}\cos(x)dx=\big[\sin(x)\big]_0^{\pi/2}=\sin({\pi/2})-\sin(0)=1-0=1.

On peut lui demander d’expliquer un peu plus. Et les résultats sont alors étonnants, avec des calculs formels juste, mais faux numériquement

ou au contraire, un résultat numérique correct, mais pas sur sa justification,

Je ne peux m’empêcher d’en afficher d’autres

ou encore

Force est de constater que la puissance créatrice de l’algorithme est impressionnante

illustration de Sir John Tenniel, 1869 (Alice au Pays des Merveilles)

Je peux tenter de rajouter une information, comme quoi je connais les mathématiques (comme l’affirmait un collègue, “si vous lui demandez de résoudre des problème de votre niveau, demandez-lui de se mettre à votre niveau“)

mais là encore, on peut obtenu des choses insensées

Je vais finir ce calcul intégral avec cette réponse, digne d’une copie d’étudiant qui tente de nous impressionner

On peut aussi poser des petites devinettes, voir s’il sait y répondre

mais manifestement non

Un calcul rapide montre que cela n’a aucun sens, et que l’algorithme a su faire preuve de créativité. On a l’impression que GPT-3 a fait sienne la phrase de Lewis Carroll6, “Mais alors, dit Alice, si le monde n’a absolument aucun sens, qui nous empêche d’en inventer un ?” On peut aussi lui demander des informations plus… “personnelles”, par exemple

puis en reposant la question, on se demande si ce n’est pas un autre opérateur qui répond

On peut reposer la question indéfiniment, et s’amuser des réponses… mais force est d’admettre qu’il s’agit typiquement d’une réponse de baratineur, car il est difficile d’imaginer qu’un algorithme ait une ville préférée. On pourrait presque dire qu’il est créatif, même s’il s’est contenté de chercher, dans l’ensemble du corpus utilisé pour l’entrainer, une réponse logique, ou plutôt une suite vraisemblable de termes pour faire suite à ma requête. On pourrait presque s’arrêter là, et repenser à tous ces livres écrits sur la technologie et la robotisation de la société, qui affirmaient que les robots feraient les travaux manuels, et les humains les travaux créatifs. On est en 2023, et pendant que GPT3 s’invente des villes préférées (il pourrait même me répondre en alexandrins), je dois toujours vider le lave-vaisselle et passer l’aspirateur.

En introduction, nous mentionnons que GPT-3 n’avait aucune conscience de ce que peut être la vérité, il se contente de nous faire la conversation. On peut ainsi lui dire qu’il se trompe (même si ce n’est pas le cas), et docilement, il acquiescera

GPT-3 est ainsi authentiquement un producteur de bullshit comme l’affirmait Frankfurt (1986). Pire, il peut enchaîner des affirmations qui ne laissent planer aucun doute. Par exemple

Mais préférerait-on lire à la fin de la phrase “mais j’ai des doutes”, ce qui achèvera presque de le rendre humain7 ? Cette ambivalence est d’ailleurs renforcée par une caractéristique surprenante de GPT-3 (et c’est aussi le cas de ChatGPT), avec des mots qui se dévoilent les uns après les autres8.

Lorsque j’écris, est-ce que je sais vraiment ce que je veux écrire ? Est-ce que le texte ne se dévoile pas à lui-même au fur et à mesure qu’il se formule ?” affirmait Jacques Derrida dans une conférence à Cornell dans le roman Binet (2015). C’est ce que l’on voit lorsqu’on pose une question à GPT-3, ce qui renforce la croyance que derrière l’algorithme se cacherait presque un humain9.

L’automate turc et les perroquets

On connait tous le Turc mécanique ou l’automate joueur d’échecs, ce prétendu automate grandeur nature, coiffé d’un turban, qui avait la faculté de jouer aux échecs, à la fin du XVIIIème siècle, dont l’histoire légendaire est racontée dans Standage (2003).

illustration, dessin de W. de Kempelen et estampe de J. G. Pintz, 1783

Cette histoire est presque le contraire de celle de ChatGPT, avec ici un homme qui se fait passer pour une machine, alors qu’avec les algorithmes conversationnels, ce sont des algorithmes qui ont presque convaincu qu’ils pensaient comme des personnes, qu’ils pouvaient écrire des œuvres originales. Mais si on ouvre la machine, on ne trouvera personne. Pourtant, nous voudrions y croire, car nous sommes tous très doués pour personnifier tout ce qui semble agir comme un humain. Comme l’écrivait Mahowald & Ivanova (2022) nous avons une “persistent tendency to associate fluent expression with fluent thought, it is natural – but potentially misleading – to think that if an AI model can express itself fluently, that means it thinks and feels just like humans do”. On se souviendra que Joseph Weizenbaum, qui développa ELIZA dans les années 1960, un des premiers algorithmes conversationnels, a écrit un livre pour mettre en garde les gens contre l’anthropomorphisme des programmes informatiques, rappelant que son outils n’avait aucune compréhension du monde, mais reposait juste sur quelques astuces répétitives basées sur des mots-clés identifiés par les chercheurs.

ChatGPT n’a aucune compréhension et aucune intention, il se contente de nous répondre, parce qu’il a été programmé pour ça. “On ne parle jamais pour ne rien dire” affirme Viktorovitch (2021). Mais ChatGPT nous parle, alors qu’il n’a littéralement rien à nous dire, il s’agit d’un simple générateur aléatoire de mots. Ou comme le présentait Bender et al. (2021) un “stochastic parrot”, un perroquet stochastique. L’article avait suscité beaucoup d’émotion à l’époque, car neuf jours avant que le document ne soit accepté pour la conférence, et publié, Timnit Gebru, co-auteure de l’article, a été licenciée de son poste de co-directrice de l’équipe d’éthique de Google après avoir refusé de retirer son nom du document (Margaret Mitchell, également auteure, a été licencié deux mois plus tard). Ce contexte a malheureusement fait oublier la portée de l’article, qui mettait en garde contre les dangers des modèles de langue de grande taille (le titre complet est “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”). Et pour poursuivre la métaphore aviaire, on peut se souvenir de l’anecdote racontée par le physicien Richard Feynman en 1966, lorsqu’il discutait avec son père, enfant : “See that bird? It’s a brown-throated thrush, but in Germany it’s called a halsenflugel, and in Chinese they call it a chung ling and even if you know all those names for it, you still know nothing about the bird — you only know something about people; what they call that bird. Now that thrush sings, and teaches its young to fly, and flies so many miles away during the summer across the country, and nobody knows how it finds its way,” and so forth. There is a difference between the name of the thing and what goes on”. Autrement dit, il y a une différence profonde entre dire et nommer des choses, et réellement les comprendre. Et l’explosion exponentielle de la complexité et de la taille de ces algorithmes ne changera rien10. Même si GPT-4 contient mille fois plus de paramètres, l’algorithme ne sera pas “mille fois plus intelligent”, il sera juste un meilleur miroir de notre intelligence, et de notre bêtise, peut-être seulement de manière encore plus convaincante.

Le “bullshit”, le baratinage et les risques

Comme Klein (2023) l’a écrit, avec GPT, “the cost of producing “bullshit” has gone to zero”. Ces algorithmes sont des baratineurs, et ce n’est pas un défaut que les versions suivantes corrigeront, c’est une caractéristique de ces modèles. En 2020, comme le cite Marcus & Davis (2020), le chercheur Douglas Summers-Stay affirmait “GPT is odd because it doesn’t ‘care’ about getting the right answer to a question you put to it. It’s more like an improv actor who is totally dedicated to their craft, never breaks character, and has never left home but only read about the world in books. Like such an actor, when it doesn’t know something, it will just fake it. You wouldn’t trust an improv actor playing a doctor to give you medical advice.” Et il est important de garder cette caractéristique en tête quand on imagine les utilisations possibles de ces générateurs de discussions. Et les concurrents d’OpenIA répondent présent, Google ayant lancé Google Bard voilà quelques semaines, cette multiplication de l’offre laissant penser qu’il existerait une demande massive pour ce genre d’outils.

Les pouvoirs de “raisonnement” du modèle sont au mieux superficiels, mais plus vraisemblablement inexistants. Comme l’affirme Mielczareck (2021), “si les « bullshitters » sont toujours plus nombreux, c’est aussi qu’ils répondent aux injonctions de leur époque”. Encore une fois, il est important de garder en tête l’affirmation de Frankfurt (2009), “bullshit is a greater enemy of the truth than lies are”, les “bullshitters” sont bien plus dangereux que les menteurs. Le “bullshitter”, c’est celui qui est pris la main dans le pot de confiture, qui vous regarde en souriant en vous disant que ce n’est pas lui, tout en continuant à se goinfrer. Et qui pourrait au passage tweeter « what ever » ou « who cares »

On l’a vu, faire confiance aveuglément à GPT-3 et le suivre aveuglément dans ses hallucinations11 ne peut se faire qu’en mettant son sens critique en veille. Alors à quoi sert ChatGPT ? Il est important de garder en tête que l’algorithme est développé par OpenAI, cette société12 dont la finalité officielle est “to ensure that artificial general intelligence benefits all of humanity”, mais qui compte aussi bien profiter de ce battage médiatique pour gagner de l’argent.  Étymologiquement, le mot “baratin” désignait, dans l’argot des voleurs, le portefeuille vide qui remplace celui, bien plein, que l’on vient de voler pour que la victime ne s’en rende pas compte. Au début du XXème siècle, le mot désignait  le bluff d’un homme d’affaires, d’un courtisan, d’un flagorneur. L’ironie est que ChatGPT est probablement proche de ce concept, la vision séduisante de l’“intelligence artificielle” est, pour beaucoup, la promesse qu’une technologie suffisamment performante pourra remplacer les travailleurs humains ou, plus important encore, pourra les précariser et les affaiblir. Car il y a un message politique dans cette technologie. L’injonction permanente à apprendre à vivre avec ces outils, qui sont là pour rester et que nous devons juste apprendre à vivre avec est effrayante. On l’a vu, il est important de distinguer ce qui serait un défaut temporaire d’une caractéristique profonde, car ce genre d’outils ne sera jamais plus qu’un “perroquet stochastique”. Et pour quantifier sérieusement les risques, il convient d’imaginer les utilisations possibles de cet outil. Par exemple, si on souhaite utiliser un modèle de langue de grande taille pour répondre à des questions de santé, l’exactitude et la fiabilité des réponses est probablement essentiel. On notera l’alerte lancée par des chercheurs de cp<r> qui avait repéré que certaines cyberattaques récentes avaient été possible grâce à GPT-3.

En juin 2021, la plateforme Github a lancé Github Copilot, afin de générer du code. Par exemple “écris un code python qui, à partir d’une phrase, va renvoyer la même phrase en mettant tous les mots en ordre inverse”, ou d’autres codes plus compliqués (et plus utiles). Pour entraîner un tel modèle de génération de code, l’algorithme a appris sur des millions de codes, trouvés en ligne sur des sites dédiés. Et bien souvent, l’algorithme recopie un code trouvé ailleurs, s’apparentant davantage à un moteur de recherche qu’à un générateur de codes. Ce qui est effectivement plus efficace, car inventer un code intégralement a peu de chances pour que ce dernier fonctionne effectivement lorsqu’on le compilera. Et malheureusement, plusieurs codes renvoyés par l’algorithme étaient protégés par le droit d’auteur, et plusieurs procès sont en cours. Wikipedia cite sans cesse ses sources, comme le mentionnait Charpentier (2018), mais pas GPT-3 qui se contente de plagier ses données d’apprentissage. Faut-il être admiratif, et affirmer, comme l’aurait dit Pablo Picasso13 (ou Banksy), “the bad artists imitate; the great artists steal.” Gary Marcus avait parlé de “pastiche” pour décrire ChatGPT. Dans son sens premier, un pastiche est une contrefaçon, et on peut effectivement s’interroger sur ce que fait réellement cet algorithme.

Comme nous l’avons mentionné auparavant, une avancé entre GPT-3 et ChatGPT est peut être une couche intermédiaire permettant de recevoir des instructions humaines14 pour améliorer l’algorithme, obtenue par RLHF, Reinforcement Learning through Human Feedback. Perrigo (2023) raconte comme OpenIA était passé par la société Sama, qui employait du personnel au Kenya pour analyser des échantillons d’écrits identifiés comme potentiellement “sensibles” (parlant de meurtres, de suicide, de tortures, d’incestes, etc) afin de signaler ce contenu à l’algorithme afin d’éviter d’écrire des textes similaires, afin d’éviter de produire un contenu haineux ou pornographique. L’impact psychique sur ces travailleurs (payés 2$ de l’heure) était tel que le contrat liant Sama et OpenIA a été rompu. L’ironie est qu’au final les algorithmes générant du langage ne sont pas un automate turc, ils n’ont rien d’humain, et que pour le faire passer pour un humain “inoffensif”, ses créateurs ont dû déshumaniser de vrais humains.

 

Références

Anderson, C. (2008). The end of theory: The data deluge makes the scientific method obsolete. Wired magazine, 16(7), 16-07.

Bender, E., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency,‎ mars 2021, p. 610–623

Binet, L. (2015). La septième fonction du langage. Grasset.

Charpentier, A. (2018) Fake news, Wikipedia et Blockchain : Vérité et Consensus. Risques.

Chomsky, N. (2002). On nature and language. Cambridge University Press.

Cole, D. (2004), “The Chinese Room Argument”, The Stanford Encyclopedia of Philosophy

Frankfurt, H. G. (2009). On bullshit. Princeton University Press.

Grice, H. P. (1975). Logic and conversation. In Speech acts (pp. 41-58). Brill.

Klein, E. (2023). A Skeptical Take on the A.I. Revolution: The A.I. expert Gary Marcus asks: What if ChatGPT isn’t as intelligent as it seems?. New York Times, 6 janvier

Li, K. (2023). Do Large Language Models learn world models or just surface statistics?. The Gradient,

Mahowald, K. & Ivanova, A. (2022) Google’s powerful AI spotlights a human cognitive glitch: Mistaking fluent speech for fluent thought. The Conversation, 24 juin.

Marantz, (2023). “It’s Not Possible for Me to Feel or Be Creepy”: An Interview with ChatGPT. The NewYorker,

Marcus, G., & Davis, E. (2020). GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. Technology Review.

Marcus, G. (2022) How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?  garymarcus.substack.com

McCulloch, B. (2023) The risks of Large Language Models (such as ChatGPT). Vux.

Mielczareck, É. (2021). Anti Bullshit: Post-vérité, nudge, storytelling: quand les mots n’ont plus de sens (et comment y remédier). Editions Eyrolles

Mikolov, T. (2013) Efficient Estimation of Word Representations in Vector Space, Arxiv.

Perrigo, B. (2023). Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic. Times, 18 Janvier 2023

Standage, T. (2003). The Mechanical Turk : The True Story of the Chess Playing Machine That Fooled the World. Penguin Book.

Viktorovitch, V. (2021). Le pouvoir rhétorique. Seuil.

Weizenbaum, J. (1966). ELIZA — a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45.

Weizenbaum, J. (1976). Computer Power and Human Reason: From Judgment To Calculation, traduit en Puissance de l’Ordinateur et Raison de l’Homme – du Jugement au Calcul 1981, Ed. d’informatique.

Woldfram, S. (2023). What Is ChatGPT Doing … and Why Does It Work?

Yaguello, M. (2019). Alice au pays du langage-Pour comprendre la linguistique. Média Diffusion.

  1. ChatGPT (Generative Pre-trained Transformer) est basé sur GPT-3 (Generative Pre-trained Transformer 3) d’OpenIA, lancé en 2020.
  2. Plus précisément text-davinci-003, avec une “température” de 1 (afin d’augmenter l’aléa et avoir de nouvelles réponses en reposant la même question)
  3. Nous ne reviendrons pas sur cet aspect, mais cette mémoire contextuelle permet par exemple à l’algorithme de rattacher à un pronom un mot précis, à condition qu’il n’ait pas été évoqué trop loin dans le texte.
  4. GPT-3 est une merveille d’ingénierie, de part son échelle impressionnante, donnant presque raison à Anderson (2008), qui évoquait la fin de la théorie, la victoire des ingénieurs sur les chercheurs fondamentaux.
  5. On peut mentionner BERT ou encore Transformer, développés quelques années plus tard.
  6. Ce qui se traduirait par “But, said Alice, if the world has absolutely no sense, who’s stopping us from inventing one?”, car malheureusement cette prétendue citation ne semble figurer nulle part dans l’oeuvre de Lewis Carroll. Après tout, comme le dirait GPT-3, si la citation n’existe absolument pas, qu’est-ce qui nous empêche de l’inventer ?
  7. Peut-on d’ailleurs s’attendre à lire autre chose que “j’ai des doutes”, l’algorithme n’ayant aucune conscience de ce que peut être la vérité ?
  8. Il est d’ailleurs étonnant que si la succession de mots se dévoile aussi lentement, il n’y ait pas davantage d’erreurs, en particulier lorsqu’un calcul est effectué. Si la réponse 2 est donnée pour le calcul d’intégrale, puis justifiée, il convint que la réponse finale corresponde effectivement avec la première réponse donnée.
  9. Cela dit, quand on lui demande, l’algorithme répond toujours qu’il n’est pas humain. On évite de revivre ainsi une des premières scènes de la dystopie télévisuelle Westworld, où un homme demandant à un androïde “Are you real?” se voit répondre “If you can’t tell, does it matter?”.

10. Même si pour de nombreux chercheurs en informatique, “there’s no data like more data”, autrement dit “rien ne vaut plus de données” si le modèle n’est pas assez bon (embrassant ainsi l’affirmation d’Anderson (2008)).
11. Les hallucinations sont un phénomène psychique par lequel un sujet en état de veille éprouve des perceptions ou des sensations sans qu’aucun objet extérieur les fasse naître. Cette déconnexion avec la réalité n’est pas sans faire penser au comportement de cet algorithme.
12. De nombreux chercheurs ont souligné l’ironie du nom pour une société aussi peu ouverte et transparente, bien plus pressée pour offrir une plateforme pour “démocratiser” l’outil que pour autoriser des tiers de confiance (des universitaires) à mieux comprendre le fonctionnement de l’outil.
13. Au musée de Bristol figure une pierre gravée de la citation de Pablo Picasso “Les mauvais artistes imitent, les grands artistes volent“, où Banksy a rayé le nom de Picasso pour y mettre le sien.
14. Ce modèle précédant est InstructGPT, “a more truthful and less toxic GPT-3

Data Augmentation for Imbalanced Regression

Our paper Data Augmentation for Imbalanced Regression, writen with Denys Pommeret and Sam Stocksieker, is now available on ArXiv.

In this work, we consider the problem of imbalanced data in a regression framework when the imbalanced phenomenon concerns continuous or discrete covariates. Such a situation can lead to biases in the estimates. In this case, we propose a data augmentation algorithm that combines a weighted resampling (WR) and a data augmentation (DA) procedure. In a first step, the DA procedure permits exploring a wider support than the initial one. In a second step, the WR method drives the exogenous distribution to a target one. We discuss the choice of the DA procedure through a numerical study that illustrates the advantages of this approach. Finally, an actuarial application is studied.

Statistique & société, équité en apprentissage automatique

Le dernier numéro de Statistique et Société a pour thème “équité en apprentissage automatique”. On pourra y retrouver un article coécrit avec Laurence Barry sur L’équité de l’apprentissage machine en assurance.

Les assureurs sont réputés utiliser des données pour classer et tarifer les risques. À ce titre, dès la fin du 19e siècle, ils ont été confrontés aux problèmes d’équité et de discrimination associées aux données. Pourtant, si cette question est récurrente, elle connait un regain d’importance avec l’accès à des données de plus en plus granulaires, massives et comportementales. Nous verrons ici comment les biais de l’apprentissage machine en assurance renouvellent ou transforment ce questionnement pour rendre compte des technologies et des préoccupations sociétales actuelles : paradoxalement, alors que la plupart de ces biais ne sont pas nouveaux, la recherche d’une équité pour les contrer, elle, se transforme.

Is there discrimination against the poor?

(With Laurence Barry, we wrote a short article on discrimination against the poor, in French)

In 2013, Martin Hirsch (former director of Emmaüs and Assistance publique – Hôpitaux de Paris) stated “it’s getting expensive to be poor”. This reality was confirmed by a recent study, in France, by the Banque Postale*, which showed that on average, a poor household has to pay 1,500 euros more each year to access the same goods and services as a better-off household, introducing a “double poverty penalty**”. Unfortunately, insurance is not left out: the use of credit scores in many countries reinforces what could be a form of discrimination against the poor. In the United States, where the practice is more common than elsewhere, a commission of inquiry recently tried to explain the link between credit score and claims frequency: is it because, as some insurers argue, people with lower scores are also less careful than others? Or is it because, having less financial means than others, they more naturally ask to be compensated for the losses incurred? And, in this second case, are we not also making them pay twice for their condition?

From excellence to wealth as a virtue

On what criteria do we admire people? For the Greeks, excellence, or arête (ἀρετή), was a major virtue. This excellence went beyond moral excellence: in the Greco-Roman world, the term evoked a form of nobility, recognizable by the beauty, strength, courage, or intelligence of the person. Now this excellence had little to do with wealth: thus Herodotus is astonished that the winners of the Olympian games were content with an olive wreath and a “glorious renown,” peri-bones (περὶ ἀρετῆς). In the Greek ethical vision, especially among the Stoics, a “good life” does not depend on material wealth – a precept pushed to its height by Diogenes who, seeing a child drinking from his hands at the fountain, throws away the bowl he had for all crockery, telling himself that it is again useless wealth.

Greek society is nevertheless a deeply hierarchical society, even if it is organized around values other than material wealth. We can then ask ourselves at what point in Western history wealth became the measure of all things. One thinks then of Max Weber’s theory: the ethics of Protestantism pushes for work and earthly success as a revelation of a divine election to come: the rich of this world would be the chosen of the next. In the same way Adam Smith, taking a critical look at the birth of capitalism in the society of his time, titles a chapter of The Theory of Moral Sentiments (1759) “Of the corruption of our moral feelings occasioned by that disposition to admire the rich and great, and to despise or neglect the poor and lowly.”

Today, the cult of wealth seems to have never been so strong and material success is almost elevated to the rank of virtue. On the other hand, poverty becomes a stigma that is hard to get rid of; but history shows us that this is not natural.

From “good” to “bad” poor

Indeed, the poor have not always been “bad”. As Fulconis & Kikuchi (2017) remind us, the Church has largely contributed to disseminating the image of the “good poor”, as it appears in the Gospels: “happy are you poor, the kingdom of God is yours”; or “God could have made all men rich, but he wanted there to be poor people in this world, so that the rich would have an opportunity to redeem their sins”. Beyond this, the poor is seen as an image of Christ, Jesus having said “whatever you do to the least of these, you will do to me”. Helping the poor, doing a work of mercy, is a means of salvation.

For Saint Thomas Aquinas, charity is thus essential to correct social inequalities by redistributing wealth through almsgiving***. In the Middle Ages, merchants were seen as useful, even virtuous, since they allowed wealth to circulate within the community. Priests played the role of social assistants, helping the sick, the elderly and the disabled. The hospices and xenodochia of the Middle Ages (ξενοδοχεῖον, that “place for strangers,” ξένος) are the symbol of this care of the poor. And quite often, poverty is not limited to material capital, but also social and cultural, to use a more contemporary terminology.

Towards the end of the Middle Ages, the figure of the “bad poor”, the parasitic and dangerous vagabond, appeared. In line with Weber, Todeschini (2021) insists on the increasing value attached to work and social “usefulness”. Brant (1494), the first, begins to denounce these welfare recipients, “some become beggars at an age when, young and strong, and in full health, one could work: why bother”. For Fulconis & Kikichi (2017), this mistrust is reinforced with the great pandemic of the Black Death. Colombi (2020) returns to this turning point, at the end of the Middle Ages, when in the cities, the bourgeois closed their districts with chains, to avoid that “poor and foreigners” settle there. The hygienic theories of the end of the 19th century added the final touch: if fevers and diseases were caused by insalubrity and poor living conditions, then by keeping the poor out, they were protected from disease.

Poor… by choice?

In the words of Mollat (2006) “the poor are those who, permanently or temporarily, find themselves in a situation of weakness, dependence, humiliation, characterized by the deprivation of means, variable according to the times and the societies, of power and social consideration”. Recently, Cortina (2022) proposed the term “aporophobia”, or “pauvrophobia”, to describe a whole set of prejudices that exist towards the poor. The unemployed are said to be welfare recipients and lazy, says Lamy; it is also the famous “where there is a will there is a way”, (which can be found in contemporary expressions such as “those who don’t want to do anything, those who don’t want to work” or “I’ll cross the street and find you a job”). And as is often the case, these prejudices, which stigmatize a group, “the poor”, lead to fear or hatred, generating an important cleavage, and finally a form of discrimination. Cortina’s (2022) “pauvrophobia” is a discrimination against social precariousness, which would be almost more important than “usual” forms of discrimination, such as racism or xenophobia. Cortina ironically notes that rich foreigners are often not rejected.

But these prejudices also turn into accusations. Szalavitz (2017) thus abruptly asks the question, “Why do we think poor people are poor because of their own bad choices?”. The “actor-observer” bias provides one element of an answer: we often think that it is circumstances, which constrain our own choices, but that it is the behavior of others that changes theirs. In other words, others are poor because they made bad choices, but if I am poor, it is because of an unfair system. This bias is also valid for the rich: winners often tend to believe that they got where they are by their own hard work, and that they therefore deserve what they have.

Social science studies show, however, that the poor are rarely poor by choice, and increasing inequality and geographic segregation do not help. The lack of empathy then leads to more polarization, more rejection and, in a vicious circle, even less empathy.

Links between wealth and risk(s)

To discriminate is to distinguish (exclude or prefer) a person because of his/her “personal characteristics”. Can we then speak of discrimination against the poor? Is poverty (like gender or skin color) a personal characteristic? In Quebec, “social condition” (which explicitly includes poverty) is one of the protected variables and therefore prohibited discrimination. This is not the case in France. As Barry & Charpentier (2021) remind us, when actuaries calculate a premium, discrimination directly linked to risk, and provided that the variable is not protected, is generally seen as legitimate. However, it is well known that wealth or social status has a lot to do with risk, whatever it may be. At the global level, Denis Hatzfeld reminds us that “earthquakes are much more deadly in poor countries than in developed countries, which have gradually learned to protect themselves from them. Similarly, Le Hir (2010) states that “A schoolboy is 400 times more likely to die in an earthquake in Kathmandu than in Tokyo”.

This is true for most risks. In France, we find in the deaths due to road accidents 3% of executives and 15% of workers, while they represent nearly 20% of the working population each, according to ONISR (2022). Blanpain (2018) points out that the gap in life expectancy at birth is 13 years between the most affluent and the most modest men. Recently, Allain (2022) noted that the most modest French people, at comparable age and sex, had almost three times more diabetes, twice as much liver or pancreatic disease, 1.6 times more chronic respiratory disease, etc. than the average. Cambois, Laborde and Robine (2008) similarly noted that the number of years of disability for blue-collar workers is also much higher, over a shorter life span on average.

The use of credit scores in insurance

In North America, companies such as Experian, Equifax and TransUnion keep records of the borrowing and repayment activities of all individuals with bank accounts. FICO (Fair Isaac Corporation) offers a formula to convert these records into a score, the credit score. This score is a function of debt and available credit, income and its variations, and history of incidents, bankruptcies or simple delinquencies. It is often seen as an assessment of a person’s creditworthiness, or the likelihood that he or she will repay debts. It is by nature closely related to income (Crowe 2022), making the credit score a robust proxy for wealth. Fourcade and Healy (2013) show that, as a good credit score has become a necessary condition for obtaining credit and maintaining purchasing power, this system has come to create an impenetrable wall between advantaged and disadvantaged classes. In a sense, a bad credit score becomes a self-fulfilling prophecy: people with a bad score (and therefore considered high risk by banks) become dependent on short-term alternatives. This increases the costs of future financing, thus the probability of default (François 2021) but also the probability of not finding a job (this score can be requested by employers****). “Using credit scores to punish the poor exacerbates existing socioeconomic inequalities,” Wang (2018) thus aptly asserts.

As an example, Table 1 compares a few parameters based on people’s credit scores, including the rate obtained for a $150,000 loan over a 30-year horizon, and the average insurance premium charged for car insurance (for a 30-year-old driver, driving 20,000km per year, in the city).

Table 1: Actual price of a $150,000 loan and the amount of a car insurance premium (for comparable coverage and risk profile), based on credit score (ranging from 300 to 850). Source: InCharge Debt Solutions.

Kiviat (2019) has extensively studied the use of credit scores in the pricing of auto insurance in the United States. The US regulator has indeed looked at the proven link between bad credit score and auto risk. What explanation can be given for this correlation? Wouldn’t the score be an indicator of poverty and not a proxy for the driver’s prudence as insurers claim? For if social condition is not a protected variable as it is in Canada, it is still largely associated with skin color, which is a prohibited variable. Discriminating on the basis of credit score could therefore amount to prohibited racial discrimination. By examining the debates around these issues, Kiviat highlights the ethical complexity of using facially neutral variables. And if, as noted above, poor living conditions increase risk in general, it is worth asking whether insurance is not helping to apply the double whammy that Martin Hirsch spoke of to the poor.

References

Allain, S. (2022). Les maladies chroniques touchent plus souvent les personnes modestes et réduisent davantage leur espérance de vie. DREES, 1243
Blanpain, N. (2018). L’espérance de vie par niveau de vie : chez les hommes, 13 ans d’écart entre les plus aisés et les plus modestes. Insee, Insee Première, 1687.
Bourdelais, P. (2001) Les hygiénistes: enjeux, modèles et pratiques. Éditions Belin.
Brant, S. (1494). La Nef des fous (Das Narrenschiff).
Cambois, E., Laborde, C & Robine, J.M. (2008). La “double peine” des ouvriers : plus d’années d’incapacité au sein d’une vie plus courte. Population & Sociétés, n° 441.
Caplovitz, D. (1963). Poor pay more; consumer practices of low-income families. Free Press.
Colombi, D., (2020). Où va l’argent des pauvres. Payot.
Cortina, A. (2022). Aporophobia: Why We Reject the Poor Instead of Helping Them. Princeton University Press.
Crowe, A. (2022). The Relationship Between Income and Credit Score. Credit Sesame Personal Finance and Credit Survey,
Fourcade, M. & Healy, K. (2013). Classification situations: Life-chances in the neoliberal era, Accounting, Organizations and Society, 38 (8): 559–572
François, P. (2021). Catégorisation, individualisation. Retour sur les scores de crédit. Chaire PARI, WP #24.
Fulconis, M. & Kikuchi, C. (2017) Vu du Moyen Âge : du « bon pauvre » au « mauvais pauvre ». The Conversation.
Grossetête, M. (2012) Accidents de la route et inégalités sociales. Les morts, les médias et l’État, Éditions du Croquant.
Kiviat, B. (2019). The moral limits of predictive practices: The case of credit-based insurance scores. American Sociological Review, 84(6), 1134-1158.
Lamy, T. (2022) Assistés, paresseux… pour 50% des Français, les chômeurs sont responsables de leur situation. Capital, décembre 2022
Lauer,J. (2017) Creditworthy: A History of Consumer Surveillance and Financial Identity in America, Columbia University Press.
Le Hir, P. (2010). Catastrophes et pauvreté, la double peine. Le Monde, 22 janvier,
Merton, R. (1968). The Matthew effect in science, Science, vol. CLIX, n° 3810
Mollat, M. (2006). Les pauvres au moyen age (Vol. 11). Éditions Complexe.
ONISR (2022). La sécurité routière en France, bilan de l’accidentalité de l’année 2021. https://bit.ly/3QmuR8H
Pratchett, (1993) Men at Arms, 15ème tome du cycle Discworld, Victor Gollancz Ed.
Smith, A. (1759). La Théorie des sentiments moraux. Presses Universitaires de France, Quadrige.
Szalavitz, M. (2017). Why do we think poor people are poor because of their own bad choices. The Guardian, 5 Juillet
Todeschini, G. (2021) Moyen Âge. La pauvreté a-t-elle un sens ? L’Histoire, février 2021.
Wang, J. (2018), Carceral Capitalism, MIT Press.
Weber, M. (1990 [1904]). L’éthique protestante et l’esprit du capitalisme, Pocket.

* Study entitled “Study of the double poverty penalty in France“, published at the end of 2022 by Action Tank Entreprise & Pauvreté, Boston Consulting Group and the Banque Postale

** This phenomenon, widely studied in the 1960s, see Caplovitz (1963), is known in economics as the “boot theory” (popularized by Pratchett’s novel (1993)), “take boots, for example. A really good pair of leather boots costs fifty dollars. But an affordable pair of boots, which were sort of OK for a season or two and then leaked like hell when the cardboard gave out, cost about ten dollars (…). But the thing was that good boots lasted for years and years.”

*** The notion of redistribution can be contrasted with the “Matthew effect” as defined by Merton (1950). Inspired by a passage from the Gospel according to St. Matthew (which he reverses), he states that “to him who has shall be given, and he shall have plenty; but to him who has not, even that which he has shall be taken away.”

**** This rating practice is actually not new and dates back to the late 19th century: Josh Lauer (2017) shows that as early as 1870, so well before big data or even credit cards, US banks employed assessors to make financial strength reports on people. For Lauer, it is a gigantic surveillance system that was set up at the beginning of the 20th century, leading to the algorithmic credit scores as we know them today (see also François (2021)).

Y-a-t-il une discrimination contre les pauvres ?

(Avec Laurence Barry, on a écrit un court article sur la discrimination contre les pauvres)

En 2013, Martin Hirsch affirmait “cela devient cher d’être pauvre”. Cette réalité a été confirmée par une récente étude de la Banque Postale*, qui montrait qu’en moyenne, un ménage pauvre doit payer 1500 euros en plus chaque année pour accéder aux mêmes biens et services qu’un ménage plus aisé, introduisant une “double pénalité** de pauvreté”. Hélas, l’assurance n’est pas en reste : l’utilisation de score de crédit dans de nombreux pays vient en effet renforcer ce qui pourrait s’apparenter à une forme de discrimination des pauvres. Aux États-Unis, où la pratique est plus courante qu’ailleurs, une commission d’enquête a ainsi tenté récemment d’expliquer le lien entre score de crédit et fréquence de sinistres : est-ce parce que, comme l’avancent certains assureurs, les personnes ayant un score plus faible sont aussi moins prudents que les autres ? Ou serait-ce parce que, ayant moins de moyens financiers que d’autres ils demandent plus naturellement à être indemnisés pour les sinistres encourus ? Et, dans ce deuxième cas de figure, n’est-on pas là aussi en train de leur faire payer deux fois leur condition ?

De l’excellence à la richesse comme vertu

Sur quels critères admirent-on les gens ? Pour les Grecs, l’excellence, ou arêté (ἀρετή), était une vertu majeure. Cette excellence allait au-delà de l’excellence morale: dans le monde gréco-romain, le terme évoquait une forme de noblesse, reconnaissable à la beauté, la force, le courage, ou l’intelligence de la personne. Or cette excellence n’avait pas grand-chose à voir avec la richesse : ainsi Hérodote s’étonne-t-il que les vainqueurs des jeux de l’Olympe se contentent d’une couronne d’olivier et d’un « glorieux renom », péri arêtes (περὶ ἀρετῆς). Dans la vision éthique grecque, notamment chez les stoïciens, une « vie bonne » ne dépend pas de la richesse matérielle – précepte poussé à son comble par Diogène qui, voyant un enfant boire dans ses mains à la fontaine, jette l’écuelle qu’il avait pour toute vaisselle, se disant que c’est là-encore une richesse inutile.

La société grecque n’en demeure pas moins une société profondément hiérarchique, même si elle est organisée autour de valeurs autres que la richesse matérielle. On peut alors se demander à quel moment de l’histoire occidentale la richesse est devenue la mesure de toute chose. On pense alors à la théorie de Max Weber : l’éthique du protestantisme pousse au travail et à la réussite terrestre comme révélation d’une élection divine à venir : les riches de ce monde seraient les élus du prochain. De la même manière Adam Smith, portant un regard critique sur la naissance du capitalisme dans la société de son temps, intitule un chapitre de La théorie des sentiments moraux (1759) “De la corruption de nos sentiments moraux occasionnée par cette disposition à admirer les riches et les grands, et à mépriser ou négliger les personnes pauvres et d’humble condition.”

Aujourd’hui, le culte de la richesse semble n’avoir jamais été aussi fort et la réussite matérielle est presque élevée au rang de vertu. En contrepartie, la pauvreté devient un stigmate dont il est difficile de se défaire ; mais l’histoire nous montre que ceci n’a rien de naturel.

Du “bon” au “mauvais” pauvre

En effet, le pauvre n’a pas toujours été “mauvais”. Comme le rappellent Fulconis & Kikichi (2017), l’Église a largement contribué à diffuser l’image du “bon pauvre”, tel qu’elle apparait dans les Evangiles: “heureux vous les pauvres, le royaume de Dieu est à vous” ; ou encore “Dieu aurait pu faire tous les hommes riches, mais il voulut qu’il y ait des pauvres en ce monde, afin que les riches aient une occasion de racheter leurs péchés”. Au-delà de ce faire-valoir, le pauvre est vu comme une image du Christ, Jésus ayant dit “ce que vous ferez au plus petit d’entre les miens, c’est à moi que vous le ferez”. Aider le pauvre, faire œuvre de miséricorde, c’est un moyen de faire son salut.

Pour Saint Thomas d’Aquin, la charité est ainsi essentielle pour corriger les inégalités sociales en redistribuant les richesses par l’aumône***. Au Moyen-Âge, le marchand est vu comme utile, voire vertueux, puisqu’il permet aux richesses de circuler au sein de la communauté. Les prêtres jouent alors le rôle d’assistants sociaux, en aidant les malades, les vieillards, les invalides. Les hospices et les xenodochia du Moyen-Âge (ξενοδοχεῖον, ce “lieu pour étrangers”, ξένος) sont le symbole de cette prise en charge des pauvres. Et bien souvent, la pauvreté ne se limite pas au capital matériel, mais aussi social et culturel, pour reprendre une terminologie plus contemporaine.

Vers la fin du Moyen-Age, la figure du « mauvais pauvre », du vagabond parasite et dangereux, fait son apparition. Dans la lignée de Weber, Todeschini (2021) insiste sur la valeur croissante attachée au travail, et à l’ « utilité » sociale. Brant (1494), le premier, commence à dénoncer ces assistés, “certains se font mendiants à l’âge où, jeune et fort, et en pleine santé on pourrait travailler : pourquoi se fatiguer”. Pour Fulconis & Kikichi (2017), cette défiance se renforce avec la grande pandémie de Peste Noire. Colombi (2020) revient sur ce tournant, à la fin du Moyen-Âge, où dans les villes, les bourgeois ferment leurs quartiers par des chaînes, pour éviter que des “pauvres et étrangers” s’y installent. Les théories hygiénistes de la fin XIXème siècle viendront ajouter la touche finale : si les fièvres et les maladies ont pour cause l’insalubrité et les mauvaises conditions de vie, en écartant les pauvres, on se protège des maladies.

Pauvres… par choix ?

Pour reprendre les termes de Mollat (2006) “le pauvre est celui qui, de façon permanente ou temporaire, se retrouve dans une situation de faiblesse, de dépendance, d’humiliation, caractérisée par la privation de moyens, variables selon les époques et les sociétés, de puissance et de considération sociale”. Récemment, Cortina (2022) proposait le terme “aporophobie”, ou “pauvrophobie”, pour décrire tout un ensemble de préjugés qui existent envers les pauvres. Les chômeurs seraient des assistés et des paresseux, nous dit Lamy ; c’est aussi le fameux “quand on veut on peut”, (que l’on retrouve dans des expressions contemporaines telles que “ceux qui ne veulent rien faire, ceux qui ne veulent pas travailler” ou encore “je traverse la rue et je vous trouve un travail”). Et comme souvent, ces préjugés, qui stigmatisent un groupe, “les pauvres”, conduisent à la peur ou la haine, engendrant un clivage important, et finalement une forme de discrimination. La “pauvrophobie” de Cortina (2022) est une discrimination envers la précarité sociale, qui serait presque plus importante que les formes « usuelles » de discrimination, comme le racisme ou la xénophobie. Cortina note ironiquement que souvent, les étrangers riches ne sont pas rejetés.

Mais ces préjugés tournent aussi en accusation. Szalavitz (2017) pose ainsi abruptement la question : “Pourquoi pensons-nous que les pauvres sont pauvres à cause de leurs propres mauvais choix ?”. Le biais “acteur-observateur” fournit un élément de réponse : nous pensons souvent que ce sont les circonstances, qui contraignent nos propres choix, mais que c’est le comportement des autres qui modifie les leurs. Autrement dit, les autres sont pauvres parce qu’elles ont fait de mauvais choix, mais si je suis pauvre, c’est à cause d’un système injuste. Ce biais est aussi valide pour les riches : les gagnants ont ainsi souvent tendance à croire qu’ils sont arrivés là où ils sont par leur travail seul, et qu’ils méritent donc ce qu’ils ont.

Les études en sciences sociales montrent cependant que les pauvres le sont rarement par choix, et l’augmentation des inégalités et de la ségrégation géographique n’arrange rien. Le manque d’empathie favorise alors une plus grande polarisation, davantage de rejet et, bouclant le cercle vicieux, encore moins d’empathie.

Liens entre richesse et risque(s)

Discriminer, c’est distinguer (exclure ou préférer) une personne en raison de ses “caractéristiques personnelles”. Peut-on alors parler de discrimination contre les pauvres ? La pauvreté (au même titre que le sexe, ou la couleur de peau) est-elle une caractéristique personnelle ? Au Québec, la “condition sociale” (incluant explicitement la pauvreté) fait partie des variables sensibles et donc des discriminations interdites. Ce n’est pas le cas en France. Comme le rappelaient Barry & Charpentier (2021), lorsque les actuaires calculent une prime, les discriminations liées directement au risque, et pour autant que la variable ne soit pas protégée, sont vues en général comme légitimes. Or il est bien connu que la richesse, ou le statut social a beaucoup de lien avec le risque, quel qu’il soit. Au niveau mondial, Denis Hatzfeld rappelle que “les séismes sont beaucoup plus meurtriers dans les pays pauvres que dans les pays développés qui ont appris progressivement à s’en protéger ». De la même manière, Le Hir (2010) affirme que « Un écolier a 400 fois plus de probabilités de mourir dans un tremblement de terre à Katmandou qu’à Tokyo ».

Ce constat se retrouve sur la majorité des risques. En France, on trouve dans les décès dus aux accidents de la route 3% de cadres supérieurs et 15% d’ouvriers, alors qu’ils représentent près de 20% de la population active chacun, selon ONISR (2022). Blanpain (2018) rappelle que l’écart d’espérance de vie à la naissance est de 13 ans entre les hommes les plus aisés et les plus modestes. Récemment, Allain (2022) relevait que les Français les plus modestes, à âge et sexe comparable, avaient presque trois fois plus de diabète, deux fois plus de maladies du foie ou du pancréas, 1,6 fois plus de maladies respiratoires chroniques, etc. que la moyenne. Cambois, Laborde et Robine (2008) notaient de même que le nombre d’années d’incapacité pour les ouvriers est également beaucoup plus élevé, sur une vie plus courte en moyenne.

De l’usage des scores de crédit en assurance

En Amérique du Nord, des compagnies comme Experian, Equifax ou TransUnion tiennent des registres des activités d’emprunt et de remboursement de l’ensemble des personnes titulaires d’un compte bancaire. La société FICO (Fair Isaac Corporation) propose une formule permettant de convertir ces registres en une note, le score de crédit. Ce score est fonction de la dette et du crédit disponible, du revenu et de ses variations, et de l’historique d’incidents, de faillites ou de simples retards. Il est souvent perçu comme une évaluation de la solvabilité d’une personne, ou la probabilité qu’elle rembourse ses dettes. Il est par nature étroitement lié avec le revenu (Crowe 2022), faisant du score de crédit un proxy robuste de la richesse. Fourcade et Healy (2013) montrent que, comme un bon score de crédit est devenu une condition nécessaire pour obtenir un crédit et maintenir son pouvoir d’achat, ce système en est venu à créer un mur infranchissable entre classes favorisées et défavorisées. En un sens, un mauvais score de crédit devient une prophétie auto-réalisatrice : en effet, les personnes ayant un mauvais score (donc considérées comme à haut risque par les banques) deviennent dépendantes d’alternatives à court terme. Ceci augmente les coûts des financements futurs, donc la probabilité de défaut (François 2021) mais aussi celle de ne pas trouver d’emploi (ce score pouvant être demandé par les employeurs****). “L’usage des scores de crédit pour punir les pauvres exacerbe les inégalités socio-économiques existantes », affirme ainsi Wang (2018) avec justesse.

Pour l’exemple, le Tableau 1 compare quelques paramètres en fonction du score de crédit des personnes, notamment le taux obtenu pour un emprunt de 150,000$ sur un horizon de 30 ans, et la prime d’assurance moyenne demandée pour une assurance automobile (pour un conducteur de 30 ans, conduisant 20,000km par an, en ville).

Tableau 1: Prix réel d’un emprunt de 150,000$ et montant d’une prime d’assurance automobile, en fonction du score de crédit (allant de 300 à 850). Source: InCharge Debt Solutions.

Kiviat (2019) a longuement étudié l’usage des scores de crédit dans la tarification de l’assurance automobile aux Etats-Unis. Le régulateur américain s’est en effet penché sur le lien avéré entre mauvais score de crédit et risque automobile. Quelle explication peut-on donner à cette corrélation ? Est-ce que le score ne serait pas un indicateur de pauvreté et non un proxy de la prudence du conducteur comme l’avancent les assureurs ? Car si la condition sociale n’est pas comme au Canada une variable protégée, elle est encore largement associée à la couleur de peau, qui est, elle, une variable interdite. Discriminer en fonction du score de crédit pourrait alors bien se ramener à une discrimination raciale prohibée. L’examen des débats autour de ces questions permet à Kiviat de mettre en évidence la complexité éthique de l’usage de variables facialement neutres. Et si, comme indiqué plus haut, les mauvaises conditions de vie augmentent les risques de façon générale il serait bon de se demander si l’assurance ne contribue pas à appliquer aux pauvres cette double-peine dont parlait Martin Hirsch.

Références

Allain, S. (2022). Les maladies chroniques touchent plus souvent les personnes modestes et réduisent davantage leur espérance de vie. DREES, 1243
Blanpain, N. (2018). L’espérance de vie par niveau de vie : chez les hommes, 13 ans d’écart entre les plus aisés et les plus modestes. Insee, Insee Première, 1687.
Bourdelais, P. (2001) Les hygiénistes: enjeux, modèles et pratiques. Éditions Belin.
Brant, S. (1494). La Nef des fous (Das Narrenschiff).
Cambois, E., Laborde, C & Robine, J.M. (2008). La “double peine” des ouvriers : plus d’années d’incapacité au sein d’une vie plus courte. Population & Sociétés, n° 441.
Caplovitz, D. (1963). Poor pay more; consumer practices of low-income families. Free Press.
Colombi, D., (2020). Où va l’argent des pauvres. Payot.
Cortina, A. (2022). Aporophobia: Why We Reject the Poor Instead of Helping Them. Princeton University Press.
Crowe, A. (2022). The Relationship Between Income and Credit Score. Credit Sesame Personal Finance and Credit Survey,
Fourcade, M. & Healy, K. (2013). Classification situations: Life-chances in the neoliberal era, Accounting, Organizations and Society, 38 (8): 559–572
François, P. (2021). Catégorisation, individualisation. Retour sur les scores de crédit. Chaire PARI, WP #24.
Fulconis, M. & Kikichi, C. (2017) Vu du Moyen Âge : du « bon pauvre » au « mauvais pauvre ». The Conversation.
Grossetête, M. (2012) Accidents de la route et inégalités sociales. Les morts, les médias et l’État, Éditions du Croquant.
Kiviat, B. (2019). The moral limits of predictive practices: The case of credit-based insurance scores. American Sociological Review, 84(6), 1134-1158.
Lamy, T. (2022) Assistés, paresseux… pour 50% des Français, les chômeurs sont responsables de leur situation. Capital, décembre 2022
Lauer,J. (2017) Creditworthy: A History of Consumer Surveillance and Financial Identity in America, Columbia University Press.
Le Hir, P. (2010). Catastrophes et pauvreté, la double peine. Le Monde, 22 janvier,
Merton, R. (1968). The Matthew effect in science, Science, vol. CLIX, n° 3810
Mollat, M. (2006). Les pauvres au moyen age (Vol. 11). Éditions Complexe.
ONISR (2022). La sécurité routière en France, bilan de l’accidentalité de l’année 2021. https://bit.ly/3QmuR8H
Pratchett, (1993) Men at Arms, 15ème tome du cycle Discworld, Victor Gollancz Ed.
Smith, A. (1759). La Théorie des sentiments moraux. Presses Universitaires de France, Quadrige.
Szalavitz, M. (2017). Why do we think poor people are poor because of their own bad choices. The Guardian, 5 Juillet
Todeschini, G. (2021) Moyen Âge. La pauvreté a-t-elle un sens ? L’Histoire, février 2021.
Wang, J. (2018), Carceral Capitalism, MIT Press.
Weber, M. (1990 [1904]). L’éthique protestante et l’esprit du capitalisme, Pocket.

* Étude intitulée “Etude de la double pénalité de pauvreté en France”, publiée fin 2022 par Action Tank Entreprise & Pauvreté, Boston Consulting Group et la Banque Postale

** Ce phénomène, largement étudié dans les années 60, voir Caplovitz (1963), est connu en économie sous le nom de la “théorie des bottes” (popularisée par le roman de Pratchett (1993)), “take boots, for example. A really good pair of leather boots cost fifty dollars. But an affordable pair of boots, which were sort of OK for a season or two and then leaked like hell when the cardboard gave out, cost about ten dollars (…). But the thing was that good boots lasted for years and years.”

*** A la notion de redistribution, on peut opposer « l’effet Matthieu » tel que défini par Merton (1950). Inspiré par un passage de l’Évangile selon saint Matthieu (qu’il renverse), il affirme que « on donnera à celui qui a, et il sera dans l’abondance, mais à celui qui n’a pas, on ôtera même ce qu’il a ».

**** Cette pratique de notation n’est en fait pas nouvelle et date de la fin du XIXe siècle : Josh Lauer (2017) montre en effet que dès 1870, donc bien avant le big data ou même les cartes de crédit, les banques états-uniennes employaient des assesseurs pour établir des rapports de solidité financière sur les personnes. Pour Lauer, c’est un gigantesque système de surveillance qui se met en place dès le début du XXe siècle, pour aboutir aux scores de crédit algorithmiques tels qu’on les connait aujourd’hui (voir aussi François (2021)).

A Fair Pricing Model via Adversarial Learning

We recently uploaded a revised version of our joint paper A Fair Pricing Model via Adversarial Learning, on ArXiv.

At the core of insurance business lies classification between risky and non-risky insureds, actuarial fairness meaning that risky insureds should contribute more and pay a higher premium than non-risky or less-risky ones. Actuaries, therefore, use econometric or machine learning techniques to classify, but the distinction between a fair actuarial classification and `discrimination’ is subtle. For this reason, there is a growing interest about fairness and discrimination in the actuarial community Lindholm et al. (2022). Presumably, non-sensitive characteristics can serve as substitutes or proxies for protected attributes. For example, the color and model of a car, combined with the driver’s occupation, may lead to an undesirable gender bias in the prediction of car insurance prices. Fairness in insurance pricing is a relatively new and much-requested topic, especially in light of new laws and regulations and past issues encountered in practice (Embrechts and Wüthrich, 2022; Frees and Huang, 2021; Gao and Wüthrich, 2018). Consequently, companies/regulators are looking for new methodologies to ensure a sufficient level of fairness while maintaining an adequate accuracy of predictive models. This paper discusses the importance of adapting the traditional fairness algorithms to specific real-life applications and, in particular, to insurance pricing. We claim that mitigating undesired biases with a generic fair algorithm can be counterproductive insurance. We will show that traditional Fair-ML as adversarial methods are not currently adequate for insurance pricing. Therefore, for these purposes, we have developed a more suitable and effective framework to satisfy a fairness objective while maintaining a sufficient level of predictor accuracy. Inspired by the recent approaches, Blier et al. (2021) and Wuthrich et al. (2021), that have shown the value of autoencoders in pricing, we will show that (2) it can be generalized to multiple pricing factors (geographic, car type), (3) it is more adapted for a fairness context (since it allows to debias the set of pricing components): We extend this main idea to a general framework in which a single whole pricing model is trained by generating the geographic and car pricing components needed to predict the pure premium while mitigating the unwanted bias according to the desired metric. 

There are more examples in this revised version, including the case of a non-binary target, and a non-binary senssitive attribute, such as a spatial one

Multiarmed Bandits Problem Under the Mean-Variance Setting

With Mario Ghossoub, Alexander Schied, and our PhD student Hongda Hu, we recently uploaded a paper entitled Multiarmed Bandits Problem Under the Mean-Variance Setting on ArXiv,

The classical multi-armed bandit (MAB) problem involves a learner and a collection of K independent arms, each with its own ex ante unknown independent reward distribution. At each one of a finite number of rounds, the learner selects one arm and receives new information. The learner often faces an exploration-exploitation dilemma: exploiting the current information by playing the arm with the highest estimated reward versus exploring all arms to gather more reward information. The design objective aims to maximize the expected cumulative reward over all rounds. However, such an objective does not account for a risk-reward tradeoff, which is often a fundamental precept in many areas of applications, most notably in finance and economics. In this paper, we build upon Sani et al. (2012) and extend the classical MAB problem to a mean-variance setting. Specifically, we relax the assumptions of independent arms and bounded rewards made in Sani et al. (2012) by considering sub-Gaussian arms. We introduce the Risk Aware Lower Confidence Bound (RALCB) algorithm to solve the problem, and study some of its properties. Finally, we perform a number of numerical simulations to demonstrate that, in both independent and dependent scenarios, our suggested approach performs better than the algorithm suggested by Sani et al. (2012).

Insurance analytics: prediction, explainability and fairness (call for papers)

Call for papers: Insurance analytics: prediction, explainability and fairness –  special issue of the Annals of Actuarial Science. Submissions open 1 December 2022 and close 30 September 2023. With Kjersti Aas (Norwegian Computing Center & Norwegian University of Science and Technology (NTNU)), Ronald Richman (Old Mutual Insure & University of the Witwatersrand) and myself, serving as guest editors,

Scope of the special issue:
·        Methodological innovations in predictive analytics applied in insurance
·        Case studies of applications of machine learning and artificial intelligence within insurance
·        Methods for interpreting predictive models and designing inherently explainable models
·        Addressing discrimination and fairness considerations in insurance pricing and related applications
·        Algorithmic auditing and validation of predictive models in insurance
·        Software that enables the operationalisation of methods relating to the scope of the special issue
·        New developments with insurance applications in areas closely related to actuarial science

This special issue aims to capture leading academic thinking and industry applications in advanced insurance analytics. Submissions should demonstrate advances in at least one of the domains of predictive accuracy, explainable modelling and fairness. More…

Climate risk, some slow long-term trend?

In most of the scenarios that talk about climate change, we are told about projections for 2050 or even 2100, time scales that are so far away that we have the illusion that the major risks will only be for “future generations“. And these scenarios evoke the possibility of a rise of 1, 2 or 4°C in several decades, a figure that should seem derisory when we are used to seeing temperatures vary by 10 or 20°C within the same day, by 15, 20 or even 30°C between winter and summer. In this context, how can we finally think seriously about climate risk?  Continue reading Climate risk, some slow long-term trend?

Le risque climatique, une tendance lente de long terme ?

Il s’agit ici de la version préliminaire de l’article depuis paru dans Risques, à l’automne 2022.

Dans la plupart des scénarios qui évoquent les changements climatiques, on nous parle de projections avec pour horizon 2050, voire 2100, des échelles de temps tellement lointaines qu’on a l’illusion que les risques majeurs seront seulement pour les « générations futures ». Et ces scénarios évoquent des possibilités de hausse de 1,2 ou 4°C d’ici plusieurs décennies, chiffre qui devrait sembler dérisoires quand on est habitué à voir des températures varier de 10 ou 20°C au sein d’une même journée, de 15, 20 voire 30°C entre l’hiver et l’été. Dans ce contexte, comment penser enfin sérieusement le risque climatique ?  Continue reading Le risque climatique, une tendance lente de long terme ?

Le site du Manuel d’Assurance

Le Manuel d’Assurance, annoncé pour la rentrée, est officiellement publié 🍾 Le manuel a été co-écrit avec Gilles Bénéplanc et Patrick Thourot, et le site associé est en ligne, manueldassurance.github.io

On a mise en ligne les figures du livres (les images qui apparaissent sont en faible résolution, et en cliquant, la figure en (très haute) résolution est disponible – avec un fond transparent, pour s’adapter facilement sur des slides)

et on va rajouter du matériel au fur et à mesure

Collaborative Insurance Sustainability and Network Structure

A second version of Collaborative Insurance Sustainability and Network Structure is now available on ArXiv,

The peer-to-peer (P2P) economy has been growing with the advent of the Internet, with well known brands such as Uber or Airbnb being examples thereof. In the insurance sector the approach is still in its infancy, but some companies have started to explore P2P-based collaborative insurance products (eg. Lemonade in the U.S. or Inspeer in France). The actuarial literature only recently started to consider those risk sharing mechanisms, as in Denuit and Robert (2021) or Feng et al. (2021). In this paper, describe and analyse such a P2P product, with some reciprocal risk sharing contracts. Here, we consider the case where policyholders still have an insurance contract, but the first self-insurance layer, below the deductible, can be shared with friends. We study the impact of the shape of the network (through the distribution of degrees) on the risk reduction. We consider also some optimal setting of the reciprocal commitments, and discuss the introduction of contracts with friends of friends to mitigate some possible drawbacks of having people without enough connections to exchange risks.

Les biais, les discriminations et l’équité en assurance

Sur Variances, un court article pour présenter le rapport remis au début de l’été à l’Institut Louis Bachelier, Assurance : Discrimination, biais et équité.

Les données massives et les performances obtenues par les algorithmes d’apprentissage automatique ont chamboulé l’assurance et l’actuariat. Les questions soulevées par ces nouveaux outils dans d’autres contextes (que ce soit la justice prédictive (ou justice “actuarielle” comme l’appelle Harcourt (2008)) ou les débats sur les fake news, en passant par les véhicules autonomes et la médecine prédictive) poussent les actuaires au doute, et à la méfiance. Kranzberg (1986) affirmait que “technology is neither good nor bad; nor is it neutral”, mettant en avant que, même sans mauvaises intentions, les algorithmes d’apprentissage pouvaient être injustes. Et corriger ces possibles injustices n’est pas simple. Pour Nielsen (2020), “technology does not necessarily self-regulate, via either market or social pressures” (la main invisible des marchés ou de la pression sociale ne suffira peut être pas). C’est dans ce contexte que nous allons revenir ici sur les problématiques de biais, de discrimination et d’équité, des modèles prédictifs utilisés en assurance. Ces changements, tant sur les données que sur les modèles, que l’on observe depuis une petite dizaine d’années, avaient déjà questionné l’existence même de l’assurance (à suivre).