Category Archives: Research

Insurance, Actuarial Science, Data and Models

Next week, we will have our two-day conference in Paris, on Insurance, Actuarial Science, Data and Models.

Enora (who started her PhD under my supervision last September) will present a poster on agregated data (in the context of anonymity, GDPR, etc) with two focus: econometric regression on compositional data (when an explanatory variable is defined on the simplex, and classical Euclidean geometry cannot be used) and ecological inference.

Ewen (who is enjoying a postdoc position with me) will present a poster also, on our recent work on genealogical data

Insurance, Actuarial Science, Data and Models

Our research chaire ACTINFO, with our colleagues from Lyon, at the DAMI chaire,  PREVENT’HORIZON chaire & ACTUARIAT DURABLE chaire, will organize a 2 day conference in Paris, on Insurance, Actuarial Science, Data & Models, in ten days.

We invited Katrien ANTONIO (KU Leuven), Alexandre BOUMEZOUED (Milliman Paris), Alfred GALICHON (New-York University), Pierre-Yves GEOFFARD (Paris School of Economics), Meglena JELEVA (University of Paris Nanterre), Julie JOSSE (Ecole Polytechnique), Florence JUSOT (Paris Dauphine University), Michael LUDKOWSKI (University of California Santa Barbara), François PANNEQUIN (CREST and ENS Paris-Saclay), Florian PELGRIN (Edhec Business School), Dylan POSSAMAI (Columbia University) and Julien TRUFIN (ULB Brussels). More information (including the program) is online.

Les machines, les procédures, et la fuite de la responsabilité

On essaye de nous faire croire que l’intelligence artificielle est une « révolution ». Et s’il n’en était rien ? Ne peut-on pas voir tout simplement la logique d’un processus qui remonte au moins aux cinquante dernières années ? La bureaucratie nous a poussés à mettre en place dans tous les domaines de la vie de tous les jours des procédures simples, permettant à tout-à-chacun de se dégager de toute responsabilité, de ne plus avoir à faire preuve d’intelligence. Les algorithmes font peur, on se demande où se trouve l’ « humain » dans ces procédures décisionnelles… Et s’il avait déjà disparu depuis bien longtemps ?

Assurance et procédures bureaucratiques

Comme l’avait montré Crozier (1963), la bureaucratie apparaît comme un mode d’organisation rationnel, dans lequel les administrés sont protégés du clientélisme et de l’arbitraire par la mise en place de règles objectives. Car la bureaucratie n’est pas uniquement une administration hiérarchisée (et étatique), c’est surtout un ensemble de normes, de procédures et de formalités qui englobent toutes les activités humaines. Les assureurs, par exemple, ont rapidement compris l’intérêt de ces procédures. Dans le contexte des accidents de la route, le règlement des accidents matériels se fait selon la « Convention IRSA » (Convention d’Indemnisation directe de l’assuré et de Recours entre Sociétés d’Assurance automobile) lorsque deux véhicules sont impliqués (succédant à la convention dite IDA, créée en 1968). Après une évaluation des dommages réalisée par un expert, l’assureur établit lui-même la responsabilité de son assuré et l’indemnise directement des dommages matériels et préjudices subis. Il se retourne ensuite contre le ou les assureur(s) adverse(s) selon les modalités de recours établies par la convention. Cette convention repose sur l’utilisation de barèmes, correspondant à 13 cas d’accidents classiques : le cas 51 par exemple est relatif à une collision entre deux véhicules, dont l’un reculait ou effectuait un demi-tour, et dans ce cas, la responsabilité est normalement entière (100%) pour le conducteur du véhicule effectuant une marche arrière (ou un demi-tour). Dans le cas des accidents corporels, la procédure est moins transparente, mais la loi dite Badinter a proposé de mettre en place un mécanisme simple (pour la victime mais aussi, finalement, pour l’assureur du conducteur), avec comme objectif « d’améliorer la situation des victimes d’accidents de la circulation et d’accélérer les procédures d’indemnisation ». Pour ce faire, plusieurs barèmes sont utilisés. Par exemple, l’Incapacité Permanente Partielle (I.P.P.) mesure la « réduction de potentiel physique, psycho-sensoriel ou intellectuel dont reste atteinte une victime » et se traduit par un pourcentage d’incapacité permanente, selon une échelle de 1 à 100, correspondant à un « barème indicatif des déficits fonctionnels séquellaires en droit commun ». Si ce barème est officiellement « indicatif » , le suivre permet d’éviter d’avoir à se justifier. Toute l’évaluation de l’indemnisation va reposer sur des « certificats médicaux », devenus les pièces administratives fondamentales, eux-mêmes de plus en plus normalisés, et répondant à des formes, et des normes spécifiques. Dans une logique très bureaucratique, ces procédures entendent éviter que l’empathie ne soit favorisée. Le développement de normes procédurales a aussi cet objectif : mettre à distance les victimes, pour qu’une neutralité puisse s’exercer, que l’objectivité puisse être (prétendument) assurée et la justice être effective. Cette forme d’indifférence n’est-elle pas la base du quotidien de l’assurance ? Les gestionnaires de sinistres ne souhaitent-ils pas avoir le maximum de distance avec la personne qui appelle car le toit de sa maison a pris feu, ou parce que sa femme est à l’hôpital suite à un accident de la route ?

La production bureaucratique de l’indifférence

Bauman (2002) montre que cette « production de l’indifférence » émerge souvent d’une configuration extrêmement banale, caractéristique de toutes les sociétés modernes, à savoir le couplage de la « division fonctionnelle du travail » et la « substitution de la responsabilité technique à la responsabilité morale ». En décrivant la bureaucratie au Pakistan, Hull (2012) explique que « ces procédures sont élaborées non pas à cause d’une logique de rationalisation, mais parce que les fonctionnaires se protègent en les déployant vigoureusement et largement ». Ce n’est pas étonnant qu’Adolf Eichmann ait choisi cette ligne de défense, lors de son procès, en avril 1961. En fait, quand on relit Arendt (1966), présente lors du procès quant à la responsabilité d’Adolf Eichmann dans la mise en œuvre de la « solution finale » (envoyée alors par The New Yorker à Jérusalem pour témoigner), elle nous présente un personnage « robotisé », désubstantialisé, n’ayant fait qu’obéir aux ordres. Sans revenir sur la réalité historique du rôle d’Eichmann et la mise en scène du procès, l’analyse d’Hannah Arendt de la bureaucratie est intéressante. Le sous-titre du livre, la « banalité du mal », se caractérise par l’incapacité d’être affecté par ce que l’on fait et le refus de juger, comme tout bureaucrate analysant une situation au travers du prisme d’un formulaire, devenant un robot, dont la responsabilité serait remise en cause par une obéissance mécanique aux ordres. Ce dernier serait finalement « représentatif d’un système […] bureaucratique, dans lequel chaque individu n’est qu’un rouage aveugle […] exécutant mécaniquement des ordres venus de l’autorité respectée ». La thèse d’Arendt (pour reprendre les mots de Cesarani (2010)) est en effet « qu’Eichmann disait la vérité lorsqu’il se présentait comme un fonctionnaire dénué de passion, comme un infime rouage dans la vaste machine exterminatrice, et lorsqu’il affirma qu’il aurait très facilement pu être remplacé par quelqu’un d’autre ». Obéir aux ordres, suivre une procédure rend alors Eichmann coupable, mais la question de la responsabilité reste ouverte (en particulier en distinguant la responsabilité individuelle, et la responsabilité collective). Revenant justement sur la question de la responsabilité quelques années plus tard, Arendt (2005) s’interroge, « comment juger sans se cramponner à des standards, à des normes préconçues et à des règles générales sous lesquelles subsumer les cas particuliers ? ». La bureaucratie peut rassurer par sa rationalité, mais effrayer par l’indifférence qu’elle engendre.

Car la bureaucratie n’a rien de nouveau. Les scribes de l’antiquité étaient les premiers bureaucrates, comme l’affirme Wilford (2001). Plus récemment, si Karl Marx s’est penché sur la bureaucratie de l’industrie pour étudier la domination de la bourgeoisie et du capitalisme, Max Weber a montré que la bureaucratie s’accommode de toute forme de pouvoir. Il écrit ainsi que « la véritable domination [s’exerce] dans le maintien de l’administration au quotidien », « la bureaucratie se caractérise par l’impossibilité beaucoup plus grande que l’on a d’y échapper ». L’entreprise est le lieu privilégié du développement d’une bureaucratie, « l’exigence d’une calculabilité et d’une prévisibilité aussi rigoureuse que possible favorise l’essor d’une couche spéciale d’administrateurs et impose à celle-ci un certain type de structuration » (cité par Claude Lefort). Pour Max Weber, la bureaucratie n’est pas un parasite (comme le pensait Marx) mais une composante fondamentale du capitalisme. La sous-traitance, l’externalisation, le travail à flux tendu ne sont possibles que grâce à des pratiques basées sur une bureaucratie plus importante. Il convient de codifier toutes les informations aussi finement que possible, refuser toute approximation dans les décisions, en certifiant et en normalisant, détaillant la répartition des tâches. Le cloisonnement protège les collaborateurs du sentiment de responsabilité. Les « silos » sont devenus les « paradis des experts ». La forme segmentée et séquentielle du travail protège alors les membres de l’organisation comme le montre Dupuy (2011).

La recherche sans fin de normes

Cette production de l’indifférence a été longuement étudiée par Michael Herzfeld, qui montré la spécificité de la bureaucratie d’état en tant que puissance publique, et concrétisant le déni de toute différence : « elle offre la capacité effective et généralisée de rejeter ceux qui ne rentrent pas dans les catégories préétablies et considérées comme normale » comme le note Hibou (2012). C’est aussi ce que note Sainati & Schalchi (2007) en étudiant l’importance de la bureaucratie et des normes dans la dérive sécuritaire des dernières années, « chaque individu-citoyen est appréhendé en fonction de la catégorie délinquante à laquelle il est censé appartenir. Chacun est nécessairement suspect d’avoir commis, de vouloir ou de pouvoir commettre une infraction. Cette politique d’intolérance sociale va achever de transformer la justice (surtout la justice pénale) en système bureaucratique total… ».

L’inflation normative, qui s’observe dans le monde de la justice, aussi été observée dans monde de la finance, avec le recul des instances étatiques (banques centrales, autorité des marchés financiers, régulateurs divers) qui n’interviennent plus directement, mais au travers l’imposition de règles administratives de plus en plus strictes. On pensera aux règles de gestion de type Bâle II, mais aussi les différentes cloisons qui s’érigent entre les diverses activités (banque de dépôt et banque d’affaire, activités de conseil et activités de marché, par exemple). La gestion des risques est fondamentalement bureaucratique, passant par des normes, des grilles, des codes qui vont engendrer des réactions automatiques. Ce reporting donne une vision très simplifiée de l’activité, mais cette synthétisation de l’information permet de prendre des décisions plus rapidement. Cette phase semble indispensable compte tenu des spécificités de chacune des branches, empêchant presque d’avoir une vision globale sur l’activité de la banque. Cet ensemble de règles et de procédures permet aussi de « se protéger » : face à l’incertitude (judiciaire), la meilleure manière de se défendre est de respecter des procédures et des règles. Le but n’est pas d’éviter une faillite, mais de se protéger en cas d’accusation. Le respect des règles devient alors plus important que leur finalité. Ces règles semblent être une réponse politique aux différentes crises traversées par le monde bancaire. Cette inflation bureaucratique apporte une forme de tranquillité et de confort, tout en créant une forme de dilution des responsabilités. Comme le note Hibou (2012), « au nom de la responsabilité individuelle, chacun se doit de respecter les normes, mais le respect des normes vaut comme défaussent des responsabilité en cas de problème » (rappelant au passage l’affaire Kerviel). C’est ce que note par exemple Brunson & Jacobsson (2002) lorsqu’ils affirment que la culture de l’audit est certes une culture de la responsabilité, mais d’une responsabilité individuelle. La responsabilité collective est d’autant plus diluée que les gouvernements délèguent leur pouvoir de régulation aux acteurs privés de façon floue si la norme est adoptée, les techniques de traçabilité permettront de remonter jusqu’à l’individu responsable de l’acte à l’origine d’une défaillance; tandis que si la norme ne n’est pas, personne ne sera responsable.

Et cette recherche de normes est sans fin. Ainsi, nombre d’opposants à l’agriculture industrielle se sont opposé à la normalisation des produits alimentaires, et en réponse, ont développé des normes de consommation biologique. Ces dernières ont alors été remises en question par les réseaux locaux, qui ont souhaité soutenir le concept de « manger local », et pour être reconnu, ont adopté de nouvelles normes. La réponse à des procédures est une surenchère de procédures. Max Weber le disait en 1920, « quand ceux qui sont soumis au contrôle bureaucratique cherchent à échapper à l’influence des appareils bureaucratiques existants, normalement cela n’est possible qu’en créant une organisation propre qui sera également sujette à la bureaucratisation ».

De l’homme à la machine ou voir les machines comme des êtres humains…

MacDonald a longtemps été soucieuse d’assurer la permanence d’un produit homogène partout dans le monde. Dans la logique du mode d’organisation communément appelé Taylorisme, l’entreprise a écrit un guide de procédures, expliquant les bons gestes à faire pour saler les frites, remplir un verre de soda, etc. Dans les centres d’appels, des procédures sont suivies très scrupuleusement par les employés, avec une gestion des files d’appel, les scénarios qui s’affichant sur l’écran, et l’employé n’ayant plus qu’à le dérouler. Simone Weil évoquait une « organisation scientifique du travail », où le travail était déshumanisé, réduit à l’état d’énergie mécanique. Le Taylorisme a été l’expression dans les usines de cette fascination pour la science, voyant l’être humain comme une machine. Mais il n’y a rien de nouveau, puisqu’au milieu du XVIIème siècle Thomas Hobbes écrivait « étant donné que la vie n’est rien d’autre qu’un mouvement de membres, dont le commencement est en quelque partie principale intérieure, pourquoi ne pourrions-nous pas dire que tous les automates (des engins qui se meuvent eux-mêmes, par des ressorts et des roues, comme une montre) ont une vie artificielle? ».

Les ordinateurs ont été inventés pour soulager d’un certain nombre de tâches répétitives en déroulant un algorithme mis en œuvre par un être humain. Les tours de Hanoï sont un jeu très simple, très répétitif… mais se résolvant par un algorithme incroyablement simple. C’est probablement pour ça que ce « jeu » est encore enseigné dans tous les cours d’informatiques et d’algorithmiques, car le « jeu » en tant que tel est en fait rapidement très ennuyeuxi. Dans bon nombre de formations, on n’enseigne plus la créativité, mais des ensembles de procédures à suivre. La méthode dite de Box & Jenkins pour faire des prévision est une longue procédure qu’on se contente de suivre à la lettre, mécaniquement : on stationnarise la série, on la modéliser par un processus autorégressif, puis on valide les hypothèses. Et si ça ne marche pas, on recommence.

L’actuariat, en tant que sciences, repose sur un ensemble de procédures simples. Par exemple pour construire un tarif, on commence par constituer une base, en utilisant les informations de souscription, on va regarder le nombre de sinistres de chaque police, et on va utiliser un modèle pour décrire cette variable de comptage (classiquement une régression de Poisson). Si on souhaite faire des choses plus avancées, on va utiliser une partie des données pour construire le modèle, et une autre pour tester les prédictions de notre modèle. On fera la même chose sur les coûts de sinistres. La démarche est simple : on collecte des données, on estime un modèle, on teste le modèle, éventuellement on retient le meilleur si on a le choix entre plusieurs. C’est tellement simple qu’un ordinateur pour presque le faire tout seul…

Des machines partout !?

Depuis des dizaines d’années, les organisations essayent de mettre en place des procédures permettant d’éviter toute part d’arbitraire (d’humanité ?) dans une prise de décision. En parallèle les ingénieurs ont développés des machines de plus en plus performantes pour répéter inlassablement des tâches routinières. A partir de ce double constat, on ne peut pas s’étonner de voir les machines de plus en plus présentes, partout. C’est tout du moins la thèse défendue par Susskind & Susskind (2015) qui anticipe de nombreuses transformations de la majorité des professions, allant au delà d’une simple robotisation des tâches routinière (y compris pour des professions juridiques, comme le voit Remus & Levy (2015)).

Mais il ne faut pas se tromper, si les machines remplacent les hommes, elles ne sont pas des hommes pour autant. Par exemple, la responsabilité revient toujours à une personne : le concepteur de la machine, son opérateur – qui possède quelques connaissances techniques – ou l’utilisateur – qui bien souvent n’en possède aucune. Abiteboul (2016) va encore plus loin en posant la question éthique sous-jacente, à savoir « un système informatique peut-il se voir attribuer une responsabilité » (et rejoignant les questionnements d’Hannah Arendt). Mais au delà de la responsabilité, on peut arguer que les machines n’ont aucune intention. Elles accomplissent parfois des tâches complexes, mais parce qu’elles ont été programmées pour le faire. C’est la beauté de l’ingénierie : un téléphone (aussi intelligent soit-il) n’est qu’un ensemble de composants électroniques pouvant effectuer des calculs de plus en plus complexes (parfois il peut le localiser sur une carte et me proposer un chemin rapide pour rejoindre un restaurant), mais le téléphone ne veut rien. Un traducteur automatique permet de traduire un texte en quelques secondes, mais seulement parce qu’il a été programmé pour ça, alors que si un enfant apprend une langue, c’est parce qu’il comprend que c’est une étape indispensable pour communiquer avec ses parents. Si je tape une phrase dans une langue inconnue dans un traducteur, je suis impressionné d’obtenir une réponse qui ait du sens. Mais si je maîtrise (un tant soit peu) les deux langues, je suis au contraire souvent déçu, espérant probablement mieux. Ces machines sont souvent très prévisibles, ce qui est à la fois une qualité et un défaut. N’est-ce pas ce qu’on demande à tout ingénieur ? La machine doit être fiable, obéir au doigt et à l’œil. La première différence entre l’homme et la machine est que l’homme peut désobéir. Et c’est sa plus grande richesse !

Un mot qui revient sans cesse quand on pratique la science des données est le mot « apprentissage » (on parle de “machine learning“). On nous explique que la machine tente de reproduire la démarche humaine de l’être humain lorsqu’il apprend. L’enfant apprend à reconnaître les lettres, puis apprend à les mettre bout à bout pour écrire des mots, de manière assez consciente puisqu’il est guidé le plus souvent par son instituteur. Il apprend aussi à reconnaître de visages, de manière souvent inconsciente cette fois. La machine apprend aussi à reconnaître des écritures manuscrites, ou des visages. La machine va faire des erreurs, mais elle va aussi « apprendre de ses erreurs », et elle va s’améliorer. Comme un être humain ? Ce n’est pas aussi simple que ça. L’enfant va se décourager plusieurs fois avant de savoir lire correctement, et il va persévérer. On retrouve le « conatus » cher à Spinoza, cet effort que fait toute chose qui existe effectivement, cette persévérance dont fait preuve tout être vivant. Et souvent, cet apprentissage se fait dans la douleur. Si une machine se trompe, reconnaissant un “5” alors qu’il s’agissait d’un “3”, elle commet une erreur, et pour elle ça s’arrête là. Pour l’enfant qui espérait avoir 5 bonbons et qui n’en a que 3, il ressentira réellement l’erreur. Que dire de cette personne qui pensait avoir un rendez-vous important à 15 heures, et qui arrive deux heures en retard ?

Penser qu’un téléphone puisse être intelligent est probablement révélateur de ce qu’on pense être l’intelligence. Mais les machines sont très loin de pouvoir remplacer les êtres humains. Elles n’en ont pas l’envie, et heureusement, tant qu’elles ne seront pas programmées à le faire, cela ne risque pas d’arriver.

References

Abiteboul, Serge 2016. Informaticiens, tous coupables ? Le Monde, 1er septembre 2016

Arendt, Hannah 1966. Eichmann à Jérusalem : Rapport sur la banalité du mal. Folio Histoire.

Arendt, Hannah 2005. Responsabilité et jugement. 2005.

Bauman, Zygmunt 2002. Modernité et Holocauste. La Fabrique.

Brunson, Niels & Jacobsson, Bengt. . 2002. A World of Standards. Oxford University Press.

Cesarani. David. 2010. Adolf Eichmann .Tallandier.

Crozier, Michel. 1963. Le Phénomène bureaucratique. Seuil.

Dupuy, François. 2011. Lost in Management.: La vie quotidienne des entreprises au XXIe siècle. Seuil.

Herzfeld, Michael. 1992. The Social Production of Indifference. The University of Chicago Press.

Hibou, Isabelle. 2012. La bureaucratisation du monde à l’ère néolibérale, La Découverte.

Hobbes, Thomas. 1651. Leviathan. (version Folio Essais)

Hull, Matthew. 2012. Government of Paper The Materiality of Bureaucracy in Urban Pakistan. University of California Press.

Lefort, Claude. 1979. Éléments d’une critique de la bureaucratie, Paris, Gallimard.

Remus, Dana & Levy, Frank Can Robots Be Lawyers? Computers, Lawyers, and the Practice of Law. Working Paper

Sainati, Gilles & Schalchli, Ulrich. 2007. La décadence sécuritaire. La Fabrique.

Susskind Richard & Susskind Dana. 2015. The Future of the Professions: How Technology Will Transform the Work of Human Experts. Oxford University Press.

Weber, Max. 1921. La domination légale à direction administrative bureaucratique. Paru dans Économie et Société.

Weil, Simone 1999. L’Enracinement, Œuvres, Quarto Gallimard.

Wilford, John 2011. Greek Tablet May Shed Light on Early Bureaucratic Practices. New York Times, 4 Avril 2011

i On peut d’ailleurs se demander si les situationnistes n’avaient pas raison lorsqu’ils critiquaient la société fordiste (bureaucratique), dans laquelle la certitude de ne pas mourir de faim avait été échangé contre le risque de mourir d’ennui.

Changement Climatique et Assurance

Mercredi, je participerais à la Journée du Marché organisée par AON, pour la table ronde du matin sur le thème du changement climatique, à Paris.

La première partie de la table-ronde portera sur l’impact du changement climatique sur l’assurance et la réassurance, et la partie sur l’impact de l’assurance sur le changement climatique. J’interviendrais principalement dans la première partie.

J’en profite pour remettre un lien vers un court article que nous avions publié il y a quelques temps, ‘Changement Climatique et Assurance‘, dans Variances.

Démographie historique à l’aide de données généalogiques participatives

Voilà plusieurs mois qu’avec Ewen Gallic on travaille sur des données généalogiques. Le premier papier, Étude de la démographie française du XIXe siècle à partir de données collaboratives de généalogie est fini. Il s’agit d’une note métodologique, décrisant comment on a reconstitué les arbres de ces 2,45 millions de personnes (701 millions d’enregistrements dans lesquels il a fallu faire du ménage), correspondant aux descendants sur 3 générations de personnes nées en France, entre 1800 et 1804.

Pour illustrer l’apport de ces données riches, on a commencé par étudier la mortaiité au cours du XIXème siècle

et noté que, certes, on sous-estime la mortalité des moins de 20 ans, et des personnes très âgées, mais globalement, nos donnéees sont conformes à ce que nous attendions (peut être moins sur la natalité). On a également commencé à étudier la migration, de génération en génération

(ici la proportion de descendants nés dans le même département que leur aieux). Plein d’autres résultats, à lire dans le papier, en ligne sur hal et beaucoup d’autres résultats sur la page github créée par Ewen.

Insurance: Risk Pooling and Price Segmentation

Talk this afternoon at the seminar of Telecom ParisTech

Insurance is usually defined as “the contribution of the many to the misfortune of the few”. This idea of pooling risks together using the law of large number legitimates the use of  the expected value as actuarial “fair” premium. In the context of heterogeneous risks, nevertheless, it is possible to legitimate price segmentation based on observable characteristics. But nowadays, intensive segmentation can be observed, with a much wider range of offered premium, on a given portfolio. In this talk, we will briefly get back on statistical approaches of insurance pricing (classical econometric tools vs machine learning). We will then get back on recent experiments (so-called “actuarial pricing game”) organized since 2015, where real actuaries are playing in competitive (artificial) market, that mimic real insurance market. We will get back on conclusions obtained on two editions, the first one, and the most recent one, where a dynamic version of the game was launched.

By the way, there will be soon a fourth version of the “Actuarial Pricing Game”… some information soon, on this blog…

Les modèles prédictifs peuvent-il être justes ?

Dans Nosedive (traduit par le titre Chute Libre en France), le premier épisode de la saison 3 de la série télévisée Black Mirror, on découvre la dystopie d’une une société régie par une « cote personnelle », une note, un score allant de 0 à 5. Dans ce monde, chaque personne note les autres, les mieux notés ayant accès à de meilleurs services (priorité dans les services, meilleurs taux, meilleurs prix, etc). Cette tendance à construire des scores dans toutes sortes de domaines (historiquement sur les crédits mais aujourd’hui sur des aspects criminels, voire civiques dans certains pays) ne va-t-elle pas déboucher sur un monde qui serait un concours de popularité sans fin ? Et comment serait-elle conciliable avec une justice sociale, a priori souhaitable ?

Les scores de crédit et les réseaux sociaux

Un score de crédit est, d’un point de vue actuariel, une grandeur proportionnelle à la probabilité de ne pas honorer ses engagements en tant que créditeur. Ça peut être de plus pouvoir payer les échéances trois mois consécutifs, ou juste d’avoir un retard. Dans la vraie vie, comme toujours, c’est un peu plus compliqué. Aux Etats-Unis ou en Grande Bretagne, il n’est pas rare que les étudiants s’endettent sur des dizaines d’années pour avoir l’opportunité de suivre les cours qui les intéressent (même si la motivation est surtout d’obtenir un diplôme en fin de parcours). Mais surtout, dès qu’ils atteignent d’âge de 18 ans, des sociétés de notation de crédit vont surveiller tous leurs déplacements. Souvent à leur insu. Et si un jour, un crédit consommation ou hypothécaire est refusé, les raisons ne sont jamais motivées. Est-ce un retard dans un paiement de loyer ? Des amendes de bibliothèques oubliées ? Une facture d’eau impayée, vieille de plusieurs années ?

Les sociétés de notation de crédit aux États-Unis, mais aussi en Chine, commencent à étudier la possibilité d’utiliser des données provenant de médias sociaux pour améliorer le score de crédit. Compter le nombre de fois où un utilisateur utilise le mot « gaspillé » (« wasted » en anglais) dans ce qu’il poste en ligne ne peut-il pas révéler une information quant au remboursement de dettes ? C’est en tout cas ce que prétend l’analyste de crédit américain FICO: « If you look at how many times a person says ‘wasted’ in their profile, it has some value in predicting whether they’re going to repay their debt (…) It’s not much, but it’s more than zero » (cité dans McLannahan (2015)). En Chine, le prêteur peer-to-peer Jubao a révélé qu’il était plus susceptible de donner des « bonus » aux emprunteurs s’ils étaient des amis Facebook avec des célébrités, tel que le raconte Botsman (2017).

Pour l’instant, les sociétés de notation de crédit utilisent encore les données qu’elles connaissent bien (factures de services publics et cartes de crédit), mais elles imaginent que bien des informations intéressantes doivent être accessibles (d’une manière ou une autre) sur les réseaux sociaux. Mais les données sont encore rares, et difficiles à analyser. Quid de la composante sarcastique ou humoristique dans un tweet utilisant le mot « wasted » ? Comme souvent, la difficulté est que les données réellement pertinentes sont difficiles à obtenir. S’il est possible d’avoir des informations sur le payement du loyer quand un locataire passe par une agence, que faire pour les transactions entre deux particuliers ? Et si c’était possible, comment traiter le cas de colocataires ? Ne pas obtenir de crédit parce qu’un ancien colocataire n’a pas payé dans les temps devient dérangeant. D’autant plus s’il s’agit peut-être d’une facture de téléphone cellulaire réclamée abusivement par la compagnie de téléphonie, alors que l’abonnement avait été résilié.

Mais le gros « malus » dans le score de crédit est bien souvent le fait de ne jamais avoir eu de carte de crédit. On pourrait penser qu’une personne qui n’a pas eu besoin d’une carte de crédit (et se contentait d’une carte de débit, permettant d’acheter chez un commerçant, comme la majorité des cartes bancaires en France) est le propre d’une personne prudente, qui n’a pas besoin de crédit pour des dépenses quotidiennes. Mais pour les établissements de crédit, cette personne n’est pas fiable car on ne la connait pas. Et c’est à elle de prouver qu’elle l’est (on revient à la pratique récurrente d’inversion de la charge de la preuve évoqué dans Charpentier(2016)). C’est étrangement ce qui se passe aujourd’hui quand on veut entrer sur le sol américain sans avoir de page Facebook.

Dans un monde de surveillance généralisée

Et si les établissements de crédit n’étaient pas les seuls intéressés par notre vie ? Que serait un monde si, en plus de savoir si je paye mes factures à temps, certains cherchaient à connaître mes réseaux d’amis, à savoir quels journaux je lis, si je préfère acheter du lait entier ou du lait demi-écrémé ? Quand on visite le musée de la Stasi à Berlin, on découvre ce monde a existé, que 1 personne sur 63 était agent (ou indicateur) de la Stasi (en comptant les indicateurs occasionnels, la proportion peut atteindre une personne sur 6). Le musée décrit un panoptisme total, chacun étant observé en permanence, comme le décrit Foucault (1975). Mais ce cauchemar ne correspond-il pas à monde actuel, de surveillance permanente, plus ou moins consentie. Surveillance via les téléphones cellulaires (géolocalisation pour la fonction la plus courante, mais parfois aussi des enregistrements audio à l’insu de l’utilisateur par certaines applications), via les objets connectés, mais aussi les caméras de surveillance couplées à des algorithmes de reconnaissance faciale de plus en plus performant. Fin 2017, en Chine 170 millions de caméra étaient installées, et le cap des 300 millions devrait être atteint d’ici 2020. Lors d’une expérience tentée par la BBC[1], il a fallu 7 minutes pour retrouver le journaliste John Sudworth qui se promenait dans les rues.

Le danger est que l’on ne sait jamais trop qui contrôle. De plus en plus de compagnies privées de sécurité se sont associées aux gouvernements. Les fournisseurs de messageries électroniques lisent nos messages pour détecter du spam, mais aussi pour revendre certaines informations. Par exemple, dans les règles de confidentialité annexées aux conditions générales d’utilisation de Gmail (Google) on lit « Nos systèmes automatisés analysent vos contenus (y compris les e-mails) afin de vous proposer des fonctionnalités personnalisées sur les produits, telles que (…) des publicités sur mesure ». Les assureurs envisagent de plus de plus l’installation de boitiers GPS dans les voitures, mais en passant par des prestataires externes. Au-delà de la propriété des données (évoqué dans Charpentier & Suire (2016)) on peut s’interroger sur leur revente, et leur utilisation. Savoir que quelqu’un se rend régulièrement dans un centre de transfusion sanguine est une information potentiellement intéressante, surtout couplée à d’autres.

Depuis 2014, le gouvernement chinois travaille sur un système d’évaluation de ses propres citoyens, programmé pour être mis en place en 2020, comme le raconte Trujillo (2017). Ce « système de crédit social » vise à créer un « score citoyen » (pour reprendre l’expression de Galeon & Bergan (2017)), afin de prédire, et prévenir, les dangers potentiels, normalisant les conduites individuelles par des dispositifs panoptiques (par exemple la vidésurveillance), induisant des réflexes d’autodéfense et d’autocontrôle.  Comme le disait Foucault (1975), il s’agit de « faire que la surveillance soit permanente dans ses effets, même si elle est discontinue dans son action; que la perfection du pouvoir tende à rendre inutile l’actualité de son exercice » (même souvent, aujourd’hui, elle est en plus continue dans son action). Certains de ces scores sont utilisés par la police pour savoir où patrouiller pour faire baisser la criminalité, comme PredPol. Mais quand on y regarde de plus près, les prédictions disent, en substance, que les crimes auront lieu (en majorité) dans les zones (historiquement) les plus criminogènes de la ville. La frontière entre la banalité et la tautologie est étroite. Et le réel danger est que bien souvent, les scores transforment les probabilités en quasi-certitudes, et le soupçon devient une preuve, comme le notait Supiot (2015).

Justice prédictive et méthodes actuarielles

En juin 2010, un rapport de l’Académie de médecine préconisait d”« améliorer la pratique des expertises de dangerosité des criminels sexuels en enseignant et en diffusant les méthodes actuarielles ». Ces « méthodes actuarielles » sont tout simplement les techniques de scoring, de « profilage » tel que le défini le règlement européen relatif aux données personnelles du 27 avril 2016 (RGDP). Angèle Christin s’est intéressée aux algorithmes qui estiment la probabilité de récidive dans la justice pénale américaine. Comme elle l’a montré, ces techniques posent nombre de questions, en particulier des biais discriminatoires, l’opacité qui rend difficile les recours, et surtout la difficulté de comprendre ce qui est réellement calculé. Dans l’État de Virginie, un score entre 1 et 10 est renvoyé, convention reprise par Compas (Correctional Offender Management Profiling Alternative Sanctions ) qui offre en plus un code couleur qui prédit le risque de récidive violent. Il s’agit alors d’un outil d’aide à la décision, une machine ne pouvant placer une personne en détention seule (Christin et al. (2015)).

Les conclusions d’un score prédictif dépendent de deux éléments clés : le modèle utilisé, et les données. Dans la majorité des cas aux Etats Unis, les codes des modèles restent opaques (et donc impossible à attaquer), et rares sont ceux qui ont vu les données utilisées pour calibrer ces modèles. Mais on peut se demander si les décisions de justice ne sont pas eux aussi relativement opaques ? Certes, les juges doivent motiver leurs décisions, ce qui les rend critiquables et attaquables, mais si le processus était si transparent, les issues d’un procès (humains) ne devraient-elles pas être alors davantage prévisibles ? Enfin, les différents biais sont assez simples à comprendre. Supposons qu’être riche permet d’avoir un bon avocat, et avoir un bon avocat permet de ne pas avoir certaines condamnations. Dans ce cas, une variable liée à la richesse (le type de véhicule possédé par exemple) sera liée positivement avec le fait de ne pas être coupable (reconnu coupagle), et fera baisser le score de dangerosité. L’autre danger dans les biais de sélection est qu’ils sont parfois complexes à comprendre, voire paradoxaux. Un exemple classique est celui illustré sur la Figure 1. Pendant la seconde guerre mondiale, il a été demandé à des ingénieurs et des statisticiens comment renforcer les bombardiers qui faisaient face au feu ennemi.

Figure1 : Endroits endommagés des avions revenus (source : McGeddon 2016)

Le statisticien Abraham Wald a commencé à collecter des données sur les impacts dans la carlingue, comme le raconte Mangel & Samaniego (1984). A la surprise générale, il a recommandé de blinder les endroits des appareils qui présentaient le moins de dommages. En effet, les avions utilisés dans l’échantillon présentait un biais important : seuls les avions revenus ont été pris en compte. S’ils ont pu revenir avec des trous au bout des ailes, c’est que ces parties sont suffisamment solides. Et comme aucun avion n’est revenu avec des trous au niveau des moteurs des hélices, ce sont ces parties qu’il convenait de renforcer.

Un autre danger est celui où les relations causales sont inversées. Que penser de ce médecin qui prescrit un puissant neuroleptique à un patient mis en examen, de peur que la justice lui reproche de ne pas avoir vu la dangerosité de son patient, et qu’inversement, la justice s’appuie sur cette prescription pour prouver que le patient est dangereux ? Un algorithme mal conçu pourrait comprendre de travers le sens des relations causales.

Mais les modèles prédictifs en matière judiciaire ne sont pas que du côté des juges. Lors d’un accident corporel sur la route, la loi Badinter  (du 5 juillet 1985) prévoit un « droit à indemnisation » pour toute victime d’un accident de la circulation dans lequel est impliqué un véhicule terrestre à moteur. Lorsque la compagnie d’assurance du conducteur propose une indemnité, la victime fait une rapide analyse coût/bénéfice pour savoir s’il va au tribunal. Si elle ne construit pas formellement un modèle prédictif, elle tente de voir, à partir de quelques éléments à sa connaissance, les coûts de demander à un juge de trancher sur le montant de l’indemnité, et ses bénéfices (potentiels).

Autre point important, les juristes appellent ces modèles « prédictifs » des modèles « actuariels ». Or la première fonction des actuaires était d’actualiser, de calculer la valeur du temps. Et le temps judiciaire a des conséquences souvent désastreuses. En quoi une décision humaine, imparfaite, prise au bout de 5 ans de procédure serait « meilleure » qu’une décision automatique prise en 15 jours par une machine ? Nombre de personnes qui ont connu des procédures de plusieurs années, aboutissant à un non-lieu, rêvent de procédures accélérées. Car le « temps perdu » a une valeur, les actuaires le savent bien.

Que penser alors de cette efficacité des modèles algorithmiques ? La justice se doit d’être efficace, mais cette contrainte ne doit pas faire oublier l’objectif central qui est celui de rendre la justice. Que se passe-t-il si l’efficacité devient un objectif, pour ne pas dire le principal objectif ? Car c’est bien la question que posent les modèles prédictifs : quel est l’objectif que l’on cherche à maximiser ? Et comment le formule-t-on de manière simple ?

Aide à la décision, ou justification d’une prise de décision

Aux Etats-Unis, nombre de juges se sont vu reproché de motiver un jugement à l’aide d’outils d’aide à la décision, ce qui laisse planer un doute sur la fonction réelle de ces outils. L’idée était initialement d’apporter une aide. Récemment, plusieurs systèmes mis en place dans les années passées ont été questionnés. Par exemple en Australie, le STMP (Suspect Targeting Management Plan) proposait d’identifier si des préadolescents doivent être surveillés, ou pas. Ce modèle ressemble à s’y méprendre à n’importe quel modèle actuariel, c’est à dire un outil d’évaluation et prédiction des risques, en se concentrant soit sur les récidivistes, soit sur les personnes suspectées de commettre un futur crime. Or un rapport récent montrait que son utilisation n’a eu « aucun impact observable sur la prévention du crime »[2]. Parallèlement aux Etats-Unis, l’outil Compas (Correctional Offender Management Profiling Alternative Sanctions) a été critiqué dans Dressel & Farid (2017) : « Les défenseurs de ces systèmes soutiennent que les données et l’apprentissage automatique avancé rendent ces analyses plus précises et moins biaisées que celles des humains. Cependant, nous montrons que le logiciel d’évaluation des risques Compas, largement utilisé, n’est pas plus précis ou juste que des prédictions faites par des personnes qui ont peu ou pas du tout d’expertise en matière de justice pénale ». En questionnant des personnes recrutées sur Internet, sans compétences en droit, il s’agissait de prévoir si des personnes allaient, ou pas commettre un autre crime dans les deux ans à venir. Compas s’est trompé dans 34.8% des cas, et les internautes dans 33% des cas. Cela dit, on peut se demander ici ce que “se tromper” signifie. En l’occurrence, on ne mesure pas ici la récidive des personnes, mais la condamnation pour récidive des personnes. Et si les modèles (ou les gens) ne s’étaient pas trompés, mais que les juges, en revanche, oui ?

Prévoir, et se tromper

Et si un des soucis ne venait pas dans ce que l’on demande à un outil prédictif ? Prévoir, c’est (fondamentalement) établir une probabilité pour un fait futur. Comme cela avait été rappelé dans un débat sur les sondages et les élections, est-ce qu’on peut dire qu’on se trompe si on annonce qu’un événement peut se produire avec 5% de chances, et qu’il se produit effectivement ? Pour savoir si une technique de prévision est bonne, il faut collecter un ensemble de prévision, et les comparer aux observations. C’est ce que font les météorologues depuis une quinzaine d’années, et qui a été formalisé par Gneiting et al. (2007). Leur idée est qu’un ensemble de distributions prédictives est obtenu par un modèle \{\hat F_t,\hat F_{t+1},..,\hat F_{t+h}\} et il convient de comparer ces distributions aux observations \{y_t,y_{t+1},..,y_{t+h}\} – et non pas \{\hat y_t,\hat y_{t+1},..,\hat y_{t+h}\}. Il faut alors introduire une distance entre les distributions prédictives, et les observations. Dans un système physique, il est possible d’imaginer comprendre les différentes relations causales, et donc de prévoir. Mais dans les relations humaines (et la justice en est un exemple parfait), rien n’est aussi simple, aussi automatique que les lois de mécanique des fluides qui permettent de modéliser des phénomènes météorologiques.

Références

Binet, Jacques-Louis, 2010, La prévention médicale de la récidive chez les délinquants sexuels. Académie de Médecine.

Botsman, Rachel. 2017. Who Can You Trust?: How Technology Brought Us Together – and Why It Could Drive Us Apart. Portfolio Penguin

Charpentier, Arthur & Suire, Raphaël 2016. Données et santé: valeurs, acteurs et santé. Risques, 107

Charpentier, Arthur. 2016. Les dérives du principe de précaution. Risques. 108

Christin, Agnèle, Rosenblat, Alex & Boyd, Danah 2015. Courts and Predictive Algorithms. Datacivilrights

Dressel, Julie & Farid, Hany 2018. The accuracy, fairness, and limits of predicting recidivism. Science Adavances

Foucault, Michel 1975 Surveiller et punir, naissance de la prison. Gallimard

Galeon, Dom & Bergan, Brad 2017. China’s “Social Credit System” Will Rate How Valuable You Are as a Human. Futurism

Gneiting, Balabdaoui & Raftery 2007. Probabilistic forecasts, calibration and sharpness. JRRS-B, 69, 243–268.

Mangel, Marc & Samaniego, Francisco 1984.  Abraham Wald’s work on aircraft survivability , Journal of the American Statistical Association, vol. 79, no 386,‎ 259–267

McLannahan, 2015 Being ‘wasted’ on Facebook may damage your credit score (Octobre 2015, Financial Times)

Supiot, Alain 2015. La gouvernance par les nombres : cours au Collège de France, 2012-2014. Fayard.

Trujillo, Elsa 2017. La Chine met en place un système de notation de ses citoyens pour 2020. Le Figaro, décembre 2017

[1] Décrit dans « In Your Face: China’s all-seeing state » http://www.bbc.com/news/av/world-asia-china-42248056/in-your-face-china-s-all-seeing-state

[2] https://www.numerama.com/politique/300907-un-algorithme-teste-par-la-police-pour-anticiper-les-crimes-des-jeunes-inquiete-laustralie.html

Segmentation et Mutualisation en Assurance, à Québec

Cet après midi, je donnerais un exposé à l’Université Laval à Québec. Je suis ravi d’y retourner, surtout que ca sera (au moins) mon cinquième exposé sur ce campus, dans quatre départements différents (actuariat, statistique, informatique, une nouvelle fois au département de Finance, Assurance et Immobilier de la Faculté des Sciences d’Administration).

Les transparents de l’exposé sont en ligne.