Tag Archives: Risques

On consequences of Goodhart’s law

This post was initially written in French, in the Winter 2021.

As Marilyn Strathern stated, Goodhart’s Law says that “when a measure becomes a goal, it ceases to be a good measure.” There are many economic applications, but this law also helps to understand the dangers of algorithmic decisions, or to explain the difficulty of using the data available since the beginning of the SARS-CoV-2 COVID-19 pandemic.

Continue reading On consequences of Goodhart’s law

The scientific approach in times of crisis

This post was initially written in French, and published in April 2020.

In a conference given on February 13, 2020[i], entitled Against the Method, Didier Raoult stated “I have never done randomized trials […] to do that on infectious diseases, it makes no sense“. This view was repeated in a more detailed article, where Didier Raoult defended (what he called) “the morality [and] the humanism” of the Hippocratic oath against “the method” (and “mathematics”). As he reminds us, doing control groups is “telling the patient that we are going to give him at random either the drug we know works or the drug we do not know works” (Raoult (2020a, 2020b)). While this method of randomized experiments is now hailed in all disciplines – as the Nobel Prize in Economics awarded in 2019 to Esther Duflo, Michael Kremer and Abhijit Banerjee reminds us – how can a researcher take such a position today?
Continue reading The scientific approach in times of crisis

What responsibility for the algorithms?

This post was initially written in French with Rodolphe Bigot (lecturer at the University of Picardie Jules Verne), in the Winter 2020, and follows a previous post entitled Rethinking responsibility and causality.

Historically, algorithms were content to provide decision support, leaving a human being to make the decision, but experiments are underway, with autonomous systems, making decisions, whether it be car driving systems, or predictive justice algorithms, as shown by Huss et al. (2018). This autonomy, which basically means the “ability to act freely” also refers to the idea of “governing oneself by one’s own laws“. But what is the responsibility of the decision maker in the case of a prediction that leads to harm?
Continue reading What responsibility for the algorithms?

Rethinking responsibility and causality

This post was intially written in French with Rodolphe Bigot (lecturer at the University of Picardie Jules Verne) in the Fall 2019.

In 150 years, the concept of responsibility has evolved a lot, without ever disappearing. And today, we find it in a variety of contexts, from ecological or industrial disasters – we will evoke a “precautionary principle” that has blurred the very notion of causality – to “intelligent machines” – which leave the role of helper to finally make decisions in our place.
Continue reading Rethinking responsibility and causality

Insurance and discrimination, what role for actuaries?

This post was initially published in French in September 2021.

The essential role of an actuary in charge of pricing is the segmentation of the portfolio (or “insurance classification” in English), corresponding to a discrimination activity (mathematically speaking) in the sense that the actuary will look for the most “discriminating” variables, to explain another one (in relation with the loss experience). But in the legal sense, discrimination is forbidden by law, which places the actuary in an often delicate and complex position.
Continue reading Insurance and discrimination, what role for actuaries?

The myth of interpretability and explicability of models

This article was initially written in French and published in November 2021.

Rubinstein (2012) claimed that “in economic theory, like Harry Potter, the Emperor’s New Clothes, or King Solomon’s Tales, we play in imaginary worlds. Economic theory invents tales and calls them models. An economic model is also somewhere between fantasy and reality (…) The word ‘model’ sounds more scientific than the word ‘fable’ or ‘tale’, but I think we are talking about the same thing“. Today, very often, learning models will build a model, based on learning data, and the actuary’s job will be to make sense of it, to find the story – the fable – that it is possible to tell. Continue reading The myth of interpretability and explicability of models

Reconciling collective risks and individual decisions

This article was co-authored with Laurence Barry, and initially written in French during the 2020 Summer.

The early days of the SARS-CoV-2 (or COVID-19) pandemic have seen a proliferation of calls for “individual responsibility”, starting with strong calls (and even an obligation in some countries, including France) to stay home as much as possible in the early spring of 2020, before it became mandatory to wear a mask in public (often closed) places during the summer. To paraphrase Coluche « dire qu’il suffirait que les gens restent chez eux pour qu’on puisse sortir… ». This call for each person’s responsibility is made in the name of all and for the good of all, symbolizing this very particular solidarity that the pandemic reminds us of: the risk that I choose to run does not only concern my person but also constitutes a risk for those around me. To formulate it in probabilistic terms, McKendrick (1926) stated that “the probability of occurrence increases with the number of existing cases“. This conception of individual responsibility, which is quite intuitive a priori, actually runs counter to the classical conception of economics: the rational (and responsible) individual makes choices that concern him, and that concern only him. The collective good is deduced by summing up individual utilities, independent of each other. But here is the problem: with the epidemic, an interdependence of utilities is created, so that the well-being of so-and-so, who chooses not to wear a mask, can harm the health and therefore the utility of many other people. How then can we think in economic terms of this “individual responsibility” in the context of the epidemic?

Continue reading Reconciling collective risks and individual decisions

The taboo of the exponential

For Carl Sagan, “if you understand exponentials, the key to many of the secrets of the universe is in your hand”. But not everyone seems ready to unlock the secrets of the universe. Thus, in mid-November 2021, more than 18 months after the beginning of the SARS-COVID 19 pandemic, the Minister of Health stated “the circulation of the virus has accelerated for a few weeks now, with an increase of 30% to 40% per week. We are not yet in a so-called exponential phase” (quoted in Ouest France (2021)). Since an increase at a constant rate is precisely the definition of “exponential growth”, one may wonder about this statement, which reveals either a lack of numeracy on the part of our leaders, or an element of language, with the word “exponential” becoming a taboo word that should not be mentioned?

(this is the English tranlation of a post published in January 2022)

Continue reading The taboo of the exponential

Modeling contagion

Two years after the beginning of the COVID-19 pandemic, due to the SARS-CoV-2 virus, we have all become (pseudo)-experts in contagion models. But beyond diseases, these models based on networks of interactions between people are also commonly used to describe the spread of a computer virus, of social norms, of an idea or a rumor in a society, or of an economic crisis, as Kucharski (2020) reminds us.

(this is the English tranlation of a post published in April 2022)

Continue reading Modeling contagion

Are there acceptable deaths? or how to end a pandemic

Zylberman (2021) noted that “this pandemic began with the first case, but it will not end with the last case (…) one cannot date the end of a pandemic and the beginning of an endemic. Yet, in mid-April, the French president slipped in an interview (Garnier (2022)) that “society [is] on its way out of COVID” implying that the SARS-CoV-2 pandemic was over. At the same time, the virus was still killing more than 100 people a day, according to official statistics. While it is legitimate to question what exactly is a “COVID death“, it may seem surprising that 100 deaths per day (for more than three consecutive months) were met with such indifference, and that such a level was interpreted as the end of the pandemic.

(this is the English translation of a blog post published a few days ago)
Continue reading Are there acceptable deaths? or how to end a pandemic

Y-a-t-il des morts acceptables ? ou comment finir une pandémie

Zylberman (2021) notait « cette pandémie a commencé avec le premier cas, mais elle ne se terminera pas avec le dernier cas (…) on ne peut pas dater la fin d’une pandémie et le début d’une endémie ». Pourtant, mi-avril, le président français a glissé dans une entrevue (Garnier (2022)) que « la société [est] en sortie de COVID » laissant entendre que la pandémie de SARS-CoV-2 était terminée. À la même époque, le virus tuait encore plus d’une centaine de personnes par jour, selon les statistiques officielles. S’il est légitime de s’interroger sur ce qu’est précisément un « mort de la COVID », il peut sembler étonnant que 100 morts par jour (pendant plus de 3 mois consécutifs) aient suscité autant d’indifférence, et qu’un tel niveau soit interprété comme la fin de la pandémie.
Continue reading Y-a-t-il des morts acceptables ? ou comment finir une pandémie

Modéliser la contagion

Deux ans après le début de la pandémie COVID-19, due au virus SARS-CoV-2, nous voilà tous devenus (pseudo)-experts en modèles de contagion. Mais au delà des maladies, ces modèles basés sur des réseaux d’interactions entre personnes sont aussi couramment utilisés pour décrire la propagation d’un virus informatique, de normes sociales, d’une idée ou d’une rumeur dans une société, ou d’une crise économique, comme le rappelle Kucharski (2020).

Continue reading Modéliser la contagion

Le tabou de l’exponentielle

Pour Carl Sagan, « if you understand exponentials, the key to many of the secrets of the universe is in your hand ». Mais tout le monde ne semble pas prêt à percer les secrets de l’universe. Ainsi, mi-novembre 2021, plus de 18 mois après le début de pandémie de SARS-COVID 19, le ministre de la santé affirmait « la circulation du virus s’est accélérée depuis maintenant quelques semaines, de l’ordre de 30% à 40% d’augmentation par semaine. Nous ne sommes pas encore dans une phase dite exponentielle » (cité dans Ouest France (2021)). Comme une augmentation à taux constant est précisément la définition d’une « croissance exponentielle », on peut s’interroger sur cette affirmation, qui révèle soit une lacune de numéracie de nos dirigeants, soit un élément de langage, le mot « exponentiel » devenant un mot tabou, qu’il ne faudrait pas mentionner ?
Continue reading Le tabou de l’exponentielle

Le mythe de l’interprétabilité et de l’explicabilité des modèles

Rubinstein (2012) affirmait que « dans la théorie économique, comme dans Harry Potter, les habits neufs de l’empereur ou les contes du roi Salomon, nous nous amusons dans des mondes imaginaires. La théorie économique invente des contes et les appelle des modèles. Un modèle économique se situe également entre la fantaisie et la réalité (…) Le mot “modèle” semble plus scientifique que le mot “fable” ou “conte”, mais je pense que nous parlons de la même chose ». Aujourd’hui, bien souvent, les modèles d’apprentissage vont construire un modèle, sur la base de données d’apprentissage, et le travail de l’actuaire sera de lui donner sens, de trouver l’histoire – la fable – qu’il est possible de raconter.

Expliquer un modèle ?

Le rapport Villani (2018) mentionnait l’importance de l’explicabilité des algorithmes d’ap­prentissage automatique, reprenant ainsi un néologisme, correspondant à une exigence que l’on observe depuis un demi-siècle dans les systèmes complexes.  Dans les années 80, comme le rappelle Swartout et al. (1991), la Strategic Computing Initiative du département de la défense américaine, lançait l’acronyme EES (Explainable Expert Systems), l’adjectif « explainable » donnant le nom « explainability ». Plus récemment, en 2016, le règlement général sur la protection des données (RGPD) imposait l’obligation de fournir « des informations utiles concernant la logique sous-jacente » de toute décision automatique. À peu près à la même époque, la loi « Lemaire » imposait à l’administration l’obligation de communiquer à l’individu les « règles définissant tout traitement [automatique] et les principales caractéristiques de sa mise en œuvre ». En 2018, la “Convention 108” (ou convention pour la protection des personnes à l’égard du traitement automatisé des données à caractère personnel), conférait aux personnes le droit d’obtenir connaissance « du raisonnement qui sous-tend le traitement » automatique. Si les termes d’interprétabilité et d’explicabilité ne sont pas mentionnés, on y retrouve clairement l’idée (à laquelle sera rapidement associée les concepts de transparence, d’« auditabilité » ou de responsabilité des algorithmes).

Récemment, Miller (2019) a tenté une définition de cette « explicabilité ». Comme il le souligne, définir le terme « explication » a mobilisé bon nombre de philosophes, et tous semblent souligner l’importance de la causalité dans l’explication, c’est-à-dire qu’une explication se réfère forcément à des causes. Toutes sortes de termes semblent être utilisés, pour décrire cette idée, que ce soit « interprétation » ou « justification ».  Bien souvent, l’explication est donc un mode par lequel un observateur peut obtenir la compréhension. Une justification explique pourquoi une décision est bonne, mais ne vise pas nécessairement à donner une explication du processus décisionnel.

Le besoin d’explication, ou de confiance

« Et pourquoi…? » demandent presque sans fin les jeunes enfants[i]. Il existe de nombreuses raisons pour lesquelles les gens peuvent demander des explications. La curiosité est l’une des principales motivations, mais des arguments plus pragmatiques peuvent être invoqués. Pour illustrer le besoin (naturel) que nous avons d’explications, Johnston (2021) donne l’exemple simple d’une visite chez le garagiste : ma voiture est en panne, je l’amène chez le garagiste, qui la répare et me demande 900 euros. Mais, avant de remettre l’argent, je demande ce qui ne va pas et il explique que la soupape d’entrée du convertisseur catalytique était bloquée, ce qui entraînait l’usure des roulements du moteur de l’injecteur et permettait à la poussière de pénétrer dans la soupape de décharge, ce qui pouvait obstruer l’embout du tuyau de sortie, et donc, il a remplacé les roulements et mis un nouveau tuyau. Ce charabia technique a été inventé, mais le fait est que, bien souvent, l’explication n’était pas vraiment utile, car on n’a qu’une connaissance (très) limitée du fonctionnement des voitures. Ce qui a été utile, c’est que le mécanicien a réellement réparé la voiture. Et si on va plus loin, ces explications ont un pouvoir réconfortant : on se sent en confiance si l’explication semble pertinente (comme le rappelle Kästner et al. 2021). Et si la réparation fonctionne, je n’ai pas envie forcément d’en savoir davantage. En revanche, si le problème persiste, je veux comprendre. C’est bien souvent l’analyse des erreurs qui est importante. En 2017, lors d’un des premiers débats à la conférence NeurIPS à évoquer l’équité algorithmique, il avait été souligné que « if we wish to make AI systems deployed on self-driving cars safe, straightforward black-box models will not suffice, as we need methods of understanding their rare but costly mistakes ». Lors de cette conférence, Yann LeCun soulignait que lorsqu’on leur présentait deux modèles à des usagers (l’un extrêmement explicable et précis à 90%, l’autre se comportant comme une boîte noire mais avec une précision supérieure de 99%), ils choisissaient toujours le plus précis. Autrement dit « people don’t really care about interpretability but just want some sort of reassurances from the working model ». Dit autrement, l’interprétabilité n’est pas importante si vous on est convaincu que le modèle fonctionne bien, dans les conditions dans lesquelles il est censé fonctionner. N’est-ce pas ce qui se passe quand je monte dans un avion, ou que je subis une opération chirurgicale ?

La justice comme exemple à suivre ?

Il y presque un siècle, Ernest Burgess commençait à suivre une cohorte de 3000 condamnés, libérés sous condition, et il parvint à identifier vingt-deux paramètres permettant de distinguer ceux qui réussiraient leur probation et ceux qui échoueraient. Dans les années 1950, les époux Glueck et d’autres chercheurs ont poursuivi son analyse, multipliant les études consacrées aux facteurs de récidive pour construire de multiples échelles de prédiction des risques. Ces instruments s’appuient sur des méthodes statistiques inspirées des pratiques assurantielles, afin de déterminer les niveaux de risque associés à un groupe de délinquants présentant des caractéristiques communes, et, sur la base de ces corrélations, de prédire le comportement criminel futur d’un individu spécifique, comme le raconte Harcourt (2008). Cette « justice actuarielle » va permettre le développement d’outils d’aide à la décision, permettant aux juges d’avoir des scores de récidive ou de dangerosité. Mais ces outils ne sont qu’une aide, et les juges se doivent ensuite de motiver leur décision, de fournir une explication.

Car en matière judiciaire, l’individualisation de la peine constitue l’un des principes fondamentaux du droit pénal français, comme le soulignait Saleilles (1897). Pour Dadoun (2018), pour que les exigences d’un procès équitable soient respectées, « l’accusé doit être à même de comprendre le verdict qui a été rendu ». Cette motivation des jugements et arrêts, peut-être démonstrative, narrative ou péremptoire, comme le montre Cottin et al. (2020). Dans la majorité des cas, la motivation est une explication de la décision, sauf la motivation péremptoire qui relève plus de l’affirmation que de l’explication[ii]. La version narrative contient une explication du contexte de l’infraction, il s’agit de raconter l’histoire. C’est probablement l’approche qui s’apparente le plus à ce que nous avons en tête quand on demande une explication[iii]. La justice peut-être servir d’exemple pour comprendre ce que devrait être l’explicabilité ?

En justice, la motivation se base sur des faits, et des avis d’experts. Comme le souligne Coche (2011), « pour apprécier la dangerosité des personnes poursuivies ou condamnées, le législateur multiplie le recours aux expertises. Cependant, les expertises de dangerosité, non seulement ne sont pas fiables, mais elles ne peuvent pas le devenir. Elles créent donc l’illusion, sans cesse déçue, d’une appréciation qui serait scientifique de la dangerosité ». Cette évaluation par les experts est appelée « évaluation clinique », et comme le note Dubourg & Gautron (2015), des centaines d’études considèrent que, dans le contexte d’évaluer un risque de récidive, ces évaluations cliniques non structurées présentent des estimations proches du hasard, historiquement aux États-Unis, reprochant aux cliniciens une surévaluation des risques de récidive. La même critique est faite en France, où « l’utilisation de concepts psychanalytiques demeure prédominante tant en psychiatrie générale que dans le contexte des expertises. Or, ces concepts ne possèdent aucun lien théorique avec les comportements délictuels à prédire. Ainsi, la méthode basée sur un jugement clinique non structuré est une évaluation subjective, non validée scientifiquement, et fondée sur des corrélations intuitives…. Il n’est donc plus question de tenter de comprendre ou d’expliquer ». Dans la majorité des expertises, la base scientifique de l’explication est qu’il n’y a pas de fumée sans feu.  Dubourg & Gautron (2015) montre que l’hypothèse d’une dangerosité et/ou d’un risque de récidive est très souvent validée, 75% des condamnés se voyant attribuer un pronostic défavorable par au moins un expert au fil du processus. Delacrausaz & Gasser (2012) observe que l’expert se contente « d’extraire tel ou tel élément d’observation pour en déduire toutes sortes de raisonnements, sans expliquer ni les motivations de ses choix, ni les fondements théoriques sur lesquels il les base ». Et bien souvent, à partir des mêmes éléments factuels présents dans le dossier, l’avocat de la défense et le procureur vont avoir deux explications radicalement différentes.

Les deux cultures

Le monde de la justice, avec des juges, des procureurs, des avocats qui sont très majoritairement, en France en tous cas, des femmes et des hommes « de lettres », est très loin de la culture statistique des données. À la fin des années 50, le baron Charles Percy Snow affirmait que la vie intellectuelle de la société occidentale se divise essentiellement en deux cultures distinctes, celle des sciences et celle des humanités, et que la culture partagée tend à disparaître. Le monde des chiffres et le monde des récits.

Glenn (2000) reprenait cette idée en expliquant que, le processus de sélection des risques d’un assureur avait deux visages (comme le dieu romain Janus) : celui qui est présenté aux régulateurs et aux assurés, et l’autre qui est présenté aux souscripteurs. Il y a d’un côté le visage des chiffres, des statistiques et de l’objectivité. De l’autre, il y a le visage des récits, du caractère et du jugement subjectif. Paul Meehl en 1954, parlait de « mechanical prediction » pour décrire les modèles actuariels. La rhétorique de l’exclusion de l’assurance (basée sur des chiffres objectifs), par exemple, forme ce que Brian Glenn appelle « le mythe de l’actuaire », à savoir « une situation rhétorique puissante dans laquelle les décisions semblent être fondées sur des critères déterminés objectivement alors qu’elles sont aussi largement fondées sur des critères subjectifs ».  Glenn (2003) allait plus loin, affirmant que « les assureurs peuvent évaluer les risques de nombreuses façons différentes en fonction des histoires qu’ils racontent sur les caractéristiques qui sont importantes et celles qui ne le sont pas (…) Le fait que la sélection des facteurs de risque soit subjective et dépendante des récits de risque et de responsabilité a joué dans le passé un rôle bien plus important que le fait que quelqu’un avec un poêle à bois se voit facturer des primes plus élevées (…) Pratiquement tous les aspects de l’industrie de l’assurance sont fondés sur des histoires d’abord et sur des chiffres ensuite ». Cette important de la narration se retrouve dans la fameuse phrase de George Box « all models are wrong but some models are useful ». Autrement dit, les modèles sont, au mieux, une fiction intéressante.

L’apprentissage machine et les boîtes noires

Mais il ne faut pas se tromper sur ce qu’on cherche à expliquer. Par exemple, expliquer ce que fait un algorithme d’apprentissage est assez simple : il tente de minimiser un objectif (l’écart entre ce qu’il prédit et ce qui est observé) sur la base d’algorithmes d’optimisation plus ou moins compliqué (par un algorithme de Newton-Raphson pour une simple régression logistique, ou un algorithme de rétro-propagation sur des portions de la base pour de l’apprentissage profond (réseau de neurones avec plusieurs couches cachées)). Un algorithme dit « des plus proches voisins » consiste à dire que la fréquence de sinistres automobile d’un individu sera la fréquence moyenne des  personnes les plus proches de cet individu (en termes de caractéristiques : même expérience de conduite, conduisant le même type de véhicule, parcourant la même distance, etc). Cet algorithme est simple à expliquer. La partie ardue consiste à interpréter le modèle construit, à rendre intelligible les prédictions. Pasquale (2015) a souligné que les algorithmes d’apprentissage machine sont caractérisés par leur opacité et leur « incompréhensibilité », parfois appelé « propriétés de boîte noire ». En réponse, ou de manière concomitante, une demande de transparence des algorithmes, voire des codes informatiques, a été demandé, comme Citron et Pasquale (2014) ou Mittelstadt et al. (2016). Cela dit, l’algorithme « des plus proches voisins » est transparent et simple, ce sont les données qui sont importantes : il est impossible de faire une prévision sans avoir accès aux données (contrairement à une régression linéaire qui donne une fonction numérique). Burrell (2016) et Laat (2017) ont noté que le manque de transparence était en partie dû au comportement des entités de développement et d’utilisation qui refusent de divulguer les algorithmes, ou même simplement les règles et critères de décision programmés à des parties externes pour des raisons de protection des secrets commerciaux, de protection des droits d’auteur, de protection des données (lorsque les systèmes informatiques contiennent des données personnelles de tiers) ou par prudence contre des ajustements comportementaux ciblés par les personnes concernées. Ce dernier point avait été souligné dans le cas de l’algorithme de Facebook, comme raconté dans Charpentier (2021).

Le modèle linéaire comme référence de « boite blanche » ?

Un des soucis est que le modèle le plus simple, le modèle linéaire, est souvent décrit comme un modèle « interprétable », mais par construction, cette interprétation est fallacieuse. En effet, pour estimer un modèle linéaire, pour lier deux variables  et , c’est la corrélation entre les deux variables qui compte, et qui est souvent interprétée comme une relation causale (pour la simplicité de la narration).

Figure 1 : Cyclistes à Stockholm, avec la température moyenne et le nombre de cyclistes, par jour.

La Figure 1 présente des données tirées d’une même base, où x_t est le nombre de cyclistes dans une rue à Stockholm, le jour t (de 2014), et y_t est la température moyenne le jour t. Sur la partie gauche, on a représenté (y_{t-1},x_t)  et un modèle linéaire (x=\alpha_0+\alpha_1y+\eta), supposé pertinent quand la température est au-dessus de 0oC. La pente est significativement non-nulle, on a un R^2 excédant 75%, et l’interprétation serait « le nombre de cyclistes sur la route croit avec la température, un degré de plus apportant 750 cyclistes de plus par jour sur la route ». Ou pour une explication plus succincte serait « les habitants de Stockholm préfèrent faire du vélo quand il fait chaud ». Sur la partie droite, on a représenté (x_{t-1},y_t) et là encore, un modèle linéaire (y=\beta_0+\beta_1x+\epsilon) semble avoir du sens, en excluant la partie la plus à gauche de la courbe (quand  est faible). Là encore, la pente est significativement non-nulle, on a un R^2  légèrement inférieur à 75%, et l’interprétation serait « la température croit avec le nombre de cyclistes sur la route, chaque millier de cycliste en plus faisant augmenter la température d’1oC ». Là encore, en simplifiant, « on peut lutter contre le réchauffement climatique en limitant le nombre de vélos sur la route ». À partir des données, et des données seulement, puis-je affirmer qu’une des explications données est plus valide que l’autre ?

Un vœu pieu ?

On demande de pouvoir comprendre et interpréter toute prévision algorithmique, mais n’est-ce pas trop ambitieux ? Car comme l’aurait dit Saint Augustin, « si personne ne me demande ce qu’est le temps, je sais ce qu’il est ; et si on me le demande et que je veuille l’expliquer, je ne le sais plus ». C’est aussi ce que notait plus récemment Kahneman (2011), introduisant les notions de Système 1 / Système 2 (« les deux vitesses de la pensée »). Le système 1 est utilisé pour la prise de décisions rapides : il nous permet de reconnaître les gens et les objets, nous aide à orienter notre attention, et nous encourage à craindre les araignées. Il est basé sur des connaissances stockées en mémoire et accessibles sans intention, et sans effort. On peut l’opposer au système 2, qui permet une prise de décision plus complexe, exigeant de la discipline et une réflexion séquentielle. Dans la majorité des cas, on prend des décisions sans vraiment pouvoir les expliquer, et sans que ce soit préoccupant. Car c’est probablement autre chose que l’on cherche dans l’explicabilité. Nous avions mentionné la confiance, mais il y a aussi l’importance de l’équité, partiellement évoquée dans le contexte légal : l’explication importe peu si la décision semble juste.


Biran, O., & Cotton, C. (2017). Explanation and justification in machine learning: A survey. IJCAI-17 workshop on explainable AI (XAI), Vol. 8, No. 1, pp. 8-13.

Burrell, J. (2016). « How the machine ‘thinks’ : Understanding opacity in machine learning algorithms ». Big Data & Society 3.

Charpentier, A. (2018). L’intelligence artificielle dilue-t-elle la responsabilité ? Risques, 114, 145-150

Charpentier, A. (2021). Une mesure ne peut pas être un objectif. Risques, 125, 122-127

Citron, D. K. & F. Pasquale (2014). « The scored society : Due process for automated predictions ». Washington Law Review 89.

Coche, A. (2011). « Faut-il supprimer les expertises de dangerosité ? » Revue de science criminelle et de droit pénal comparé 1, p. 21–35.

Cottin, D. Z., Perrocheau, V., & Milburn, P. (2020). L’obligation de motivation des décisions criminelles en France: de la loi aux pratiques. Analyse empirique de la motivation des décisions de cours d’assises. Revue Juridique Thémis, 54(1).

Dadoun, A. (2018). L’obligation constitutionnelle de motivation des peines. Revue de science criminelle et de droit penal compare, (4), 805-827

Delacrausaz, P., & Gasser, J. (2012). « La place des instruments d’évaluation du risque de récidive dans la pratique de l’expertise psychiatrique pénale : l’exemple lausannois ». L’information psychiatrique 88: 6, p. 439–443

Elkus, A. (2015). « You Can’t Handle the (Algorithmic) Truth ». Slate May 20th.

Dubourg, É. & Gautron, V. (2015). « La rationalisation des outils et méthodes d’évaluation :de l’approche clinique au jugement actuariel ». Criminocorpus. Revue d’Histoire de la justice,des crimes et des peines.

Glenn, B. J. (2000). « The shifting rhetoric of insurance denial ». Law and Society Review, p. 779–808.

Glenn, B. J. (2003). « Postmodernism : the basis of insurance ». Risk Management and Insurance Review 6.2, p. 131–143.

Ginet, C. (2008). In defense of a non-causal account of reasons explanations. The Journal of Ethics, 12(3), 229-237.

Harcourt, B. E. (2008). Against prediction. University of Chicago Press.

Heider, F. (1958). The psychology of interpersonal relations. Wiley.

Johnston, D. (2001) « Explainable Models Are Overrated ». Linkedin 2021-01-25.

Kahneman, D. (2011). Système 1 / Système 2 : Les deux vitesses de la pensée, Flammarion.

Kästner, L., M. Langer, V. Lazar, A. Schomäcker, T. Speith & S. Sterz (2021). « On the Relation of Trust and Explainability : Why to Engineer for Trustworthiness ». 2021 IEEE 29th International Requirements Engineering Conference Workshops (REW), p. 169-175.

Laat, P. B. de (2017). « Big data and algorithmic decision-making : can transparency restore accountability ? » ACM Computers and Society 47.3, p. 39–53.

Lakkaraju, H. et al. (2019) Faithful and customizable explanations of black box models. Proceedings of the 2019 AAAI Conference on AIES.

Lipton, Z. C. (2018). « The Mythos of Model Interpretability : In machine learning, the concept of interpretability is both important and slippery. » Queue 16.3, p. 31–57

Lombrozo, T. (2006). The structure and function of explanations. Trends in Cognitive Sciences 10, 464-470.

Malle, B. F. (2006). How the mind explains behavior: Folk explanations, meaning, and social interaction. MIT Press.

Manguel, A. (2020) Monstres fabuleux, Actes Sud.

Miller, T. (2019). Explanation in artificial intelligence: Insights from the social sciences. Artificial intelligence, 267, 1-38.

Mittelstadt, B. D., P. Allo, M. Taddeo, S. Wachter & L. Floridi (2016). « The ethics of algorithms : Mapping the debate ». Big Data & Society.

Pasquale, F. (2015). The black box society : the secret algorithms that control money and information. Harvard University Press

Rubinstein, A. (2012). Economic fables. Open book publishers.

Saleilles, R. (1897). L’individualisation de la peine : étude de criminalité sociale. F. Alcan.

Shiller, R. J. (2020). Narrative economics : How stories go viral and drive major economic events. Princeton University Press.

Snow, C. P. (1956). The two cultures. New Statesman (6 octobre).

Swartout, W., Paris, C. & Moore, J. (1991), Explanations in knowledge systems: design for explainable expert systems. IEEE Expert, vol. 6, no. 3, pp. 58-64.

Villani, C. (2018) Donner du sens à l’intelligence artificielle.

Woodward, J. (2005) Making things happen: A theory of causal explanation, Oxford University Press.

[i] Selon la littérature pédiatrique, entre 3 et 4 ans (davantage si on a la chance d’avoir des enfants à la curiosité insatiable).

[ii] « ces affirmations péremptoires ne constituent pas une motivation véritable, mais sont tout au contraire la négation de la motivation » affirmait Cottin et al. (2020).

[iii] La pratique est bien entendu plus complexe : dans de nombreux cas, la motivation n’est pas donnée, à moins que l’une des parties ne fasse appel. Ce qui n’est pas sans faire penser à Manguel (2020), « Alice sait d’instinct que la logique est pour nous le moyen de donner du sens à ce qui n’en a pas et à en découvrir les règles secrètes, et elle l’applique impitoyablement, même chez ses ainés et supérieurs, qu’elle se trouve face à la Duchesse ou le Chapelier fou. Et quand les arguments s’avèrent inopérants, elle insiste pour, à tout le moins, rendre évidente l’absurdité de la situation. Quand la Reine de cœur exige que la cour rende “la condamnation d’abord… et le jugement ensuite”, Alice répond très justement : “Mais c’est de la bêtise !” C’est bien la seule réponse que méritent la plupart des absurdités dans notre monde. »

Assurance et discrimination, quel rôle pour les actuaires ?

Le rôle essentiel d’un actuaire en charge de la tarification est la segmentation du portefeuille (ou « insurance classification » en anglais), correspondant à une activité de discrimination (mathématiquement parlant) au sens où l’actuaire va chercher les variables les plus « discriminantes », pour en expliquer une autre (en lien avec la sinistralité). Mais au sens juridique, discriminer, c’est interdit par la loi, ce qui place l’actuaire dans une position souvent délicate et complexe.

Continue reading Assurance et discrimination, quel rôle pour les actuaires ?