Category Archives: Publications

Le tabou de l’exponentielle

Pour Carl Sagan, « if you understand exponentials, the key to many of the secrets of the universe is in your hand ». Mais tout le monde ne semble pas prêt à percer les secrets de l’universe. Ainsi, mi-novembre 2021, plus de 18 mois après le début de pandémie de SARS-COVID 19, le ministre de la santé affirmait « la circulation du virus s’est accélérée depuis maintenant quelques semaines, de l’ordre de 30% à 40% d’augmentation par semaine. Nous ne sommes pas encore dans une phase dite exponentielle » (cité dans Ouest France (2021)). Comme une augmentation à taux constant est précisément la définition d’une « croissance exponentielle », on peut s’interroger sur cette affirmation, qui révèle soit une lacune de numéracie de nos dirigeants, soit un élément de langage, le mot « exponentiel » devenant un mot tabou, qu’il ne faudrait pas mentionner ?

La proportionnalité et la croissance linéaire

Un aspect central des mathématiques enseignées au primaire et au secondaire est la notion de proportionnalité, observée en géométrie avec le théorème de Thalès et que l’on retrouvera en arithmétique avec la « règle de trois ». Comme le raconte la légende, au VIème siècle avant notre ère, Thalès de Milet voulait déterminer la hauteur d’une grande pyramide, et il eut l’idée d’utiliser la longueur des ombres, et la proportionnalité des figures géométriques. Si un bâton de 2 mètres, planté dans le sable a une ombre qui se projette sur 3 mètres, un arbre de de 6 mètres aura une ombre de 9 mètres; et inversement, si l’ombre de la pyramide fait 90 mètres, c’est que la pyramide fait 60 mètres de haut. C’est la base de la proportionnalité, et de la croissance linéaire.

On retrouve ce concept par exemple en physique, quand un corps se déplace à vitesse constante : en doublant la distance à parcourir, on va doubler le temps de trajet. Cette linéarité est importante, et heuristiquement, elle sert de base de nombreuses réflexions que l’on peut avoir quand on cherche à extrapoler. C’est cette idée qui sert de base pour le calcul des provisions pour sinistres à payer : en supposant que la cadence de paiements reste inchangée, un principe de proportionnalité permet d’extrapoler les paiements futurs. Autrement dit, quand une grandeur croît de manière linéaire, y(t)=at, pour un a paramètre positif. Dans ce cas, dy(t)/dt est constante, et c’est cette propriété qui va disparaître quand on aura une croissance exponentielle.

La légende de l’échiquier, des feuilles pliées et des nénuphars

Selon la légende, un roi perse (ou indien, selon la source) avait promis d’offrir à un de ses ministres tout ce qu’il voudrait, et ce dernier avait demandé à son roi de lui donner des grains de blé, en respectant un protocole précis : le roi (ou son intendant) devrait déposer un grain de blé sur la première case d’un échiquier, deux sur la seconde, quatre sur la troisième, en doublant de case en case, jusqu’à la soixante-quatrième. Après s’être moqué de son ministre (la demande semblant relativement modeste), le roi demande à ses comptables de faire les calculs. Ses derniers se rendent compte que tous les grains dans tous les greniers du monde ne devraient pas suffire. Dans une des légendes, le roi cèda son trône à son ministre, afin de récompenser sa sagesse. Au IXème siècle, Thābit ibn Qurra (ثابت بن قرة) qui s’était interrogé sur l’existence de l’infini, avait parlé de « suite duplicative », alors que Pierre de Fermat, au XVIIème siècle, parlait de « progression double » pour décrire ce problème. Le nombre de grains sur la case n est 2^{n-1}, de telle sorte que la somme totale des grains sur les n premières cases est 2^n-1. Soit, au total 18, 446, 744, 073, 709,  551, 615 grains quand n vaut 64… ou un peu plus de 500 milliards de tonnes de blé (soit mille fois la production annuelle de blé, dans le monde).

Une autre histoire en lien avec cette légende de l’échiquier est celle de la feuille de papier que l’on plie en deux, puis que l’on plie à nouveau en deux, etc. Si on part d’une feuille de papier standard (d’un dixième de millimètre d’épaisseur), l’épaisseur double à chaque pliage. En une cinquantaine de pliages (si on oublie un instant les difficultés physiques, qui font qu’au bout d’une dizaine de pliage, nous n’avons plus assez de force dans notre pouce pour plier la feuille), l’épaisseur est de 2^{50} dixième de millimètre, soit 112,589,991 kilomètres (un peu moins que la distance de la terre au soleil).

Finalement, on peut aussi mentionner la fameuse énigme du nénuphar :

« Un nénuphar dans un étang double de taille chaque jour. Il recouvre la totalité de l’étang en un mois (30 jours). Quel jour avait-t-il couvert la moitié de l’étang ? ».

On parlera d’énigme car la réponse intuitive, 15 jours (la moitié du temps pour la moitié de la surface), n’est pas valide : comme la surface double tous les jours, il faudra 29 jours pour couvrir la première moitié de l’étang, et juste un jour pour couvrir la seconde moitié.

Toutes ces légendes racontent la même histoire, celle d’une croissance dite exponentielle, au sens où y(t)=a^t (à ne pas confondre* avec y(t)=t^a qui correspondrait à une croissance « en fonction puissance », ou « polynomiale »). On notera parfois y(t)=\exp(\alpha t)\alpha est le logarithme de a.

Dessiner une exponentielle

Les exponentielles sont une forme un peu étonnante, dépendant de l’échelle de temps (ou le pas de temps) que l’on considère, comme sur la Figure 1, y(t)=2^t , correspondant au nombre de grains dans la légende de l’échiquier.


Figure 1 : croissance exponentielle , avec différentes échelles de temps

La figure de droite correspond à ce qui se passe avec le jeu de l’échiquier : quand on atteint des grandes valeurs de t, y(t) devient « infiniment grand ». En effet, en notant que 2^{10}=1024, on peut dire que y(t)=2^t\approx 1000^{t/10}, autrement dit, en 10 étapes (la dixième case sur l’équipier), on a 1, 000 grains, 1, 000, 000 grains sur la vingtième, 1, 000, 000, 000 sur la trentième, etc. On pourrait presque dire que l’écriture du nombre (dans la base 10 classique, avec les 10 chiffres usuels, 0,1,2,3,4,5,6,7,8,9), la taille du nombre croit de manière linéaire. Sur la figure de droite, on a l’impression que le nombre de grain « explose » à partir de 90, mais c’est juste que y(100)\approx 1000\times y(90), et effectivement, la valeur en 90 est mille fois plus petite que celle en 100.

Mais la représentation la plus intéressante, la plus classique, est probablement celle au centre de la Figure 1, on a l’illusion qu’il y a trois phases dans la croissance géométrique,

  • une partie très plate, au début (disons entre 0 et 4)
  • une augmentation raisonnable (entre 4 et 8)
  • une augmentation brutale entre (8 et 10)

C’est cette idée qui a circulé ces derniers mois sur les réseaux sociaux, repris dans la Figure 2.

Figure 2 : à droite, le mathématicien face à une croisse exponentielle d’un phénomène, et à gauche, l’homme politique face à la même courbe (source : Jens von Bergmann, inspiré du style du webcomic xkcd de Randall Munroe, traduit par l’auteur)

L’exponentielle donne l’illusion d’une rupture de tendance, mais formellement, la croissance est toujours « exponentielle ». Cela s’explique simplement en notant que l’exponentielle est solution d’une équation différentielle de la forme dy(t)/dt=ay(t), autrement dit la pente, dy(t)/dt, est proportionnelle à y(t): la croissance est donc effectivement faible au début (car y(t) est faible) et bien plus conséquente ensuite (car y(t) est plus importante).

Les exponentielles et l’actualisation financière

La grande différence entre les modèles linéaires (y(t+1)-y(t) constant, soit y(t)=at et les modèles multiplicatifs (y(t+1)/y(t) constant, soit y(t)=a^t), entre les droites et les exponentielles, c’est que dans un cas, la variation absolue est constante, et pour l’autre, c’est la variation relative. Ceci donne des paradoxes bien connus. Par exemple une baisse de 20% suivie d’une hausse de 20% ne permet pas de revenir au point de départ. C’est d’ailleurs une identité dite remarquable, puisque (1-r)(1+r)=1-r^2\neq 1. C’est la même logique que l’on retrouve dans les intérêts composés, puisque (1+r)(1+r)-1=2r+r^2\neq 2r(le rendement est « un peu » plus grand que deux fois r). Étrangement, c’est le cumul de toutes ces petites quantités, négligeables au premier ordre, qui semble perdre toute raison à force de se cumuler.

Car lorsque l’on compose les intérêts, on obtient qu’en plaçant un capital C sur un produit financier rapportant un taux tous les ans, la richesse au bout de t années croît exponentiellement vite avec le temps, puisque y(t)=C(1+r)^t, tel que l’avait décrit Fibonacci, dans le Liber Abaci, publié en 1202, comme le rappelait Charpentier (2016).

Cette croissance exponentielle avait été soulignée en 1772 par Richard Price, qui essayer d’imaginer ce qu’aurait rapporté le placement d’un simple penny dans une banque (virtuelle) à la naissance de Jésus Christ, « one penny, put out at our Saviour’s birth to 5 per cent, compound interest, would, before this time, have increased to a greater sum, than would be contained in a hundred and fifty millions of earths, all solid gold ». Il n’est pas certain que donner comme valeur 150 millions de fois le volume de la terre en or donne une bonne indication, mais rappelons que si r vaut 5%, (1+r)^{100} vaut un peu plus de 100, (1+r)^{500} vaut un peu plus de 40 milliards, et (1+r)^{1772}  est un nombre à 28 chiffres.

Ces nombres qui peuvent donner le tournis (surtout quand on parle de somme financière) ne sont pas sans faire penser au mécanisme mis en place par Charles Ponzi, un peu avant 1920 (et qui aura inspiré bon nombre d’investisseurs, comme Bernard Madoff) : il proposait d’offrir un rendement de 50% en trois mois ! Supposons qu’il arrive à trouver 10 investisseurs prêts à investir 100$ lors du lancement du produit. Trois mois après, il doit leur verser 150$, ce qui revient à trouver 15 investisseurs prêts à investir 100$. Six mois après, comme il devra leur verser 225$, il faudra trouver 23 investisseurs prêts à investir 100$, etc. Au bout de 5 ans, il lui faut un peu plus de 330,000 investisseurs. Au bout de 10 ans, toute la terre doit avoir investi dans le placement offert par Charles Ponzi ! Autrement dit, le nombre d’investisseurs doit croître aussi vite que le capital, c’est-à-dire exponentiellement vite ! Ce besoin de doubler le nombre d’investisseurs quasiment tous les six mois correspond à un système pyramidal (même si une pyramide correspondrait davantage à une croissance linéaire). Ce doublement de la taille de la population des investisseurs n’est pas sans faire penser aux premiers modèles démographiques.

Malthus et les modèles démographiques

A la fin du XVIIIème siècle, Malthus propose un modèle de croissance exponentielle de la population, qui a marqué les mémoires, même si John Graunt, à qui on doit les premières tables de mortalité, puis William Petty avaient envisagé la question un siècle plus tôt, et repris par Léonard Euler, en 1748, qui se demandait s’il était possible d’avoir eu une croissance exponentielle de la population depuis Adam et Eve, ou plutôt en partant de six êtres humains ayant commencé à repeupler la terre après le Déluge. Voltaire aura été critique de ce modèle, soulignant que « on ne propage point en progression géométrique. Tous les calculs qu’on a fait sur cette prétendue multiplication sont des chimères absurdes ».

Ce qui est (mathématiquement) intéressant, c’est que les démographes ont rapidement proposé une alternative intéressante à la croissance exponentielle, sous l’impulsion de Pierre-François Verhulst, vers 1840, que l’on peut résumer de la manière suivante, en considérant un système dynamique, décrit par une équation différentielle :

  • si dy(t)/dt est constante, on a une croissance linéaire, caractérisée par une relation de proportionnalité dont nous parlions en introduction (y(t+h)-y(t) sera proportionnelle à h)
  • si dy(t)/dt est proportionnelle à y(t), on a une croissance exponentielle (ou plus généralement si dy(t)/dt=a+by(t))
  • si dy(t)/dt est quadratique en , autrement dit si dy(t)/dt=a+by(t)+cy(t)^2, on peut obtenir le modèle logistique proposé par Pierre-François Verhulst que l’on retrouvera dans les modèles de démographie, et plus généralement de dynamique des populations, et de modélisation des pandémies.

La croissance suivant un modèle logistique donne une croissance ressemblant beaucoup à une exponentielle, au début, avant d’atteindre un point d’inflexion, avant de ralentir et de se stabiliser. En réalité, le modèle logistique de Verhulst (formellement dy(t)/dt=ay(t)[b-y(t)]) avait été proposé par Daniel Bernoulli vers 1750 pour modéliser la dynamique d’une épidémie de variole. On revient donc au point de départ, avec un lien entre les exponentielles et les pandémies…

L’explosion exponentielle dans une pandémie

Charpentier & Barry (2020) rappelait que dans les modèles classiques de pandémie, le nombre de personnes infectées augmentait exponentiellement vite, au commencement, le facteur étant d’augmentation étant lié au nombre de contacts potentiels d’un individu contagieux. S’il est difficile d’arrêter une croissance exponentielle, y(t)=a^t, Ghys (2020) rappelait qu’il est possible de la ralentir très fortement en forçant la distanciation sociale, pour avoir y(t)=b^{t}, avec b<a, où y(t) est le nombre de personnes infectées (et contagieuses). Et comme le disait Stevens (2020), « That is math, not prophecy. The spread can be slowed, public health professionals say, if people practice “social distancing” by avoiding public spaces and generally limiting their movement ». Et, presque paradoxalement, un petit changement peut avoir des conséquences majeures, précisément à cause de cette amplification « exponentielle ». C’est la vision optimiste que proposait Young (2021) en écrivant « the infectious nature of a virus means that a tiny bad decision can cause exponential harm, but also that a tiny wise decision can do exponential good ».

Bernoulli, D. (1760). Essai d’une nouvelle analyse de la mortalité causée par la petite vérole et des avantages de l’inoculation pour la prévenir. Académie des Sciences de Paris.
Charpentier, A. (2016). Fibonacci, les lapins, le nombre d’or et les calculs actuariels. Risques, 106.
Charpentier, A. & Barry, L. (2020). Concilier risques collectifs et décisions individuelles. Risques, 123
Feertchak, A. (2021). Covid-19 : la trajectoire de l’épidémie est-elle exponentielle dans le monde ? Le Figaro, 14 avril
Ghys, E. (2020). Epidémies : aplatir les exponentielles. Le Monde, 24 mars,
Hernandez, J. (2020) Comment mieux communiquer sur la dynamique exponentielle de la pandémie ?. Le Figaro, 24 décembre,
Meyer-Vacherand, E. (2020). Covid-19 : comprendre la croissance exponentielle d’une pandémie, un défi cognitif pour la population. Le Monde, 8 juillet,
Ouest France (2021). Covid-19. Olivier Véran : « Nous avons retardé cette cinquième vague ». Ouest France, 16 novembre,
Price, R. (1772). An Appeal to the Public on the Subject of National Debt. London.
Sagan, C. (1997). Billions and Billions: Thoughts on Life and Death at the Brink of the Millennium. Headline Publishing.
Stevens, H. (2020). Why outbreaks like coronavirus spread exponentially, and how to “flatten the curve. The Washington Post, 14 mars,
Young, E. (2021). I Canceled My Birthday Party Because of Omicron. The Atlantic, 17 décembre 2021.

* En fait, la croissance exponentielle fait aussi peur aux informaticiens : un algorithme qui se résout de manière linéaire en fonction du temps (ou du nombre de calculs à effectuer, comme trouver le plus grand élément parmi t), quadratique (comme ordonner une liste de t éléments), ou plus généralement polynomial (comme multiplier des matrices t\times t) est considéré comme « simple ». Un problème qui se résout en un nombre d’étapes qui croît de manière exponentielle (ou plus long encore) sera bien plus difficile (voir la notion de « NP-hard » (NP signifiant « non-deterministic polynomial »), qui inclue des problèmes comme trouver le chemin le plus court passant par t villes). Et si la croissance exponentielle est (très) rapide, la « décroissance exponentielle » est elle aussi très rapide. Aussi, en probabilité, si \mathbb{P}(X>t)=a^{-t} correspondant à une décroissance exponentielle, on parlera de « queues fines » contrairement à une décroissance polynomiale, \mathbb{P}(X>t)=t^{-a}, qui correspond à des queues de type Pareto, et donc des « risques (potentiellement) extrêmes ».

Le mythe de l’interprétabilité et de l’explicabilité des modèles

Rubinstein (2012) affirmait que « dans la théorie économique, comme dans Harry Potter, les habits neufs de l’empereur ou les contes du roi Salomon, nous nous amusons dans des mondes imaginaires. La théorie économique invente des contes et les appelle des modèles. Un modèle économique se situe également entre la fantaisie et la réalité (…) Le mot “modèle” semble plus scientifique que le mot “fable” ou “conte”, mais je pense que nous parlons de la même chose ». Aujourd’hui, bien souvent, les modèles d’apprentissage vont construire un modèle, sur la base de données d’apprentissage, et le travail de l’actuaire sera de lui donner sens, de trouver l’histoire – la fable – qu’il est possible de raconter.

Expliquer un modèle ?

Le rapport Villani (2018) mentionnait l’importance de l’explicabilité des algorithmes d’ap­prentissage automatique, reprenant ainsi un néologisme, correspondant à une exigence que l’on observe depuis un demi-siècle dans les systèmes complexes.  Dans les années 80, comme le rappelle Swartout et al. (1991), la Strategic Computing Initiative du département de la défense américaine, lançait l’acronyme EES (Explainable Expert Systems), l’adjectif « explainable » donnant le nom « explainability ». Plus récemment, en 2016, le règlement général sur la protection des données (RGPD) imposait l’obligation de fournir « des informations utiles concernant la logique sous-jacente » de toute décision automatique. À peu près à la même époque, la loi « Lemaire » imposait à l’administration l’obligation de communiquer à l’individu les « règles définissant tout traitement [automatique] et les principales caractéristiques de sa mise en œuvre ». En 2018, la “Convention 108” (ou convention pour la protection des personnes à l’égard du traitement automatisé des données à caractère personnel), conférait aux personnes le droit d’obtenir connaissance « du raisonnement qui sous-tend le traitement » automatique. Si les termes d’interprétabilité et d’explicabilité ne sont pas mentionnés, on y retrouve clairement l’idée (à laquelle sera rapidement associée les concepts de transparence, d’« auditabilité » ou de responsabilité des algorithmes).

Récemment, Miller (2019) a tenté une définition de cette « explicabilité ». Comme il le souligne, définir le terme « explication » a mobilisé bon nombre de philosophes, et tous semblent souligner l’importance de la causalité dans l’explication, c’est-à-dire qu’une explication se réfère forcément à des causes. Toutes sortes de termes semblent être utilisés, pour décrire cette idée, que ce soit « interprétation » ou « justification ».  Bien souvent, l’explication est donc un mode par lequel un observateur peut obtenir la compréhension. Une justification explique pourquoi une décision est bonne, mais ne vise pas nécessairement à donner une explication du processus décisionnel.

Le besoin d’explication, ou de confiance

« Et pourquoi…? » demandent presque sans fin les jeunes enfants[i]. Il existe de nombreuses raisons pour lesquelles les gens peuvent demander des explications. La curiosité est l’une des principales motivations, mais des arguments plus pragmatiques peuvent être invoqués. Pour illustrer le besoin (naturel) que nous avons d’explications, Johnston (2021) donne l’exemple simple d’une visite chez le garagiste : ma voiture est en panne, je l’amène chez le garagiste, qui la répare et me demande 900 euros. Mais, avant de remettre l’argent, je demande ce qui ne va pas et il explique que la soupape d’entrée du convertisseur catalytique était bloquée, ce qui entraînait l’usure des roulements du moteur de l’injecteur et permettait à la poussière de pénétrer dans la soupape de décharge, ce qui pouvait obstruer l’embout du tuyau de sortie, et donc, il a remplacé les roulements et mis un nouveau tuyau. Ce charabia technique a été inventé, mais le fait est que, bien souvent, l’explication n’était pas vraiment utile, car on n’a qu’une connaissance (très) limitée du fonctionnement des voitures. Ce qui a été utile, c’est que le mécanicien a réellement réparé la voiture. Et si on va plus loin, ces explications ont un pouvoir réconfortant : on se sent en confiance si l’explication semble pertinente (comme le rappelle Kästner et al. 2021). Et si la réparation fonctionne, je n’ai pas envie forcément d’en savoir davantage. En revanche, si le problème persiste, je veux comprendre. C’est bien souvent l’analyse des erreurs qui est importante. En 2017, lors d’un des premiers débats à la conférence NeurIPS à évoquer l’équité algorithmique, il avait été souligné que « if we wish to make AI systems deployed on self-driving cars safe, straightforward black-box models will not suffice, as we need methods of understanding their rare but costly mistakes ». Lors de cette conférence, Yann LeCun soulignait que lorsqu’on leur présentait deux modèles à des usagers (l’un extrêmement explicable et précis à 90%, l’autre se comportant comme une boîte noire mais avec une précision supérieure de 99%), ils choisissaient toujours le plus précis. Autrement dit « people don’t really care about interpretability but just want some sort of reassurances from the working model ». Dit autrement, l’interprétabilité n’est pas importante si vous on est convaincu que le modèle fonctionne bien, dans les conditions dans lesquelles il est censé fonctionner. N’est-ce pas ce qui se passe quand je monte dans un avion, ou que je subis une opération chirurgicale ?

La justice comme exemple à suivre ?

Il y presque un siècle, Ernest Burgess commençait à suivre une cohorte de 3000 condamnés, libérés sous condition, et il parvint à identifier vingt-deux paramètres permettant de distinguer ceux qui réussiraient leur probation et ceux qui échoueraient. Dans les années 1950, les époux Glueck et d’autres chercheurs ont poursuivi son analyse, multipliant les études consacrées aux facteurs de récidive pour construire de multiples échelles de prédiction des risques. Ces instruments s’appuient sur des méthodes statistiques inspirées des pratiques assurantielles, afin de déterminer les niveaux de risque associés à un groupe de délinquants présentant des caractéristiques communes, et, sur la base de ces corrélations, de prédire le comportement criminel futur d’un individu spécifique, comme le raconte Harcourt (2008). Cette « justice actuarielle » va permettre le développement d’outils d’aide à la décision, permettant aux juges d’avoir des scores de récidive ou de dangerosité. Mais ces outils ne sont qu’une aide, et les juges se doivent ensuite de motiver leur décision, de fournir une explication.

Car en matière judiciaire, l’individualisation de la peine constitue l’un des principes fondamentaux du droit pénal français, comme le soulignait Saleilles (1897). Pour Dadoun (2018), pour que les exigences d’un procès équitable soient respectées, « l’accusé doit être à même de comprendre le verdict qui a été rendu ». Cette motivation des jugements et arrêts, peut-être démonstrative, narrative ou péremptoire, comme le montre Cottin et al. (2020). Dans la majorité des cas, la motivation est une explication de la décision, sauf la motivation péremptoire qui relève plus de l’affirmation que de l’explication[ii]. La version narrative contient une explication du contexte de l’infraction, il s’agit de raconter l’histoire. C’est probablement l’approche qui s’apparente le plus à ce que nous avons en tête quand on demande une explication[iii]. La justice peut-être servir d’exemple pour comprendre ce que devrait être l’explicabilité ?

En justice, la motivation se base sur des faits, et des avis d’experts. Comme le souligne Coche (2011), « pour apprécier la dangerosité des personnes poursuivies ou condamnées, le législateur multiplie le recours aux expertises. Cependant, les expertises de dangerosité, non seulement ne sont pas fiables, mais elles ne peuvent pas le devenir. Elles créent donc l’illusion, sans cesse déçue, d’une appréciation qui serait scientifique de la dangerosité ». Cette évaluation par les experts est appelée « évaluation clinique », et comme le note Dubourg & Gautron (2015), des centaines d’études considèrent que, dans le contexte d’évaluer un risque de récidive, ces évaluations cliniques non structurées présentent des estimations proches du hasard, historiquement aux États-Unis, reprochant aux cliniciens une surévaluation des risques de récidive. La même critique est faite en France, où « l’utilisation de concepts psychanalytiques demeure prédominante tant en psychiatrie générale que dans le contexte des expertises. Or, ces concepts ne possèdent aucun lien théorique avec les comportements délictuels à prédire. Ainsi, la méthode basée sur un jugement clinique non structuré est une évaluation subjective, non validée scientifiquement, et fondée sur des corrélations intuitives…. Il n’est donc plus question de tenter de comprendre ou d’expliquer ». Dans la majorité des expertises, la base scientifique de l’explication est qu’il n’y a pas de fumée sans feu.  Dubourg & Gautron (2015) montre que l’hypothèse d’une dangerosité et/ou d’un risque de récidive est très souvent validée, 75% des condamnés se voyant attribuer un pronostic défavorable par au moins un expert au fil du processus. Delacrausaz & Gasser (2012) observe que l’expert se contente « d’extraire tel ou tel élément d’observation pour en déduire toutes sortes de raisonnements, sans expliquer ni les motivations de ses choix, ni les fondements théoriques sur lesquels il les base ». Et bien souvent, à partir des mêmes éléments factuels présents dans le dossier, l’avocat de la défense et le procureur vont avoir deux explications radicalement différentes.

Les deux cultures

Le monde de la justice, avec des juges, des procureurs, des avocats qui sont très majoritairement, en France en tous cas, des femmes et des hommes « de lettres », est très loin de la culture statistique des données. À la fin des années 50, le baron Charles Percy Snow affirmait que la vie intellectuelle de la société occidentale se divise essentiellement en deux cultures distinctes, celle des sciences et celle des humanités, et que la culture partagée tend à disparaître. Le monde des chiffres et le monde des récits.

Glenn (2000) reprenait cette idée en expliquant que, le processus de sélection des risques d’un assureur avait deux visages (comme le dieu romain Janus) : celui qui est présenté aux régulateurs et aux assurés, et l’autre qui est présenté aux souscripteurs. Il y a d’un côté le visage des chiffres, des statistiques et de l’objectivité. De l’autre, il y a le visage des récits, du caractère et du jugement subjectif. Paul Meehl en 1954, parlait de « mechanical prediction » pour décrire les modèles actuariels. La rhétorique de l’exclusion de l’assurance (basée sur des chiffres objectifs), par exemple, forme ce que Brian Glenn appelle « le mythe de l’actuaire », à savoir « une situation rhétorique puissante dans laquelle les décisions semblent être fondées sur des critères déterminés objectivement alors qu’elles sont aussi largement fondées sur des critères subjectifs ».  Glenn (2003) allait plus loin, affirmant que « les assureurs peuvent évaluer les risques de nombreuses façons différentes en fonction des histoires qu’ils racontent sur les caractéristiques qui sont importantes et celles qui ne le sont pas (…) Le fait que la sélection des facteurs de risque soit subjective et dépendante des récits de risque et de responsabilité a joué dans le passé un rôle bien plus important que le fait que quelqu’un avec un poêle à bois se voit facturer des primes plus élevées (…) Pratiquement tous les aspects de l’industrie de l’assurance sont fondés sur des histoires d’abord et sur des chiffres ensuite ». Cette important de la narration se retrouve dans la fameuse phrase de George Box « all models are wrong but some models are useful ». Autrement dit, les modèles sont, au mieux, une fiction intéressante.

L’apprentissage machine et les boîtes noires

Mais il ne faut pas se tromper sur ce qu’on cherche à expliquer. Par exemple, expliquer ce que fait un algorithme d’apprentissage est assez simple : il tente de minimiser un objectif (l’écart entre ce qu’il prédit et ce qui est observé) sur la base d’algorithmes d’optimisation plus ou moins compliqué (par un algorithme de Newton-Raphson pour une simple régression logistique, ou un algorithme de rétro-propagation sur des portions de la base pour de l’apprentissage profond (réseau de neurones avec plusieurs couches cachées)). Un algorithme dit « des plus proches voisins » consiste à dire que la fréquence de sinistres automobile d’un individu sera la fréquence moyenne des  personnes les plus proches de cet individu (en termes de caractéristiques : même expérience de conduite, conduisant le même type de véhicule, parcourant la même distance, etc). Cet algorithme est simple à expliquer. La partie ardue consiste à interpréter le modèle construit, à rendre intelligible les prédictions. Pasquale (2015) a souligné que les algorithmes d’apprentissage machine sont caractérisés par leur opacité et leur « incompréhensibilité », parfois appelé « propriétés de boîte noire ». En réponse, ou de manière concomitante, une demande de transparence des algorithmes, voire des codes informatiques, a été demandé, comme Citron et Pasquale (2014) ou Mittelstadt et al. (2016). Cela dit, l’algorithme « des plus proches voisins » est transparent et simple, ce sont les données qui sont importantes : il est impossible de faire une prévision sans avoir accès aux données (contrairement à une régression linéaire qui donne une fonction numérique). Burrell (2016) et Laat (2017) ont noté que le manque de transparence était en partie dû au comportement des entités de développement et d’utilisation qui refusent de divulguer les algorithmes, ou même simplement les règles et critères de décision programmés à des parties externes pour des raisons de protection des secrets commerciaux, de protection des droits d’auteur, de protection des données (lorsque les systèmes informatiques contiennent des données personnelles de tiers) ou par prudence contre des ajustements comportementaux ciblés par les personnes concernées. Ce dernier point avait été souligné dans le cas de l’algorithme de Facebook, comme raconté dans Charpentier (2021).

Le modèle linéaire comme référence de « boite blanche » ?

Un des soucis est que le modèle le plus simple, le modèle linéaire, est souvent décrit comme un modèle « interprétable », mais par construction, cette interprétation est fallacieuse. En effet, pour estimer un modèle linéaire, pour lier deux variables  et , c’est la corrélation entre les deux variables qui compte, et qui est souvent interprétée comme une relation causale (pour la simplicité de la narration).

Figure 1 : Cyclistes à Stockholm, avec la température moyenne et le nombre de cyclistes, par jour.

La Figure 1 présente des données tirées d’une même base, où x_t est le nombre de cyclistes dans une rue à Stockholm, le jour t (de 2014), et y_t est la température moyenne le jour t. Sur la partie gauche, on a représenté (y_{t-1},x_t)  et un modèle linéaire (x=\alpha_0+\alpha_1y+\eta), supposé pertinent quand la température est au-dessus de 0oC. La pente est significativement non-nulle, on a un R^2 excédant 75%, et l’interprétation serait « le nombre de cyclistes sur la route croit avec la température, un degré de plus apportant 750 cyclistes de plus par jour sur la route ». Ou pour une explication plus succincte serait « les habitants de Stockholm préfèrent faire du vélo quand il fait chaud ». Sur la partie droite, on a représenté (x_{t-1},y_t) et là encore, un modèle linéaire (y=\beta_0+\beta_1x+\epsilon) semble avoir du sens, en excluant la partie la plus à gauche de la courbe (quand  est faible). Là encore, la pente est significativement non-nulle, on a un R^2  légèrement inférieur à 75%, et l’interprétation serait « la température croit avec le nombre de cyclistes sur la route, chaque millier de cycliste en plus faisant augmenter la température d’1oC ». Là encore, en simplifiant, « on peut lutter contre le réchauffement climatique en limitant le nombre de vélos sur la route ». À partir des données, et des données seulement, puis-je affirmer qu’une des explications données est plus valide que l’autre ?

Un vœu pieu ?

On demande de pouvoir comprendre et interpréter toute prévision algorithmique, mais n’est-ce pas trop ambitieux ? Car comme l’aurait dit Saint Augustin, « si personne ne me demande ce qu’est le temps, je sais ce qu’il est ; et si on me le demande et que je veuille l’expliquer, je ne le sais plus ». C’est aussi ce que notait plus récemment Kahneman (2011), introduisant les notions de Système 1 / Système 2 (« les deux vitesses de la pensée »). Le système 1 est utilisé pour la prise de décisions rapides : il nous permet de reconnaître les gens et les objets, nous aide à orienter notre attention, et nous encourage à craindre les araignées. Il est basé sur des connaissances stockées en mémoire et accessibles sans intention, et sans effort. On peut l’opposer au système 2, qui permet une prise de décision plus complexe, exigeant de la discipline et une réflexion séquentielle. Dans la majorité des cas, on prend des décisions sans vraiment pouvoir les expliquer, et sans que ce soit préoccupant. Car c’est probablement autre chose que l’on cherche dans l’explicabilité. Nous avions mentionné la confiance, mais il y a aussi l’importance de l’équité, partiellement évoquée dans le contexte légal : l’explication importe peu si la décision semble juste.

Références

Biran, O., & Cotton, C. (2017). Explanation and justification in machine learning: A survey. IJCAI-17 workshop on explainable AI (XAI), Vol. 8, No. 1, pp. 8-13.

Burrell, J. (2016). « How the machine ‘thinks’ : Understanding opacity in machine learning algorithms ». Big Data & Society 3.

Charpentier, A. (2018). L’intelligence artificielle dilue-t-elle la responsabilité ? Risques, 114, 145-150

Charpentier, A. (2021). Une mesure ne peut pas être un objectif. Risques, 125, 122-127

Citron, D. K. & F. Pasquale (2014). « The scored society : Due process for automated predictions ». Washington Law Review 89.

Coche, A. (2011). « Faut-il supprimer les expertises de dangerosité ? » Revue de science criminelle et de droit pénal comparé 1, p. 21–35.

Cottin, D. Z., Perrocheau, V., & Milburn, P. (2020). L’obligation de motivation des décisions criminelles en France: de la loi aux pratiques. Analyse empirique de la motivation des décisions de cours d’assises. Revue Juridique Thémis, 54(1).

Dadoun, A. (2018). L’obligation constitutionnelle de motivation des peines. Revue de science criminelle et de droit penal compare, (4), 805-827

Delacrausaz, P., & Gasser, J. (2012). « La place des instruments d’évaluation du risque de récidive dans la pratique de l’expertise psychiatrique pénale : l’exemple lausannois ». L’information psychiatrique 88: 6, p. 439–443

Elkus, A. (2015). « You Can’t Handle the (Algorithmic) Truth ». Slate May 20th.

Dubourg, É. & Gautron, V. (2015). « La rationalisation des outils et méthodes d’évaluation :de l’approche clinique au jugement actuariel ». Criminocorpus. Revue d’Histoire de la justice,des crimes et des peines.

Glenn, B. J. (2000). « The shifting rhetoric of insurance denial ». Law and Society Review, p. 779–808.

Glenn, B. J. (2003). « Postmodernism : the basis of insurance ». Risk Management and Insurance Review 6.2, p. 131–143.

Ginet, C. (2008). In defense of a non-causal account of reasons explanations. The Journal of Ethics, 12(3), 229-237.

Harcourt, B. E. (2008). Against prediction. University of Chicago Press.

Heider, F. (1958). The psychology of interpersonal relations. Wiley.

Johnston, D. (2001) « Explainable Models Are Overrated ». Linkedin 2021-01-25.

Kahneman, D. (2011). Système 1 / Système 2 : Les deux vitesses de la pensée, Flammarion.

Kästner, L., M. Langer, V. Lazar, A. Schomäcker, T. Speith & S. Sterz (2021). « On the Relation of Trust and Explainability : Why to Engineer for Trustworthiness ». 2021 IEEE 29th International Requirements Engineering Conference Workshops (REW), p. 169-175.

Laat, P. B. de (2017). « Big data and algorithmic decision-making : can transparency restore accountability ? » ACM Computers and Society 47.3, p. 39–53.

Lakkaraju, H. et al. (2019) Faithful and customizable explanations of black box models. Proceedings of the 2019 AAAI Conference on AIES.

Lipton, Z. C. (2018). « The Mythos of Model Interpretability : In machine learning, the concept of interpretability is both important and slippery. » Queue 16.3, p. 31–57

Lombrozo, T. (2006). The structure and function of explanations. Trends in Cognitive Sciences 10, 464-470.

Malle, B. F. (2006). How the mind explains behavior: Folk explanations, meaning, and social interaction. MIT Press.

Manguel, A. (2020) Monstres fabuleux, Actes Sud.

Miller, T. (2019). Explanation in artificial intelligence: Insights from the social sciences. Artificial intelligence, 267, 1-38.

Mittelstadt, B. D., P. Allo, M. Taddeo, S. Wachter & L. Floridi (2016). « The ethics of algorithms : Mapping the debate ». Big Data & Society.

Pasquale, F. (2015). The black box society : the secret algorithms that control money and information. Harvard University Press

Rubinstein, A. (2012). Economic fables. Open book publishers.

Saleilles, R. (1897). L’individualisation de la peine : étude de criminalité sociale. F. Alcan.

Shiller, R. J. (2020). Narrative economics : How stories go viral and drive major economic events. Princeton University Press.

Snow, C. P. (1956). The two cultures. New Statesman (6 octobre).

Swartout, W., Paris, C. & Moore, J. (1991), Explanations in knowledge systems: design for explainable expert systems. IEEE Expert, vol. 6, no. 3, pp. 58-64.

Villani, C. (2018) Donner du sens à l’intelligence artificielle.

Woodward, J. (2005) Making things happen: A theory of causal explanation, Oxford University Press.

[i] Selon la littérature pédiatrique, entre 3 et 4 ans (davantage si on a la chance d’avoir des enfants à la curiosité insatiable).

[ii] « ces affirmations péremptoires ne constituent pas une motivation véritable, mais sont tout au contraire la négation de la motivation » affirmait Cottin et al. (2020).

[iii] La pratique est bien entendu plus complexe : dans de nombreux cas, la motivation n’est pas donnée, à moins que l’une des parties ne fasse appel. Ce qui n’est pas sans faire penser à Manguel (2020), « Alice sait d’instinct que la logique est pour nous le moyen de donner du sens à ce qui n’en a pas et à en découvrir les règles secrètes, et elle l’applique impitoyablement, même chez ses ainés et supérieurs, qu’elle se trouve face à la Duchesse ou le Chapelier fou. Et quand les arguments s’avèrent inopérants, elle insiste pour, à tout le moins, rendre évidente l’absurdité de la situation. Quand la Reine de cœur exige que la cour rende “la condamnation d’abord… et le jugement ensuite”, Alice répond très justement : “Mais c’est de la bêtise !” C’est bien la seule réponse que méritent la plupart des absurdités dans notre monde. »

Assurance et discrimination, quel rôle pour les actuaires ?

Le rôle essentiel d’un actuaire en charge de la tarification est la segmentation du portefeuille (ou « insurance classification » en anglais), correspondant à une activité de discrimination (mathématiquement parlant) au sens où l’actuaire va chercher les variables les plus « discriminantes », pour en expliquer une autre (en lien avec la sinistralité). Mais au sens juridique, discriminer, c’est interdit par la loi, ce qui place l’actuaire dans une position souvent délicate et complexe.

Continue reading Assurance et discrimination, quel rôle pour les actuaires ?

A new GEE method to account for heteroscedasticity using asymmetric least-square regressions

Our paper, with Amadou Barry and Karim Oualkacha, a new GEE method to account for heteroscedasticity using asymmetric least-square regressions is now published in the Journal of Applied Statistics

Generalized estimating equations (GEE) are widely used to analyze longitudinal data; however, they are not appropriate for heteroscedastic data, because they only estimate regressor effects on the mean response – and therefore do not account for data heterogeneity. Here, we combine the GEE with the asymmetric least squares (expectile) regression to derive a new class of estimators, which we call generalized expectile estimating equations (GEEE). The GEEE model estimates regressor effects on the expectiles of the response distribution, which provides a detailed view of regressor effects on the entire response distribution. In addition to capturing data heteroscedasticity, the GEEE extends the various working correlation structures to account for within-subject dependence. We derive the asymptotic properties of the GEEE estimators and propose a robust estimator of its covariance matrix for inference (see our R package, github.com/AmBarry/expectgee). Our simulations show that the GEEE estimator is non-biased and efficient, and our real data analysis shows it captures heteroscedasticity.

Predicting Drought and Subsidence Risks in France

New paper with Molly James and Hani Ali, now available on https://arxiv.org/abs/2107.07668

The economic consequences of drought episodes are increasingly important, although they are often difficult to apprehend in part because of the complexity of the underlying mechanisms. In this article, we will study one of the consequences of drought, namely the risk of subsidence (or more specifically clay shrinkage induced subsidence), for which insurance has been mandatory in France for several decades. Using data obtained from several insurers, representing about a quarter of the household insurance market, over the past twenty years, we propose some statistical models to predict the frequency but also the intensity of these droughts, for insurers, showing that climate change will have probably major economic consequences on this risk. But even if we use more advanced models than standard regression-type models (here random forests to capture non linearity and cross effects), it is still difficult to predict the economic cost of subsidence claims, even if all geophysical and climatic information is available.

Collaborative Insurance Sustainability and Network Structure

Our joint paper, with Lariosse Kouakou, Matthias Löwe, Philipp Ratz and Franck Vermet, entitled “Collaborative Insurance Sustainability and Network Structure” is now available on Arxiv,

The peer-to-peer (P2P) economy has been growing with the advent of the internet, with well known brands such as Uber or Airbnb being examples thereof. In the insurance sector the approach is still in its infancy, but some companies have started to explore P2P-based collaborative insurance products (eg. Lemonade in the U.S. or Inspeer in France). The actuarial literature only recently started to consider those risk sharing mechanisms, as in Denuit and Robert (2020) or Feng et al. (2021). In this paper, describe and analyse such a P2P product, with some reciprocal risk sharing contracts. Here, we consider the case where policyholders still have an insurance contract, but the first self-insurance layer, below the deductible, can be shared with friends. We study the impact of the shape of the network (through the distribution of degrees) on the risk reduction. We consider also some optimal setting of the reciprocal commitments, and discuss the introduction of contracts with friends of friends to mitigate some possible drawbacks of having people without enough connections to exchange risks.

Insurance against Natural Catastrophes: Balancing Actuarial Fairness and Social Solidarity

Our research paper, Insurance against Natural Catastrophes: Balancing Actuarial Fairness and Social Solidarity, with Molly James and Laurence Barry, is now published in the Geneva Papers on Risk and Insurance.

Natural disasters offer a special case for the study of private and public insurance mix. Indeed, the experience accumulated over the past decades has made it possible to transform poorly known hazards, long considered uninsurable, into risks that can be assessed with some precision. They exemplify however the limits of the risk-based premiums method, as it might imply unaffordability for some. The French scheme reflects such ideas and offers a wide coverage for moderate premiums to all, but is shaken by climate change: we show that some wealthier areas, that were not perceived as “at risk” in the past, have become exposed to submersion risk in the future. This singularly makes some well-off properties the potential main beneficiaries of a scheme that was historically thought to protect the worst-off. Acknowledging that some segmentation might become desirable, we examine several models for flood risk and the disparity in premiums they entail.

Reinforcement Learning in Economics and Finance, a state-of-the-art

Our joint paper, with Romuald Elie and Carl Remlinger entitled Reinforcement Learning in Economics and Finance just appeared in Computational Economics,

Reinforcement learning algorithms describe how an agent can learn an optimal action policy in a sequential decision process, through repeated experience. In a given environment, the agent policy provides him some running and terminal rewards. As in online learning, the agent learns sequentially. As in multi-armed bandit problems, when an agent picks an action, he can not infer ex-post the rewards induced by other action choices. In reinforcement learning, his actions have consequences: they influence not only rewards, but also future states of the world. The goal of reinforcement learning is to find an optimal policy — a mapping from the states of the world to the set of actions, in order to maximize cumulative reward, which is a long term strategy. Exploring might be sub-optimal on a short-term horizon but could lead to optimal long-term ones. Many problems of optimal control, popular in economics for more than forty years, can be expressed in the reinforcement learning framework, and recent advances in computational science, provided in particular by deep learning algorithms, can be used by economists in order to solve complex behavioral problems. In this article, we propose a state-of-the-art of reinforcement learning techniques, and present applications in economics, game theory, operation research and finance.

Big data, the tech giants, and insurance

A few months ago, I published a short article, Big data, the tech giants, and insurance, in the Annales de Mines. The original article was in French, but the Editors shared an English version,

Technology and insurance companies seem like polar opposites in every possible way. The tech giants, agile and fast-acting, are obsessed with the future, whereas insurers, conservative and reflexive, are fascinated with the data that the tech giants collect. However these two sectors are now eyeing each other and have started forming partnerships as they come to understand that, in both cases, their core business is data.

to be continued…

Principal Component Analysis: A Generalized Gini Approach

Our paper, with Stéphane Mussard and Téa Ouraga, entitle Principal Component Analysis: A Generalized Gini Approach is finally out in the European Journal of Operations Research.

A principal component analysis based on the generalized Gini correlation index is proposed (Gini PCA). The Gini PCA generalizes the standard PCA based on the variance. It is shown, in the Gaussian case, that the standard PCA is equivalent to the Gini PCA. It is also proven that the dimensionality reduction based on the generalized Gini correlation matrix, that relies on city-block distances, is robust to outliers. Monte Carlo simulations and an application on cars data (with outliers) show the robustness of the Gini PCA and provide different interpretations of the results compared with the variance PCA.

Les conséquences de la loi de Goodhart

Comme l’a énoncé Marilyn Strathern, la loi de Goodhart dit que « lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure ». Les applications économiques sont nombreuses, mais cette loi permet aussi de comprendre les dangers des décisions algorithmiques, ou d’expliquer la difficulté à utiliser les données disponibles depuis le début de la pandémie de SARS-CoV-2 COVID-19.

La loi de Goodhart, l’évaluation des  politiques publiques et Facebook

« Lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure » est la formulation la plus simple de la loi de Goodhart. Certains parlent aussi de loi de Campbell[i], Donald Campbell ayant affirmé « the more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor ». Cette corruption des métriques, ou des statistiques, a été observée dans de nombreux domaines, en particulier en santé, en matière de justice, ou en éducation.

Les budgets de certaines écoles étaient directement fonction des résultats obtenus à certains tests. On comprend que les enseignants sont fortement incités à commencer à préparer à l’examen au lieu d’enseigner de manière généraliste, voire à retirer discrètement certains enfants qui risqueraient d’échouer, comme le raconte Strauss (2015). En fixant le taux de réussite comme un objectif à maximiser, cette mesure ne signifie plus rien car elle a induit des comportements incitatifs qui ne reflètent plus la qualité de la formation. . Ce reproche peut également être fait à de nombreuses associations actuarielles à travers le monde, qui ont mis en place des ‘examens professionnels’, que peuvent passer les étudiants ayant eu une formation en actuariat. De nombreuses formations universitaires ont alors délaissé un enseignement généraliste pour offrir, à la place, des préparations à ces examens. Les examens ne sont plus une ‘mesure’ des connaissances des étudiants, ces derniers ayant de plus en plus de mal à sortir du cadre très scolaire des exercices très formatés.

Dans le domaine de la santé, aux États-Unis, Poku (2015) note qu’à partir de 2012, en vertu de la loi ‘Affordable Care Act’, Medicare a commencé à imposer des sanctions financières aux hôpitaux présentant des taux de réadmission de 30 jours « plus élevés que prévu ». Dès lors, le taux moyen de réadmission à l’hôpital dans les 30 jours pour les bénéficiaires de l’assurance fee-for-service a diminué. Est-ce dû à une amélioration des efforts de transition et de coordination des soins menées par les hôpitaux, ou bien faut-il relier cette baisse à une hausse des séjours « en observation » pendant la même période ? Car bien souvent, fixer un objectif sur la base d’une mesure précise (ici le taux de réadmission de 30 jours) rend cette grandeur totalement inutilisable pour quantifier le risque de retomber malade, mais a aussi une influence directe sur d’autres grandeurs (ici le nombre de séjours « en observation »), qu’il devient alors difficile de suivre sur la durée.

Sur internet, on demande de plus en plus à des algorithmes de trier du contenu, de juger le caractère diffamatoire ou raciste des tweets, de voir si une vidéo relève du deepfake, de mettre un score de fiabilité d’un compte Facebook, etc. Et nombreux sont ceux qui voudraient savoir comment ces scores sont créés. Malheureusement, comme le notait Dwoskin (2018) « not knowing how [Facebook is] judging us is what makes us uncomfortable. But the irony is that they can’t tell us how they are judging us — because if they do, the algorithms that they built will be gamed »[ii], exactement comme le suppose la loi de Goodhart.

La critique de Lucas et le thermostat de Friedman

Au début des années 1970, Robert Lucas expliquait que les décideurs économiques devaient éviter de se baser « naïvement » sur des statistiques passées pour prédire le comportement futur des agents, « given that the structure of an econometric model consists of optimal decision rules of economic agents, and that optimal decision rules vary systematically with changes in the structure of series relevant to the decision maker, it follows that any change in policy will systematically alter the structure of econometric models »[iii]. L’idée sous-jacente était simplement que les agents s’adaptent aux signaux qu’ils reçoivent.

Comme le dira Charles Goodhart quelques années plus tard « as the statistical relationships derived from the past depended on the particular kind of policy aim pursued by the authorities over the period considered, there would be no guarantee of their exact continuation in the future, should that policy be altered ». Ou formulé autrement, toute relation statistique observée (on pourra penser à une corrélation forte entre deux variables) aura tendance à disparaître une fois qu’une pression est exercée sur elle à des fins de contrôle. En fait, Charles Goodhart va plus loin que Robert Lucas dans Goodhart (1975), laissant entendre que dans de nombreux cas, les agents vont modifier leur comportement à leur avantage, même si cela se fait au détriment d’un éventuel bien-être collectif (on pourra repenser aux exemples de l’éducation, ou de la santé). Cette loi a été élaborée après avoir observé comment le gouvernement de Margaret Thatcher, dans les années 1980, a ciblé l’offre de monnaie pour contrôler l’inflation, mais a ensuite constaté que les agrégats monétaires avaient perdu leur relation précédemment forte avec l’inflation. L’inflation a échappé à tout contrôle, même lorsque le gouvernement exerçait une pression forte sur la masse monétaire.

Friedman (2003) avait utilisé l’analogie du thermostat pour expliquer le problème : la banque centrale est le thermostat de l’économie. Le décideur dispose d’une information ( ) lui permettant d’agir sur une variable de contrôle ( ), pour s’assurer qu’une variable ( ) soit proche de la valeur cible ( ). Et les erreurs de prévision ( ) se doivent d’être décorrélées de l’information  et du contrôle , si les anticipations sont rationnelles, ce qui peut sembler paradoxal. Pour reprendre l’image de Farrell (2012), imaginons un conducteur qui circule en voiture sur une route très vallonnée, à vitesse constante. Avec des hauts et des bas, cela signifie que le conducteur dose parfaitement ses accélérations et ses freins pour contrôler la vitesse. Pourtant, vu de loin, on serait tenté de dire que le niveau d’accélération n’a aucun impact sur la vitesse, et que si on faisait une régression de la vitesse sur l’accélération de la voiture, la corrélation entre les deux serait nulle, autrement dit, ici, accélérer et décélérer n’a aucune influence sur la vitesse…

Au-delà du contrôle

Le problème évoqué par la loi de Goodhart se retrouve aussi en modélisation statistique, et en apprentissage machine. Dans ce dernier cas, la fonction objectif que l’on optimise est en lien avec le problème que l’on cherche à résoudre : dans les algorithmes prédictifs de régression, on va comparer la prévision avec la réalisation, et pourra prendre la somme des carrés des erreurs ; pour un problème de classification ou de labellisation (fraude/pas fraude), on comptera le nombre d’erreur de classification (avec des fonctions de coût potentiellement différentes si les deux types d’erreurs ont des impacts différents). Mais bien souvent, on ne cherche pas un modèle parfait, sans erreur, on veut un modèle qui prédira bien sur des nouvelles données ! Aussi, on va éviter de juger des qualités prédictives d’un modèle sur les données qui ont été utilisées pour construire le modèle. On va alors utiliser une partie des données pour construire le modèle, et une autre pour juger de son pouvoir prédictif, et voir à partir de quel moment le modèle commence à modéliser du bruit, au lieu de chercher un lien fort entre les variables explicatives, et la variable d’intérêt. Cette approche, généralisée avec la notion de « validation croisée », permet de séparer l’objectif de la mesure.

En programmation dynamique, la loi de Goodhart est également bien connue (même si c’est parfois avec un autre nom). Dans les systèmes dynamiques, l’agent s’intéresse à une grandeur (x_t), par exemple un stock de biens qu’il vendra, et cherchera à maximiser une fonction de la forme f(x_1,x_2,\cdots,x_T), à partir d’une valeur initiale donnée, x_0, par exemple la somme (escomptée ou non) de tous les x_t, ou bien peut être uniquement la valeur terminale x_T. La dynamique de (x_t) dépend d’une variable de contrôle, (u_t), que l’agent peut choisir, en sachant que x_{t+1} dépendra directement de u_t, et éventuellement d’autres grandeurs, comme x_t. Bellman (1957) a posé les bases mathématiques de la résolution de ce genre de problème, que l’on retrouve généralisés que l’on retrouve dans l’apprentissage par renforcement[iv], où l’agent devra explorer, tenter différents contrôles, afin d’apprendre la manière dont u_t  va influencer x_{t+1}. Un exemple récent pourrait être le contrôle d’une pandémie, où x_t serait le nombre de personne infectées, ou le nombre de décès, et u_t est un levier de contrôle, comme le nombre de tests proposés, ou le nombre de personnes autorisés à aller travailler. Naturellement, si x_t mesure le nombre de personnes testées positives à la date t, une variable de contrôle permettant de faire baisser facilement x_t est le nombre de tests effectués, mais cela ne va en rien ralentir la propagation de l’épidémie (ce qui semble l’objectif naturel). En réalité, comme le notait l’immunologue Anthony Fauci, directeur depuis 1984 de l’Institut National des Allergies et Maladies Infectieuses aux États-Unis, « if it looks like you’re overreacting, your’re probably doing the right thing » (cité dans Budryk (2020)), compte tenu des effets de rétroaction.

De l’overdose de quantification et la maîtrise des métriques

Avant de revenir sur la pandémie de 2020, notons que les métriques sont souvent introduites dans un souci de transparence, de semblant d’exigence démocratique, comme la traduction ou l’expression concrète d’un objectif collectif, mais aussi souvent individuel. Mais toute métrique, toute statistique, cache souvent une réalité bien plus complexe. L’exemple des statistiques du chômage a probablement été un des plus étudiés, comme le montre Desrosières (2008). La série statistique conjoncturelle du chômage, publiée par l’INSEE, était très attendue par les responsables politiques et par la presse, au point de devenir l’objectif affiché de plusieurs gouvernements : « faire baisser les chiffres du chômage », comme le rappelle Errard (2015) par exemple. En voulant donner l’illusion de contrôler (et de faire baisser) le chômage, la pression a été mise pour que les conseillers de Pôle Emploi pour augmenter les radiations, pour proposer des formules pour les jeunes, pour encourager à prendre deux mi-temps plutôt qu’un temps plein. Une fois compris comment la métrique cible était calculée, il était alors facile de la faire baisser artificiellement. Comme l’écrivait Desrosières (2000), « les indicateurs quantitatifs rétroagissent sur les acteurs quantifiés », comme on l’évoquait dans la formalisation mathématique du contrôle optimal dynamique. Mais plus que l’économiste (ou l’économètre) Charles Goodhart, c’est surtout Donald Campbell, qui a cherché à comprendre la manière dont les métriques faussent le comportement, et amènent les participants à les exploiter. Et récemment, Bruno & Didier (2013), ou Muller (2018) montrent comment éviter que la loi de Goodhart ne s’applique.

Car comme le notait déjà Charles Goodhart, il arrive que l’optimisation explicite d’un système utilisant une métrique rende finalement la métrique inutilisable, car au final plus du tout corrélée avec l’objectif. C’est le cas de bon nombre de système de punitions et de récompenses, qui visent à créer des incitations. On peut penser à l’assiduité en classe, par exemple, ou des absences sont punies afin d’inciter les élèves à travailler. En mettant en place de telles mesures, la fréquentation en classe augmente, mais les élèves ne travaillent pas pour autant. Et ceci même si une relation causale existe, entre la mesure et l’objectif, et pas une simple corrélation. Comme dans l’exemple de Facebook, garder une métrique secrète est une solution facile, une autre étant d’utiliser plusieurs métriques.

La loi de Goodhart et la crise sanitaire actuelle

Un des objectifs, régulièrement martelé depuis mars 2020, est qu’il ne faut pas saturer les systèmes de santés, dans tous les pays, le fameux « flatten the curve », évoqué par Ferguson et al. (2020). Il semblait essentiel de garantir, à tout prix, que les hôpitaux ne soient pas débordés. Au printemps 2020, les chaînes télévisées d’information donnaient, en temps continu, le nombre de personnes en soin intensifs, et le nombre de morts dans les hôpitaux, mesures que l’on retrouvera ensuite sous forme de graphiques, mis à jour toutes les semaines, voire tous les soirs, sur des sites internet dédiés. En cette période de crise, au plus fort de la saturation des hôpitaux, le N.H.S. en Angleterre avait demandé à chaque hôpital d’estimer ses capacités de lits, afin de réallouer les ressources globalement. Annoncer que peu de lits étaient disponibles était la meilleure stratégie pour obtenir davantage de financement. On peut alors s’interroger sur le niveau de saturation réelle du système, chaque hôpital ayant compris la règle, et manipulant la mesure à sa guise. Et tout aussi préoccupant, alors que les gouvernements se concentraient sur les hôpitaux (fournissant les données officielles utilisées pour construire la plupart des indicateurs), les maisons de retraites ont connu des hécatombes désastreuses, qui ont mis beaucoup de temps à être quantifiées. Giles (2020) raconte qu’en Angleterre, certains médecins auraient demandé à leurs patients âgés de réfléchir sérieusement à la question de savoir s’ils voulaient vraiment aller à l’hôpital, et utiliser les services d’urgence, au risque de passer plusieurs semaines isolés, coupés de leur famille.

Les statistiques sur le nombre de personnes (officiellement) positives n’ont cessé de dérouter les statisticiens, car aisément manipulables. On a tous en mémoire les déclarations de Donald Trump au début de l’été 2020, repris par exemple par Sheth (2020), qui affirmait que pour faire baisser le nombre de personnes ‘positives’ il suffisait de tester moins. Au début de la pandémie, un objectif clairement énoncé était de détecter les positifs asymptomatiques, et donc un ciblage des tests s’imposait. Le taux de positif était alors le signe que le ciblage des tests fonctionnait. En revanche, pour suivre l’évolution de la pandémie, il était indispensable d’effectuer les tests de manière aussi aléatoire que possible.

La crise engendrée par la pandémie SARS-CoV-2 COVID-19, avec sa quantification à outrance, avec ses statistiques mises à jour en temps réel, nous a rappelé les dangers de la loi de Goodhart. Comme le notait Laroussie (2021), le flot de statistiques a aussi permis à bon nombre d’entre nous de tenter l’exercice, d’essayer de prévoir l’évolution future des courbes, mais aussi de s’interroger sur la fiabilité des données, et de leur construction. Suivre le nombre de personnes supposées positives sans comprendre qui était testé, avec quel type de test, n’avait alors aucun sens. La dynamique des courbes était alors elle-même impactée par une boucle de rétroaction, découlant de décisions de décideurs politiques, qui avaient décidé de tester moins de personnes âgées lorsqu’il a fallu reprendre le chemin du travail, par exemple. Comment prendre des décisions avisées de matière de politique publique dans ces conditions ? C’est finalement la question profonde que pose la loi de Goodhart, nous rappelant aussi que les décideurs doivent apprendre à faire la différence entre l’esprit de la loi et la lettre de la loi – les routes de l’enfer étant pavées de bonnes intention – en gardant un esprit de mesure.

Références

Bellman, R. (1957). Dynamic Programming. Princeton University Press.

Bruno, I. & Didier, E. (2013). Benchmarking. L’État sous pression statistique. Paris, La Découverte.

Budryk, Z. (2020). ‘If it looks like you’re overreacting, you’re probably doing the right thing‘ The Hill, 15 mars 2020.

Campbell, D. T. (1975) Assessing the impact of planned social change. In G. M. Lyons

(ed.), Social Research and Public Policies: The Dartmouth/OECD Conference (pp. 3–45). Hanover, NH: Public Affairs Center

Charpentier, A., Elie, R. & Remlinger, C. (2020). Reinforcement Learning in Economics and Finance. arXiv:2003.10014

Daston, L. (2010). Why statistics tend not only to describe the world but to change it. The London Review of Books, 22:8.

Desrosières, A. (2000). La Politique des grands nombres : Histoire de la raison statistique. La Découverte.

Desrosières, A. (2008). Gouverner par les nombres. Presses de l’École des Mines.

Dwoskin, E. (2018). Facebook is rating the trustworthiness of its users on a scale from zero to one. Washington Post, 21 aout 2018,

Errard, G. (2015). Le contrôle des chômeurs peut-il faire baisser le chômage ?. Le Figaro, 26 août 2015,

Farrell, H. (2012). Milton Friedman’s Thermostat. Monkey Cage, 31 juillet 2012.

Ferguson, N. et al. (2020). Impact of non-pharmaceutical interventions to reduce covid-19 mortality and healthcare demand. Imperial College COVID-19 Response Team 9.

Friedman, M. (2003). The Fed’s Thermostat. The Wall Street Journal, 19 août 2003.

Giles, C. (2020). Goodhart’s law comes back to haunt the UK’s Covid strategy. Financial Times, 14 mai 2020,

Goodhart, C.A.E. (1975) Problems of monetary management: The UK experience. Papers in Monetary Economics, Volume I. Sydney: Reserve Bank of Australia.

Laroussie, D. (2021). Covid-19 : ces modélisateurs qui anticipent la pandémie. Le Monde, 5 janvier 2021,

Muller, J. Z. (2018). The tyranny of metrics. Princeton University Press.

Rodamar, J. (2018) There ought to be a law! Campbell versus Goodhart. Significance, 15:6.

Sheth, S. (2020). Trump says that ‘if we stop testing right now, we’d have very few cases’ of the coronavirus. Business Insider, 15 juin 2020

Strauss, V. (2015). How and why convicted Atlanta teachers cheated on standardized tests. The Washington Post, 1 avril 2015,

[i] Rodamar (2018) revient sur la comparaison entre les deux publications, Goodhart (1975) et Campbell (1975), qui énoncent le même principe, dans des contextes très différents.

[ii] « ne pas savoir comment [Facebook] nous juge, c’est ce qui nous met mal à l’aise. Mais l’ironie est qu’ils ne peuvent pas nous dire comment ils nous jugent – parce que s’ils le font, les algorithmes qu’ils ont construits seront alors manipulés » (traduction de l’auteur)

[iii] « étant donné que la structure d’un modèle économétrique consiste en des règles de décision optimales des agents économiques, et que les règles de décision optimales varient systématiquement en fonction des changements dans la structure des séries pertinentes pour le décideur, il s’ensuit que tout changement de politique modifiera systématiquement la structure des modèles économétriques » (traduction de l’auteur).

[iv] Ou reinforcement learning, comme décrit dans Charpentier et al.  (2020).

Big data, the tech giants, and insurance

Since 2010, the tech giants—particularly the “3As” (Amazon, Apple, and Alphabet [Google’s parent company])—have begun to expand their horizons in pursuit of new business opportunities. From retail to the automotive sector, these companies have learned to use the colossal competitive advantages built on data analysis, user relationships, and the skills of innovative computer engineers to bring about a profound transformation of certain markets. It was only a matter of time before they began to turn their thoughts to insurance and take their first steps in that world. Here, we will be looking at the specific cases of health, motoring, and home insurance, demonstrating how new partnerships are striving to come up with innovative solutions. We will also be exploring the consequences of these changes, which invite us to reevaluate the role of data, now once again at the core of the insurance profession. Finally, we will consider whether this innovation could in fact be seen as a return to the roots of the very concept of insurance: the pooling and distribution of risk… (to be continued on cairn-int.info)