# Talk at Sherbrooke University on bias and (well) calibration

This Tuesday, I will be at Sherbrooke University to give a talk at the statistics seminar, on autocalibration. According to the Handbook of Statistical Methods,

Accuracy is a qualitative term referring to whether there is agreement between a measurement made on an object and its true (target or reference) value. Bias is a quantitative term describing the difference between the average of measurements made on the same object and its true value

As mentioned on scikit learn‘s page,

Well calibrated classifiers are probabilistic classifiers for which the output can be directly interpreted as a confidence level. For instance, a well calibrated (binary) classifier should classify the samples such that among the samples to which it gave a [predicted probability] value close to 0.8, approximately 80% actually belong to the positive class.

We can find that idea in Dawid (1982),

Suppose that a forecaster sequentially assigns probabilities to events. He is well calibrated if, for example, of those events to which he assigns a probability 30 percent, the long-run proportion that actually occurs turns out to be 30 percent

and, with the same words, in Nate Silver’s The signal and the noise

Out of all the times you said there was a 40 percent chance of rain, how often did rain actually occur? If, over the long run, it really did rain about 40 percent of the time, that means your forecasts were well calibrated

Or according to Kuhn & Johnson (2013)

we desire that the estimated class probabilities are reflective of the true underlying probability of the sample

Finally, Kruger & Ziegel (2020) gave the definition of autocalibration

the forecast $X$ of $Y$ is an auto-calibrated forecast of $Y$  if $\mathbb{E}(Y|X)=X$ almost surely,

With my notations, it means that $\mathbb{E}(Y|\widehat{Y}=y)=y$ , $\forall y$. See also Van Calster et al. (2019) for a discussion.

Of course, we will get back to what models are, starting with a (generalized) linear model

the extention of additive models with splines

Then, we can consider neural nets

Finally, consider ensemble methods, such as bagging

and boosting

# Week in France

I am flying to France tonight, to give some talks. On Monday, it will be at the Panorisk conference (slides are available). On Wednesday, it will be for the 30 years of the Institut Universitaire de France, on business interruption (slides are available). Finally, on Friday, I will be at the workshop on algorithms and discrimination (slides are available).

# Le mythe de l’interprétabilité et de l’explicabilité des modèles

Rubinstein (2012) affirmait que « dans la théorie économique, comme dans Harry Potter, les habits neufs de l’empereur ou les contes du roi Salomon, nous nous amusons dans des mondes imaginaires. La théorie économique invente des contes et les appelle des modèles. Un modèle économique se situe également entre la fantaisie et la réalité (…) Le mot “modèle” semble plus scientifique que le mot “fable” ou “conte”, mais je pense que nous parlons de la même chose ». Aujourd’hui, bien souvent, les modèles d’apprentissage vont construire un modèle, sur la base de données d’apprentissage, et le travail de l’actuaire sera de lui donner sens, de trouver l’histoire – la fable – qu’il est possible de raconter.

# Expliquer un modèle ?

Le rapport Villani (2018) mentionnait l’importance de l’explicabilité des algorithmes d’ap­prentissage automatique, reprenant ainsi un néologisme, correspondant à une exigence que l’on observe depuis un demi-siècle dans les systèmes complexes.  Dans les années 80, comme le rappelle Swartout et al. (1991), la Strategic Computing Initiative du département de la défense américaine, lançait l’acronyme EES (Explainable Expert Systems), l’adjectif « explainable » donnant le nom « explainability ». Plus récemment, en 2016, le règlement général sur la protection des données (RGPD) imposait l’obligation de fournir « des informations utiles concernant la logique sous-jacente » de toute décision automatique. À peu près à la même époque, la loi « Lemaire » imposait à l’administration l’obligation de communiquer à l’individu les « règles définissant tout traitement [automatique] et les principales caractéristiques de sa mise en œuvre ». En 2018, la “Convention 108” (ou convention pour la protection des personnes à l’égard du traitement automatisé des données à caractère personnel), conférait aux personnes le droit d’obtenir connaissance « du raisonnement qui sous-tend le traitement » automatique. Si les termes d’interprétabilité et d’explicabilité ne sont pas mentionnés, on y retrouve clairement l’idée (à laquelle sera rapidement associée les concepts de transparence, d’« auditabilité » ou de responsabilité des algorithmes).

Récemment, Miller (2019) a tenté une définition de cette « explicabilité ». Comme il le souligne, définir le terme « explication » a mobilisé bon nombre de philosophes, et tous semblent souligner l’importance de la causalité dans l’explication, c’est-à-dire qu’une explication se réfère forcément à des causes. Toutes sortes de termes semblent être utilisés, pour décrire cette idée, que ce soit « interprétation » ou « justification ».  Bien souvent, l’explication est donc un mode par lequel un observateur peut obtenir la compréhension. Une justification explique pourquoi une décision est bonne, mais ne vise pas nécessairement à donner une explication du processus décisionnel.

# Le besoin d’explication, ou de confiance

« Et pourquoi…? » demandent presque sans fin les jeunes enfants[i]. Il existe de nombreuses raisons pour lesquelles les gens peuvent demander des explications. La curiosité est l’une des principales motivations, mais des arguments plus pragmatiques peuvent être invoqués. Pour illustrer le besoin (naturel) que nous avons d’explications, Johnston (2021) donne l’exemple simple d’une visite chez le garagiste : ma voiture est en panne, je l’amène chez le garagiste, qui la répare et me demande 900 euros. Mais, avant de remettre l’argent, je demande ce qui ne va pas et il explique que la soupape d’entrée du convertisseur catalytique était bloquée, ce qui entraînait l’usure des roulements du moteur de l’injecteur et permettait à la poussière de pénétrer dans la soupape de décharge, ce qui pouvait obstruer l’embout du tuyau de sortie, et donc, il a remplacé les roulements et mis un nouveau tuyau. Ce charabia technique a été inventé, mais le fait est que, bien souvent, l’explication n’était pas vraiment utile, car on n’a qu’une connaissance (très) limitée du fonctionnement des voitures. Ce qui a été utile, c’est que le mécanicien a réellement réparé la voiture. Et si on va plus loin, ces explications ont un pouvoir réconfortant : on se sent en confiance si l’explication semble pertinente (comme le rappelle Kästner et al. 2021). Et si la réparation fonctionne, je n’ai pas envie forcément d’en savoir davantage. En revanche, si le problème persiste, je veux comprendre. C’est bien souvent l’analyse des erreurs qui est importante. En 2017, lors d’un des premiers débats à la conférence NeurIPS à évoquer l’équité algorithmique, il avait été souligné que « if we wish to make AI systems deployed on self-driving cars safe, straightforward black-box models will not suffice, as we need methods of understanding their rare but costly mistakes ». Lors de cette conférence, Yann LeCun soulignait que lorsqu’on leur présentait deux modèles à des usagers (l’un extrêmement explicable et précis à 90%, l’autre se comportant comme une boîte noire mais avec une précision supérieure de 99%), ils choisissaient toujours le plus précis. Autrement dit « people don’t really care about interpretability but just want some sort of reassurances from the working model ». Dit autrement, l’interprétabilité n’est pas importante si vous on est convaincu que le modèle fonctionne bien, dans les conditions dans lesquelles il est censé fonctionner. N’est-ce pas ce qui se passe quand je monte dans un avion, ou que je subis une opération chirurgicale ?

# La justice comme exemple à suivre ?

Il y presque un siècle, Ernest Burgess commençait à suivre une cohorte de 3000 condamnés, libérés sous condition, et il parvint à identifier vingt-deux paramètres permettant de distinguer ceux qui réussiraient leur probation et ceux qui échoueraient. Dans les années 1950, les époux Glueck et d’autres chercheurs ont poursuivi son analyse, multipliant les études consacrées aux facteurs de récidive pour construire de multiples échelles de prédiction des risques. Ces instruments s’appuient sur des méthodes statistiques inspirées des pratiques assurantielles, afin de déterminer les niveaux de risque associés à un groupe de délinquants présentant des caractéristiques communes, et, sur la base de ces corrélations, de prédire le comportement criminel futur d’un individu spécifique, comme le raconte Harcourt (2008). Cette « justice actuarielle » va permettre le développement d’outils d’aide à la décision, permettant aux juges d’avoir des scores de récidive ou de dangerosité. Mais ces outils ne sont qu’une aide, et les juges se doivent ensuite de motiver leur décision, de fournir une explication.

Car en matière judiciaire, l’individualisation de la peine constitue l’un des principes fondamentaux du droit pénal français, comme le soulignait Saleilles (1897). Pour Dadoun (2018), pour que les exigences d’un procès équitable soient respectées, « l’accusé doit être à même de comprendre le verdict qui a été rendu ». Cette motivation des jugements et arrêts, peut-être démonstrative, narrative ou péremptoire, comme le montre Cottin et al. (2020). Dans la majorité des cas, la motivation est une explication de la décision, sauf la motivation péremptoire qui relève plus de l’affirmation que de l’explication[ii]. La version narrative contient une explication du contexte de l’infraction, il s’agit de raconter l’histoire. C’est probablement l’approche qui s’apparente le plus à ce que nous avons en tête quand on demande une explication[iii]. La justice peut-être servir d’exemple pour comprendre ce que devrait être l’explicabilité ?

En justice, la motivation se base sur des faits, et des avis d’experts. Comme le souligne Coche (2011), « pour apprécier la dangerosité des personnes poursuivies ou condamnées, le législateur multiplie le recours aux expertises. Cependant, les expertises de dangerosité, non seulement ne sont pas fiables, mais elles ne peuvent pas le devenir. Elles créent donc l’illusion, sans cesse déçue, d’une appréciation qui serait scientifique de la dangerosité ». Cette évaluation par les experts est appelée « évaluation clinique », et comme le note Dubourg & Gautron (2015), des centaines d’études considèrent que, dans le contexte d’évaluer un risque de récidive, ces évaluations cliniques non structurées présentent des estimations proches du hasard, historiquement aux États-Unis, reprochant aux cliniciens une surévaluation des risques de récidive. La même critique est faite en France, où « l’utilisation de concepts psychanalytiques demeure prédominante tant en psychiatrie générale que dans le contexte des expertises. Or, ces concepts ne possèdent aucun lien théorique avec les comportements délictuels à prédire. Ainsi, la méthode basée sur un jugement clinique non structuré est une évaluation subjective, non validée scientifiquement, et fondée sur des corrélations intuitives…. Il n’est donc plus question de tenter de comprendre ou d’expliquer ». Dans la majorité des expertises, la base scientifique de l’explication est qu’il n’y a pas de fumée sans feu.  Dubourg & Gautron (2015) montre que l’hypothèse d’une dangerosité et/ou d’un risque de récidive est très souvent validée, 75% des condamnés se voyant attribuer un pronostic défavorable par au moins un expert au fil du processus. Delacrausaz & Gasser (2012) observe que l’expert se contente « d’extraire tel ou tel élément d’observation pour en déduire toutes sortes de raisonnements, sans expliquer ni les motivations de ses choix, ni les fondements théoriques sur lesquels il les base ». Et bien souvent, à partir des mêmes éléments factuels présents dans le dossier, l’avocat de la défense et le procureur vont avoir deux explications radicalement différentes.

# Les deux cultures

Le monde de la justice, avec des juges, des procureurs, des avocats qui sont très majoritairement, en France en tous cas, des femmes et des hommes « de lettres », est très loin de la culture statistique des données. À la fin des années 50, le baron Charles Percy Snow affirmait que la vie intellectuelle de la société occidentale se divise essentiellement en deux cultures distinctes, celle des sciences et celle des humanités, et que la culture partagée tend à disparaître. Le monde des chiffres et le monde des récits.

Glenn (2000) reprenait cette idée en expliquant que, le processus de sélection des risques d’un assureur avait deux visages (comme le dieu romain Janus) : celui qui est présenté aux régulateurs et aux assurés, et l’autre qui est présenté aux souscripteurs. Il y a d’un côté le visage des chiffres, des statistiques et de l’objectivité. De l’autre, il y a le visage des récits, du caractère et du jugement subjectif. Paul Meehl en 1954, parlait de « mechanical prediction » pour décrire les modèles actuariels. La rhétorique de l’exclusion de l’assurance (basée sur des chiffres objectifs), par exemple, forme ce que Brian Glenn appelle « le mythe de l’actuaire », à savoir « une situation rhétorique puissante dans laquelle les décisions semblent être fondées sur des critères déterminés objectivement alors qu’elles sont aussi largement fondées sur des critères subjectifs ».  Glenn (2003) allait plus loin, affirmant que « les assureurs peuvent évaluer les risques de nombreuses façons différentes en fonction des histoires qu’ils racontent sur les caractéristiques qui sont importantes et celles qui ne le sont pas (…) Le fait que la sélection des facteurs de risque soit subjective et dépendante des récits de risque et de responsabilité a joué dans le passé un rôle bien plus important que le fait que quelqu’un avec un poêle à bois se voit facturer des primes plus élevées (…) Pratiquement tous les aspects de l’industrie de l’assurance sont fondés sur des histoires d’abord et sur des chiffres ensuite ». Cette important de la narration se retrouve dans la fameuse phrase de George Box « all models are wrong but some models are useful ». Autrement dit, les modèles sont, au mieux, une fiction intéressante.

# L’apprentissage machine et les boîtes noires

Mais il ne faut pas se tromper sur ce qu’on cherche à expliquer. Par exemple, expliquer ce que fait un algorithme d’apprentissage est assez simple : il tente de minimiser un objectif (l’écart entre ce qu’il prédit et ce qui est observé) sur la base d’algorithmes d’optimisation plus ou moins compliqué (par un algorithme de Newton-Raphson pour une simple régression logistique, ou un algorithme de rétro-propagation sur des portions de la base pour de l’apprentissage profond (réseau de neurones avec plusieurs couches cachées)). Un algorithme dit « des plus proches voisins » consiste à dire que la fréquence de sinistres automobile d’un individu sera la fréquence moyenne des  personnes les plus proches de cet individu (en termes de caractéristiques : même expérience de conduite, conduisant le même type de véhicule, parcourant la même distance, etc). Cet algorithme est simple à expliquer. La partie ardue consiste à interpréter le modèle construit, à rendre intelligible les prédictions. Pasquale (2015) a souligné que les algorithmes d’apprentissage machine sont caractérisés par leur opacité et leur « incompréhensibilité », parfois appelé « propriétés de boîte noire ». En réponse, ou de manière concomitante, une demande de transparence des algorithmes, voire des codes informatiques, a été demandé, comme Citron et Pasquale (2014) ou Mittelstadt et al. (2016). Cela dit, l’algorithme « des plus proches voisins » est transparent et simple, ce sont les données qui sont importantes : il est impossible de faire une prévision sans avoir accès aux données (contrairement à une régression linéaire qui donne une fonction numérique). Burrell (2016) et Laat (2017) ont noté que le manque de transparence était en partie dû au comportement des entités de développement et d’utilisation qui refusent de divulguer les algorithmes, ou même simplement les règles et critères de décision programmés à des parties externes pour des raisons de protection des secrets commerciaux, de protection des droits d’auteur, de protection des données (lorsque les systèmes informatiques contiennent des données personnelles de tiers) ou par prudence contre des ajustements comportementaux ciblés par les personnes concernées. Ce dernier point avait été souligné dans le cas de l’algorithme de Facebook, comme raconté dans Charpentier (2021).

# Le modèle linéaire comme référence de « boite blanche » ?

Un des soucis est que le modèle le plus simple, le modèle linéaire, est souvent décrit comme un modèle « interprétable », mais par construction, cette interprétation est fallacieuse. En effet, pour estimer un modèle linéaire, pour lier deux variables  et , c’est la corrélation entre les deux variables qui compte, et qui est souvent interprétée comme une relation causale (pour la simplicité de la narration).

Figure 1 : Cyclistes à Stockholm, avec la température moyenne et le nombre de cyclistes, par jour.

La Figure 1 présente des données tirées d’une même base, où $x_t$ est le nombre de cyclistes dans une rue à Stockholm, le jour $t$ (de 2014), et $y_t$ est la température moyenne le jour $t$. Sur la partie gauche, on a représenté $(y_{t-1},x_t)$  et un modèle linéaire ($x=\alpha_0+\alpha_1y+\eta$), supposé pertinent quand la température est au-dessus de 0oC. La pente est significativement non-nulle, on a un $R^2$ excédant 75%, et l’interprétation serait « le nombre de cyclistes sur la route croit avec la température, un degré de plus apportant 750 cyclistes de plus par jour sur la route ». Ou pour une explication plus succincte serait « les habitants de Stockholm préfèrent faire du vélo quand il fait chaud ». Sur la partie droite, on a représenté $(x_{t-1},y_t)$ et là encore, un modèle linéaire ($y=\beta_0+\beta_1x+\epsilon$) semble avoir du sens, en excluant la partie la plus à gauche de la courbe (quand  est faible). Là encore, la pente est significativement non-nulle, on a un $R^2$  légèrement inférieur à 75%, et l’interprétation serait « la température croit avec le nombre de cyclistes sur la route, chaque millier de cycliste en plus faisant augmenter la température d’1oC ». Là encore, en simplifiant, « on peut lutter contre le réchauffement climatique en limitant le nombre de vélos sur la route ». À partir des données, et des données seulement, puis-je affirmer qu’une des explications données est plus valide que l’autre ?

# Un vœu pieu ?

On demande de pouvoir comprendre et interpréter toute prévision algorithmique, mais n’est-ce pas trop ambitieux ? Car comme l’aurait dit Saint Augustin, « si personne ne me demande ce qu’est le temps, je sais ce qu’il est ; et si on me le demande et que je veuille l’expliquer, je ne le sais plus ». C’est aussi ce que notait plus récemment Kahneman (2011), introduisant les notions de Système 1 / Système 2 (« les deux vitesses de la pensée »). Le système 1 est utilisé pour la prise de décisions rapides : il nous permet de reconnaître les gens et les objets, nous aide à orienter notre attention, et nous encourage à craindre les araignées. Il est basé sur des connaissances stockées en mémoire et accessibles sans intention, et sans effort. On peut l’opposer au système 2, qui permet une prise de décision plus complexe, exigeant de la discipline et une réflexion séquentielle. Dans la majorité des cas, on prend des décisions sans vraiment pouvoir les expliquer, et sans que ce soit préoccupant. Car c’est probablement autre chose que l’on cherche dans l’explicabilité. Nous avions mentionné la confiance, mais il y a aussi l’importance de l’équité, partiellement évoquée dans le contexte légal : l’explication importe peu si la décision semble juste.

# Références

Biran, O., & Cotton, C. (2017). Explanation and justification in machine learning: A survey. IJCAI-17 workshop on explainable AI (XAI), Vol. 8, No. 1, pp. 8-13.

Burrell, J. (2016). « How the machine ‘thinks’ : Understanding opacity in machine learning algorithms ». Big Data & Society 3.

Charpentier, A. (2018). L’intelligence artificielle dilue-t-elle la responsabilité ? Risques, 114, 145-150

Charpentier, A. (2021). Une mesure ne peut pas être un objectif. Risques, 125, 122-127

Citron, D. K. & F. Pasquale (2014). « The scored society : Due process for automated predictions ». Washington Law Review 89.

Coche, A. (2011). « Faut-il supprimer les expertises de dangerosité ? » Revue de science criminelle et de droit pénal comparé 1, p. 21–35.

Cottin, D. Z., Perrocheau, V., & Milburn, P. (2020). L’obligation de motivation des décisions criminelles en France: de la loi aux pratiques. Analyse empirique de la motivation des décisions de cours d’assises. Revue Juridique Thémis, 54(1).

Dadoun, A. (2018). L’obligation constitutionnelle de motivation des peines. Revue de science criminelle et de droit penal compare, (4), 805-827

Delacrausaz, P., & Gasser, J. (2012). « La place des instruments d’évaluation du risque de récidive dans la pratique de l’expertise psychiatrique pénale : l’exemple lausannois ». L’information psychiatrique 88: 6, p. 439–443

Elkus, A. (2015). « You Can’t Handle the (Algorithmic) Truth ». Slate May 20th.

Dubourg, É. & Gautron, V. (2015). « La rationalisation des outils et méthodes d’évaluation :de l’approche clinique au jugement actuariel ». Criminocorpus. Revue d’Histoire de la justice,des crimes et des peines.

Glenn, B. J. (2000). « The shifting rhetoric of insurance denial ». Law and Society Review, p. 779–808.

Glenn, B. J. (2003). « Postmodernism : the basis of insurance ». Risk Management and Insurance Review 6.2, p. 131–143.

Ginet, C. (2008). In defense of a non-causal account of reasons explanations. The Journal of Ethics, 12(3), 229-237.

Harcourt, B. E. (2008). Against prediction. University of Chicago Press.

Heider, F. (1958). The psychology of interpersonal relations. Wiley.

Johnston, D. (2001) « Explainable Models Are Overrated ». Linkedin 2021-01-25.

Kahneman, D. (2011). Système 1 / Système 2 : Les deux vitesses de la pensée, Flammarion.

Kästner, L., M. Langer, V. Lazar, A. Schomäcker, T. Speith & S. Sterz (2021). « On the Relation of Trust and Explainability : Why to Engineer for Trustworthiness ». 2021 IEEE 29th International Requirements Engineering Conference Workshops (REW), p. 169-175.

Laat, P. B. de (2017). « Big data and algorithmic decision-making : can transparency restore accountability ? » ACM Computers and Society 47.3, p. 39–53.

Lakkaraju, H. et al. (2019) Faithful and customizable explanations of black box models. Proceedings of the 2019 AAAI Conference on AIES.

Lipton, Z. C. (2018). « The Mythos of Model Interpretability : In machine learning, the concept of interpretability is both important and slippery. » Queue 16.3, p. 31–57

Lombrozo, T. (2006). The structure and function of explanations. Trends in Cognitive Sciences 10, 464-470.

Malle, B. F. (2006). How the mind explains behavior: Folk explanations, meaning, and social interaction. MIT Press.

Manguel, A. (2020) Monstres fabuleux, Actes Sud.

Miller, T. (2019). Explanation in artificial intelligence: Insights from the social sciences. Artificial intelligence, 267, 1-38.

Mittelstadt, B. D., P. Allo, M. Taddeo, S. Wachter & L. Floridi (2016). « The ethics of algorithms : Mapping the debate ». Big Data & Society.

Pasquale, F. (2015). The black box society : the secret algorithms that control money and information. Harvard University Press

Rubinstein, A. (2012). Economic fables. Open book publishers.

Saleilles, R. (1897). L’individualisation de la peine : étude de criminalité sociale. F. Alcan.

Shiller, R. J. (2020). Narrative economics : How stories go viral and drive major economic events. Princeton University Press.

Snow, C. P. (1956). The two cultures. New Statesman (6 octobre).

Swartout, W., Paris, C. & Moore, J. (1991), Explanations in knowledge systems: design for explainable expert systems. IEEE Expert, vol. 6, no. 3, pp. 58-64.

Villani, C. (2018) Donner du sens à l’intelligence artificielle.

Woodward, J. (2005) Making things happen: A theory of causal explanation, Oxford University Press.

[i] Selon la littérature pédiatrique, entre 3 et 4 ans (davantage si on a la chance d’avoir des enfants à la curiosité insatiable).

[ii] « ces affirmations péremptoires ne constituent pas une motivation véritable, mais sont tout au contraire la négation de la motivation » affirmait Cottin et al. (2020).

[iii] La pratique est bien entendu plus complexe : dans de nombreux cas, la motivation n’est pas donnée, à moins que l’une des parties ne fasse appel. Ce qui n’est pas sans faire penser à Manguel (2020), « Alice sait d’instinct que la logique est pour nous le moyen de donner du sens à ce qui n’en a pas et à en découvrir les règles secrètes, et elle l’applique impitoyablement, même chez ses ainés et supérieurs, qu’elle se trouve face à la Duchesse ou le Chapelier fou. Et quand les arguments s’avèrent inopérants, elle insiste pour, à tout le moins, rendre évidente l’absurdité de la situation. Quand la Reine de cœur exige que la cour rende “la condamnation d’abord… et le jugement ensuite”, Alice répond très justement : “Mais c’est de la bêtise !” C’est bien la seule réponse que méritent la plupart des absurdités dans notre monde. »

# Semaine Risques & Incertitude (Le Mans, 15-19 novembre)

Mi novembre, la semaine Risques & Incertitude sera organisée au Mans, en France. Je donnerai un exposé lundi matin, après l’exposé d’ouverture de Jean-Marc Tallon, pour la conférence de cloture de PanoRisk,

Mercredi, ça sera la conférence Risques & Incertitude qui commencera.

# FAIR+AI (Cachan, 18-19 novembre)

Mi-novembre, je participerai à la conférence FAIR+AI à Cachan, en France.

Le programme est maintenant disponible

# Individual risks and collective decisions

This Monday, I will give a talk at the Online Joint Section Colloquia 2021 of the International Actuarial Association, early in the morning (on our Canadian Thanksgiving). Slides are now available.

# Emeritus Celebration Prof. Jan Beirlant

On Thursday 30/09/2021 and Friday 01/10/2021, there is a great two day workshop for the Emeritus Celebration of Jan Beirlant.

[credit: KU Leuven – Rob Stevens]

I will give a talk on second order extended Pareto, from recent work with Emmanuel Flachaire.

# Post-pandemic Actuary: Online Joint Section Colloquia 2021

On (Canadian) Thanksgiving, I will give a talk at the Online Joint Section Colloquia 2021 of the International Actuarial Association, on “Individual risk and collective decisions”. More to come, soon…

# Assurance et discrimination, quel rôle pour les actuaires ?

Le rôle essentiel d’un actuaire en charge de la tarification est la segmentation du portefeuille (ou « insurance classification » en anglais), correspondant à une activité de discrimination (mathématiquement parlant) au sens où l’actuaire va chercher les variables les plus « discriminantes », pour en expliquer une autre (en lien avec la sinistralité). Mais au sens juridique, discriminer, c’est interdit par la loi, ce qui place l’actuaire dans une position souvent délicate et complexe.

# Could there be incentives to cycle through a red light?

This is of course a rhetorical question! Because cyclists must stop when the light is red! … But … there is always that moment, on a bicycle, when you stop, and  then you say to yourself

the worst part is that the lights are badly regulated, and I know that the next one will also be red once I will reach it … whereas if I had passed, I would have had the next one, and who knows, maybe a green wave afterwards?

Not having wanted to try the experiment with my bike, I wanted to try using simulations, on my computer.

Let us assume that in my city, there are red lights every 250 m, and they go from red to green in 1 minute, and similarly from green to red. Then, I can use a simple loop, where I compute the time from home, each time I pass a light: either the light is green, I go through, and I do not wait; or the light is red, then I wait, until the end of the minute. Here is the code. First, I define the constant parameter, with lights every 250 m, light turning either red or green every 1 minute, and I assume a constant speed here, of 15/60 km per min (or 15km per hour).

v = 15/60 d = .250 t = 1

Suppose that the office is at 10 km from home. The code to compute the time is simply (I do add a random noise on the time it takes to reach the next light, I will get back to that later on)

Dist = seq(0,10,by=.25) Time1=rep(NA,length(D)) Time1[1]==0 for(k in 2:length(Dist)){ noise=rnorm(1,sd=.05) Time1[k]=Time1[k-1]+d/v+noise if((floor(Time1[k])%%2==0)&amp;(k&lt;length(Dist))) Time1[k]=ceiling(Time1[k]) }

I can now visualize myself on my bike

T=seq(0,60,by=1/60) colr = c("red","green") plot(T,T*v,col="white") for(k in 1:40){ points(T,rep(d*k,length(T)),cex=.3,pch=15,col=colr[rep(1:2,each=t*60)]) } points(Time1,Dist,pch=19,cex=.5)

Here, it took me about 51 min to reach the office. And each time I have a red light, I stop and wait. Here is the distribution of the time it will take, as a function of my speed

simul = function(v=.250,sd=.05){ Dist = seq(0,10,by=.25) Time1=Time2=rep(NA,length(D)) Time1[1]=Time2[1]=0 for(k in 2:length(Dist)){ noise=rnorm(1,sd=sd) Time1[k]=Time1[k-1]+d/v+noise if((floor(Time1[k])%%2==0)&amp;(k&lt;length(Dist))) Time1[k]=ceiling(Time1[k]) } max(Time1) } S=function(v=.250,sd=.05,n=1000){ Vectorize(function(x) simul(v=x,sd=sd))(rep(v,n)) } vit = seq(.2,.3,length=101) MS = Vectorize(function(x) S(v=x,sd=.05))(vit) qMSsup = apply(MS,2,function(x) quantile(x,.95)) qMSinf = apply(MS,2,function(x) quantile(x,.05)) MSmed = apply(MS,2,function(x) quantile(x,.5)) MSmean = apply(MS,2,mean) par(mfrow = c(1,1)) plot(vit,MSmed,type="l") polygon(c(vit,rev(vit)),c(qMSinf,rev(qMSsup)),col="light blue",border=NA) lines(vit,MSmed,lwd=2)

Obviously, on average, the faster I cycle, the shorter the ride will be. Of course, 40 min is not a (real) lower bound : if I go much faster, it can be a rather quick ride

Now, consider a simple rhetorical alternative. What if I decide to go through a red light (after checking that there is no danger), say, with 1 chance of out 20 ?

simul_random = function(v=.250,sd=.05){ Dist = seq(0,10,by=.25) Time1=rep(NA,length(D)) Time1[1]=0 for(k in 2:length(Dist)){ noise=rnorm(1,sd=sd) Time1[k]=Time1[k-1]+d/v+noise red = sample(c(0,1),size=1,prob = c(.95,.05)) if((floor(Time1[k])%%2==0)&amp;(k&lt;length(Dist))&amp;(red == 0)) Time1[k]=ceiling(Time1[k]) } max(Time1) }

Here, 1 chance out of 20 could mean that on a 10 km ride, I wil always stop : first, I need a red light, and then 95% of the time, I stop. Here is the average distribution, with confidence bands

S_random=function(v=.250,sd=.05,n=1000){ Vectorize(function(x) simul_random(v=x,sd=sd))(rep(v,n)) } MS3 = Vectorize(function(x) S_random(v=x,sd=.05))(vit) qMSsup3 = apply(MS3,2,function(x) quantile(x,.95)) qMSinf3 = apply(MS3,2,function(x) quantile(x,.05)) MSmed3 = apply(MS3,2,function(x) quantile(x,.5))

It is possible to compare the two actually (on average times)

plot(MSmed,MSmed3,type="l") abline(a=0,b=1,col="red",lty=2) plot(MSmed,(MSmed-MSmed3)/MSmed*100,type="l")

which means that, somehow I can save some time, maybe from 3% to 5% if I do not cycle to fast, otherwise probably less than 2%. I would not claim, here, that it is worth it.

Consider another rhetorical alternative. What if I decide to go through the red light only if it is during the very first second ?

simul_1sec = function(v=.250,sd=.05){ Dist = seq(0,10,by=.25) Time1=rep(NA,length(D)) Time1[1]=0 for(k in 2:length(Dist)){ noise=rnorm(1,sd=sd) Time1[k]=Time1[k-1]+d/v+noise if((floor(Time1[k])%%2==0)&amp;(k&lt;length(Dist))&amp;(Time1[k]-floor(Time1[k])&gt;1/60)) Time1[k]=ceiling(Time1[k]) } max(Time1) }

Here is the time it takes to go to the office

and here is the potential gain

We can now clearly see the impact of those nonlinearities : with my average 15 km per hour speed, I can save 8% of the time if I go through red during the very first second. Of course, I will never do such a think, but mathematically speaking, it is stricking. Here is the gain for the first 2 seconds (out of a full minute)

so the gain can be about 12%. And now, what if we remove the noise – or more precisely, what if the standard deviation become 0.001 instead of 0.05. Here is the first distribution of the time (when I stop at each red light, and wait)

If I do not go fast enough, I will stop at almost each light, and wait until the end of the minute: going at 20 km per hour or 24 km per hour is exactly the same. But if I can go slightly faster than 25km per hour, that is awesome, and I have my green wave. Now, her is the graph I get when I cycle through the red light only in the very first second

This is now the gain

I can save up to 40% of the time, and more realistically, my 55 min ride could now be a 40 min ride. Which is substantial.

But on that one, observe that another strategy is also possible : what if I do not cycle through red light, but I simply cycle +1% faster ?

simul_faster = function(v=.250,sd=.05){ Dist = seq(0,10,by=.25) Time1=rep(NA,length(D)) Time1[1]=0 for(k in 2:length(Dist)){ noise=rnorm(1,sd=sd) Time1[k]=Time1[k-1]+d/(v*1.01)+noise if((floor(Time1[k])%%2==0)&amp;(k&lt;length(Dist))&amp;(Time1[k]-floor(Time1[k])&gt;1/60)) Time1[k]=ceiling(Time1[k]) } max(Time1) }

We have a similar result here, since riding 1% faster can actually help me save up to 50% of my time ! and (more realistically) if I ride 1% faster with a large random noise in the time between two light, I get almost the same as previously (when passing through the red light)

Again, my point here is not that we should cycle through a red light, of course not. But there may be accumulation of (small) nonlinear effects that might have a major impact at the end. And I believe that the best way to avoid this is to offer a green wave to cyclists, assuming that they ride at a reasonnable speed…

# A new GEE method to account for heteroscedasticity using asymmetric least-square regressions

Our paper, with Amadou Barry and Karim Oualkacha,

Generalized estimating equations (GEE) are widely used to analyze longitudinal data; however, they are not appropriate for heteroscedastic data, because they only estimate regressor effects on the mean response – and therefore do not account for data heterogeneity. Here, we combine the GEE with the asymmetric least squares (expectile) regression to derive a new class of estimators, which we call generalized expectile estimating equations (GEEE). The GEEE model estimates regressor effects on the expectiles of the response distribution, which provides a detailed view of regressor effects on the entire response distribution. In addition to capturing data heteroscedasticity, the GEEE extends the various working correlation structures to account for within-subject dependence. We derive the asymptotic properties of the GEEE estimators and propose a robust estimator of its covariance matrix for inference (see our R package, github.com/AmBarry/expectgee). Our simulations show that the GEEE estimator is non-biased and efficient, and our real data analysis shows it captures heteroscedasticity.

# Predicting Drought and Subsidence Risks in France

New paper with Molly James and Hani Ali, now available on https://arxiv.org/abs/2107.07668

The economic consequences of drought episodes are increasingly important, although they are often difficult to apprehend in part because of the complexity of the underlying mechanisms. In this article, we will study one of the consequences of drought, namely the risk of subsidence (or more specifically clay shrinkage induced subsidence), for which insurance has been mandatory in France for several decades. Using data obtained from several insurers, representing about a quarter of the household insurance market, over the past twenty years, we propose some statistical models to predict the frequency but also the intensity of these droughts, for insurers, showing that climate change will have probably major economic consequences on this risk. But even if we use more advanced models than standard regression-type models (here random forests to capture non linearity and cross effects), it is still difficult to predict the economic cost of subsidence claims, even if all geophysical and climatic information is available.

# Collaborative Insurance Sustainability and Network Structure

Our joint paper, with Lariosse Kouakou, Matthias Löwe, Philipp Ratz and Franck Vermet, entitled “Collaborative Insurance Sustainability and Network Structure” is now available on Arxiv,

The peer-to-peer (P2P) economy has been growing with the advent of the internet, with well known brands such as Uber or Airbnb being examples thereof. In the insurance sector the approach is still in its infancy, but some companies have started to explore P2P-based collaborative insurance products (eg. Lemonade in the U.S. or Inspeer in France). The actuarial literature only recently started to consider those risk sharing mechanisms, as in Denuit and Robert (2020) or Feng et al. (2021). In this paper, describe and analyse such a P2P product, with some reciprocal risk sharing contracts. Here, we consider the case where policyholders still have an insurance contract, but the first self-insurance layer, below the deductible, can be shared with friends. We study the impact of the shape of the network (through the distribution of degrees) on the risk reduction. We consider also some optimal setting of the reciprocal commitments, and discuss the introduction of contracts with friends of friends to mitigate some possible drawbacks of having people without enough connections to exchange risks.

## An Open Lab-Notebook Experiment

Search OpenEdition Search

You will be redirected to OpenEdition Search