All posts by Arthur Charpentier

Arthur Charpentier, professor in Montréal, in Actuarial Science. Former professor-assistant at ENSAE Paristech, associate professor at Ecole Polytechnique and assistant professor in Economics at Université de Rennes 1.  Graduated from ENSAE, Master in Mathematical Economics (Paris Dauphine), PhD in Mathematics (KU Leuven), and Fellow of the French Institute of Actuaries.

Melting contestation: insurance fairness and machine learning

Our paper, Melting contestation: insurance fairness and machine learning, with Laurence Barry, is now published (in Ethics and Information Technology).

With their intensive use of data to classify and price risk, insurers have often been confronted with data-related issues of fairness and discrimination. This paper provides a comparative review of discrimination issues raised by traditional statistics versus machine learning in the context of insurance. We first examine historical contestations of insurance classification, showing that it was organized along three types of bias: pure stereotypes, non-causal correlations, or causal effects that a society chooses to protect against, are thus the main sources of dispute. The lens of this typology then allows us to look anew at the potential biases in insurance pricing implied by big data and machine learning, showing that despite utopic claims, social stereotypes continue to plague data, thus threaten to unconsciously reproduce these discriminations in insurance. To counter these effects, algorithmic fairness attempts to define mathematical indicators of non-bias. We argue that this may prove insufficient, since as it assumes the existence of specific protected groups, which could only be made visible through public debate and contestation. These are less likely if the right to explanation is realized through personalized algorithms, which could reinforce the individualized perception of the social that blocks rather than encourages collective mobilization.

Fairness in Multi-Task Learning via Wasserstein Barycenters, at ECML PKDD 2023

Toady, presentation of our paper Fairness in Multi-Task Learning via Wasserstein Barycenters, ECML PKDD, in Torino, by François. Slides are available online (and a poster can be found below)

The paper was actually published in Machine Learning and Knowledge Discovery in Databases: Research Track (295–312), available here.

A Sequentially Fair Mechanism for Multiple Sensitive Attributes

Our paper, A Sequentially Fair Mechanism for Multiple Sensitive Attributes, with François Hu and Philipp Ratz, is now available on Arxiv,

In the standard use case of Algorithmic Fairness, the goal is to eliminate the relationship between a sensitive variable and a corresponding score. Throughout recent years, the scientific community has developed a host of definitions and tools to solve this task, which work well in many practical applications. However, the applicability and effectivity of these tools and definitions becomes less straightfoward in the case of multiple sensitive attributes. To tackle this issue, we propose a sequential framework, which allows to progressively achieve fairness across a set of sensitive features. We accomplish this by leveraging multi-marginal Wasserstein barycenters, which extends the standard notion of Strong Demographic Parity to the case with multiple sensitive characteristics. This method also provides a closed-form solution for the optimal, sequentially fair predictor, permitting a clear interpretation of inter-sensitive feature correlations. Our approach seamlessly extends to approximate fairness, enveloping a framework accommodating the trade-off between risk and unfairness. This extension permits a targeted prioritization of fairness improvements for a specific attribute within a set of sensitive attributes, allowing for a case specific adaptation. A data-driven estimation procedure for the derived solution is developed, and comprehensive numerical experiments are conducted on both synthetic and real datasets. Our empirical findings decisively underscore the practical efficacy of our post-processing approach in fostering fair decision-making.

Addressing Fairness and Explainability in Image Classification Using Optimal Transport

Our new paper, with François Hu and Philipp Ratz, Addressing Fairness and Explainability in Image Classification Using Optimal Transport, is now available on ArXiv.

Algorithmic Fairness and the explainability of potentially unfair outcomes are crucial for establishing trust and accountability of Artificial Intelligence systems in domains such as healthcare and policing. Though significant advances have been made in each of the fields separately, achieving explainability in fairness applications remains challenging, particularly so in domains where deep neural networks are used. At the same time, ethical data-mining has become ever more relevant, as it has been shown countless times that fairness-unaware algorithms result in biased outcomes. Current approaches focus on mitigating biases in the outcomes of the model, but few attempts have been made to try to explain why a model is biased. To bridge this gap, we propose a comprehensive approach that leverages optimal transport theory to uncover the causes and implications of biased regions in images, which easily extends to tabular data as well. Through the use of Wasserstein barycenters, we obtain scores that are independent of a sensitive variable but keep their marginal orderings. This step ensures predictive accuracy but also helps us to recover the regions most associated with the generation of the biases. Our findings hold significant implications for the development of trustworthy and unbiased AI systems, fostering transparency, accountability, and fairness in critical decision-making scenarios across diverse domains.

Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory

Our paper, Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory, writen with Denys Pommeret and Sam Stocksieker, is now available ArXiv.

In supervised learning, it is quite frequent to be confronted with real imbalanced datasets. This situation leads to a learning difficulty for standard algorithms. Research and solutions in imbalanced learning have mainly focused on classification tasks. Despite its importance, very few solutions exist for imbalanced regression. In this paper, we propose a data augmentation procedure, the GOLIATH algorithm, based on kernel density estimates which can be used in classification and regression. This general approach encompasses two large families of synthetic oversampling: those based on perturbations, such as Gaussian Noise, and those based on interpolations, such as SMOTE. It also provides an explicit form of these machine learning algorithms and an expression of their conditional densities, in particular for SMOTE. New synthetic data generators are deduced. We apply GOLIATH in imbalanced regression combining such generator procedures with a wild-bootstrap resampling technique for the target values. We evaluate the performance of the GOLIATH algorithm in imbalanced regression situations. We empirically evaluate and compare our approach and demonstrate significant improvement over existing state-of-the-art techniques.

Talk at SINCLAIR (Saclay INdustrial Collaborative Laboratory for Artificial Intelligence Research)

This afternoon, I will give a talk at SINCLAIR (Saclay INdustrial Collaborative Laboratory for Artificial Intelligence Research), invited by Nicolas Bousquet, on causal inference and counterfactuals with optimal transport. It will be based on our paper Optimal Transport for Counterfactual Estimation: A Method for Causal Inference. Slides are online as well as a nice appendix with R codes.

“Notre maison brûle et”… nous espérons que notre assureur ne regarde pas ailleurs

Cet article est la version initiale, sourcée, et un peu plus longue, d’une tribune publiée dans Le Monde, ce dimanche 9 juillet 2023.

En 2015, à la veille de l’ouverture de la COP21, Henri de Castries, PDG d’AXA affirmait qu’“une augmentation de deux degrés de la température moyenne dans le monde peut encore être assurable, mais ce qui est certain, c’est qu’une hausse de quatre degrés ne l’est pas” (leparisien). Huit ans après, le ministre de la transition écologique annonce que “la France va se préparer à une élévation de 4°C” (lemonde). Doit-on alors se préparer à un monde sans assurance ? Car c’est ce que commence à connaître la Californie. La tendance lente de long terme, avec une hausse linéaire de la température, engendre une augmentation au moins exponentielle des catastrophes. Et cette petite différence de deux degrés, correspondant à une tendance bien différente quant aux catastrophes.

L’assurance fonctionne en mutualisant les risques entre de larges groupes de personnes qui paient des primes, puis en versant cet argent aux personnes qui ont subi un sinistre (puf). “The contribution of the many to the misfortune of the few”. Cette vision un peu simpliste correspond au fonctionnement d’une mutuelle d’assurance, les cotisations servant à indemniser les plus malchanceux. Compte tenu de la nature fondamentalement aléatoire des contrats d’assurance, on espère (au sens mathématiques) que les primes permettront de couvrir les pertes. Avec ce raisonnement “en moyenne”, une année sur deux, les assureurs feraient du profit, et une année sur deux, ils n’auraient pas assez d’argent pour indemniser les personnes sinistrés. Pour éviter ce genre de désagrément, la législation impose aux assureurs d’avoir suffisamment de capital pour garantir leur solvabilité, et c’est ce qui est fait dans la plupart des pays. Cela permet de protéger les assurés qui ont acheté la promesse d’une indemnisation dans plusieurs mois si une mésaventure survient. Ce mécanisme fonctionne simplement en assurance automobile, ou en assurance habitation quand il faut indemniser un incendie dans la cuisine, suite à un accident, mais il est mis à mal quand des catastrophes climatiques surviennent, empêchant le mécanisme de mutualisation des risques de fonctionner.

L’assurabilité des risques est caractérisée par trois facteurs: le risque assurable doit être quantifiable et distribué, une population assurable doit être consciente du risque, et être prête à s’assurer et à payer le prix actuariel, et un assureur solvable qui est prêt à porter le risque. Malheureusement, le changement climatique menace ces trois conditions, avec des risques physiques qui peuvent se combiner ou s’accélérer de manière inédite, des horizons à long terme peuvent brouiller la compréhension des risques par les consommateurs, et des pertes potentiellement massives, et durables, qui peuvent dépasser la capacité de couverture des assureurs.

Face au risque de catastrophes, il n’est pas rare de voir se mettre en place des partenariats public-privé. C’est généralement la meilleure solution car on voit de plus en plus d’assureurs privés se retirer, laissant les autorités fédérales ou étatiques intervenir en tant qu’assureur “en dernier recours”, et c’est l’ensemble des contribuables qui est amené à payer la facture (usatoday). C’est aussi parce que ce risque nécessite des infrastructures et des décisions qui ne peuvent être prise que par des décideurs politiques.

Aux États-Unis, l’ouragan Sandy a été la tempête de vent la plus meurtrière à frapper le nord-est des États-Unis en quarante ans, avec des pertes assurées dépassant 25 milliards de dollars (montants actualisés). Les pertes assurées totales estimées à la suite de l’ouragan Ian atteignent 70 milliards de dollars, et les pertes liées aux inondations devraient s’élever à 10 milliards de dollars supplémentaires (columbia). Les incendies de forêt en Californie en 2017 et 2018 ont conduit les assureurs à payer près de 30 milliards de dollars de sinistres alors qu’ils n’ont perçu que 15 milliards de dollars de primes. Et depuis 2020, huit catastrophes ont causé entre 20 et 50 milliards de dollars de dommages (reuters).

La Californie compte une centaine de compagnies proposant des contrats d’assurance habitation. Et au début du mois, le plus gros assureur, State Farm, a fait paniquer le marché, en déclarant qu’elle arrêterait toute nouvelle souscription en Californie, influencée par l’augmentation des coûts de construction, le risque croissant de catastrophes telles que les incendies de forêt et, par conséquent, et l’augmentation du coût de la réassurance (latimes). Le choc a été d’autant plus important que State Farm a simplement rendu public ce que d’autres compagnies d’assurance faisaient discrètement depuis plusieurs années, comme AllState l’a reconnu (latimes), mais aussi le géant de l’assurance American International Group (AIG) qui a commencé à réduire son offre d’assurance habitation dans environ 200 codes postaux à travers les États-Unis, à haut risque d’inondations ou d’incendies de forêt (nbcnews) (insurancejournal). Le coût moyen d’une police d’assurance en Californie est de l’ordre de 2000 dollars en Californie, mais on reste loin des 5000 (wharton) ou 6000 (washingtonpost) dollars  demandés dans dans les villes les plus exposées aux catastrophes climatiques de Louisiane et de Floride.

Dans ces deux Etats, les gens ont du mal à se procurer des polices d’assurance, car de plus en plus d’assureurs quittent l’État, deviennent insolvables (washingtonpost). En Floride, en 1968 (nytimes), les assureurs privés ne voulaient pas couvrir les inondations, ce qui ne laissait aucune option aux propriétaires, et le Congrès a créé le programme national d’assurance contre les inondations (NFIP), qui offrait aux propriétaires une couverture financée par les contribuables. En 1992, suite au passage de l’ouragan Andrew, les assureurs avaient imposé un moratoire sur les affaires nouvelles (washingtonpost), mais le NFIP a été en mesure de couvrir ses engagements à l’aide des primes encaissées, jusqu’au passage des ouragans Katrina et Sandy en 2004, les tempêtes les plus coûteuses de l’histoire des États-Unis (nytimes). Suite à ces catastrophes, un système complexe a été mis en place avec localement, de petites compagnies d’assurance soutenues par Citizens (Property Insurance Corporation), une compagnie mandatée par l’État pour fournir une couverture contre les tempêtes aux propriétaires qui ne pouvaient pas trouver d’assurance privée. Pendant un certain temps, ce système a fonctionné, avec onze années consécutives sans ouragans majeurs (barrons), laissant presque oublié que le risque existait, jusqu’au passage de l’ouragan Irma, en 2017. Les primes pour la couverture fournie par le plan Citizens, ont augmenté de 63 % pour atteindre une moyenne de 5000 dollars par an (tout en empruntant plusieurs centaines de millions de dollars sur le marché obligataire pour payer les demandes d’indemnisation des propriétaires, et éviter la faillite). Récemment, suite au passage de l’ouragan Laura en Louisiane en 2020, plus de 50 compagnies ont cessé d’accepter de nouveaux clients, et 11 se sont déclarées en faillite. En Floride, plus de 15 compagnies ont fait faillite (washingtonpost). Aujourd’hui, le NFIP a une dette qui dépasse les 20 milliards de dollars (columbia, vox).

La Californie a une histoire presque plus complexe, en grande partie car elle n’a pas connu les grandes catastrophes qu’on subit la Louisiane et la Floride. En 1988, face aux bénéfices des compagnies d’assurance, les consommateurs ont voté la “proposition 103” qui oblige les assureurs à faire approuver par l’État Californien leurs futurs tarifs. Et aujourd’hui encore, si un assureur cherche à augmenter ses primes de 7% ou plus, les défenseurs des consommateurs sont autorisés à prendre partie, et à contester les taux proposés (eenews). Lorsqu’un assureur essaye d’anticiper les pertes d’incendie attendues, pour calculer les primes demandées, il a obligation de faire la distinction entre les pertes d’incendie ordinaires et les pertes catastrophiques. Pour les sinistres ordinaires (incendie d’une cuisine), les projections doivent être faites sur ses “pertes historiques par exposition” sur une période relativement courte (de un à trois ans), alors que pour les risques d’incendies catastrophiques, il faut une base d’au moins vingt ans de pertes réelles et historiques. Pour simplifier, un assureur doit utiliser la moyenne des 20 dernières années (au moins) pour tarifer les années futures. Cette approche dite “rétrospective” a du sens sur les risques rares (qui surviennent une fois tous les vingt ans), mais pas quand les risques augmentent. Or cinq des six plus grands incendies de forêt de l’histoire ont eu lieu en 2020 et quinze des vingt incendies les plus destructeurs de l’histoire de l’État ont eu lieu depuis 2015. Cette croissance exponentielle fait peur aux assureurs, surtout que les primes ne peuvent pas traduire cette hausse prévue par tous les modèles “prospectifs” (eenews).

Car des modèles statistiques fiables existent, tenant compte de divers facteurs de risque (végétation, topographie, température, densité et emplacement des habitations, etc). Mais la loi californienne interdit l’utilisation de ces outils pour calculer les primes. Une autre raison est que les modèles utilisés par les assureurs doivent être rendus publics, et les sociétés de modélisation refusent de le faire (eenews). Il est également impossible aux assureurs d’offrir une couverture contre ce risque, et de se couvrir ensuite auprès des réassureurs, car le calcul de la hausse de prime (dont la limite autorisée est de 7%), les assureurs ne sont pas autorisés à inclure le coût de la réassurance.

Le retrait récent de State Farm en Californie, suivant d’autres assureurs, reflètent une triste et froide réalité : ni les assureurs privés, ni les gouvernements ne sont préparés à l’augmentation exponentielle des pertes liées au risque climatique (climateandcapitalmedia). Le président d’Aon PLC, Eric Andersen, a déclaré devant une commission sénatoriale que “tout comme l’économie américaine a été surexposée au risque hypothécaire en 2008, l’économie est aujourd’hui surexposée au risque climatique”  (scientificamerican). Selon Munich Re, les pertes du secteur mondial de l’assurance liées aux sinistres météorologiques sont passées d’une moyenne annuelle (corrigée de l’inflation) de 10 milliards de dollars dans les années 1980 à 50 milliards de dollars au cours de la présente décennie. Il est difficile de déterminer quel pourcentage de cette augmentation est dû “uniquement” au changement climatique (newrepublic), car le facteur humain est important. En Californie, les lignes électriques (à haute tension) ont toujours été l’une des principales causes des incendies de forêt en Californie (theatlantic). En 2017, la majorité des incendies majeurs sont nés d’étincelles provenant d’équipements défaillants et mal entretenus, résultant de dizaines d’années de sous-investissements publics massifs (nytimes).

A la vue de ce tableau, l’Europe et la France semblent encore chanceuses, mais pour combien de temps ? En France, le mécanisme dit “cat nat”, reposant sur la loi du 13 juillet 1982, encadre le marché des principales catastrophes naturelles depuis plus de 40 ans, malgré de nombreuses alertes (liberation).  Ce mécanisme est fondé sur l’alinéa 12 du préambule de la Constitution du 27 octobre 1946, « la Nation proclame la solidarité et l’égalité de tous les Français devant les charges qui résultent des calamités nationales ». Si cette loi propose un mécanisme assez unique dans le monde, la France n’est pas forcément mieux lotie que la Californie: depuis des années, à demi-mot, certains assureurs reconnaissant qu’ils peuvent hésiter à soutenir l’installation d’un agent d’assurance dans une zone où le risque d’inondation est important.

Le principe de partage et de mutualisation des risques que porte l’assurance pose inéluctablement la question de savoir qui, dans la société, doit payer les coûts du changement climatique, qui augmentent rapidement ? S’agit-il d’un fardeau que nous devons tous assumer de manière égale ? Cela va-t-il faire partie du filet de sécurité sociale reposant sur la “solidarité” nationale ? Ou devons-nous faire payer ce risque par les personnes les plus à risques ? Cette question éthique se pose clairement en assurance santé, mais elle revient sur les risques climatiques, probablement car les techniques de modélisation des risques et d’analyse prédictive deviennent de plus en plus sophistiquées. Sur la base de données météorologiques plus riches et de meilleurs modèles climatiques, les assureurs peuvent mieux estimer l’impact potentiel des événements climatiques localement. Cela pourrait permettre de tarifer les polices avec plus de précision et d’adapter la couverture aux besoins spécifiques des assurés dans les zones à haut risque (climateandcapitalmedia). On retrouve la question importante posée aux assureurs, sur l’endroit où il est légitime de placer le curseur, entre la mutualisation et la solidarité d’un côté, et des calculs actuariels de plus en plus précis de l’autre.

De manière anecdotique, la question de la solidarité et des discriminations s’était posée en assurance dans les aux États-Unis avec le “redlining”, où des zones rouges (désignant historiquement, dans les années 1930, des zones d’immeubles vétustes, ou avec de fortes incidences de maladies) entraînaient une augmentation des primes d’assurance, un non-renouvellement ou un refus de couverture. Dans les années 60, ces zones excluaient des communautés afro-américaines, et le “redlining” a été rendu interdit en 1968 (radio-canada). Aujourd’hui, certaines zones font l’objet d’un marquage “bleu”, couleur par laquelle les banques ou les prêteurs hypothécaires définissent des quartiers ou des communautés plus sensibles aux risques climatiques (columbia).

Un des arguments pour autoriser des hausses de primes d’assurance dans les zones à risques est d’envoyer un signal. Le prix doit être élevé s’il reflète un risque réel, et cacher artificiellement le risque dans une prime trop basse n’incite pas à la prévention. La contrepartie de ces hausses massives des primes d’assurance sera probablement de subventionner les polices pour les personnes à faible revenu vivant dans des zones à haut risque afin d’étendre la couverture, mais l’expérience récente en Floride et en Californie montre les hausses de primes font prendre conscience que le risque augmente. Récemment, Karen Collins, de l’American Property Casualty Insurance Association, comparait les assureurs “au canari dans la mine de charbon” (usatoday). Si on voulait être complètement juste, les assureurs sont la partie visible par le grand public, car en coulisse, “les réassureurs tirent la sonnette d’alarme sur le changement climatique et les risques de catastrophe depuis des décennies“, comme le rappelle Sean Hecht, avocat du bureau régional californien d’Earthjustice (vox). Il est important que les citoyens mais aussi les gouvernements prennent conscience de l’augmentation exponentielle des risques climatiques, en effectuant les changements qui s’imposent (nytimes). Vivre avec des œillères met des vies en danger, et plus longtemps le problème sera ignoré, plus il sera difficile à résoudre. Les plus pessimistes en Californie rappelant que les incendies cesseront lorsqu’il n’y aura plus rien à brûler (theatlantic).