This article was originally written in French, and published here
“The decision cannot be racist since it was made without any information about the person’s ethnic origin. ” We’ve all heard this kind of statement at one time or another. Whether it’s about racism, ageism, or sexism. Whether it’s about human decisions, models, or algorithms. However, “ Kranzberg’s Law ”1 reminds us that technology is neither good nor bad, but it is not neutral either. Neutrality may only come at a certain price. And it may be time to revisit the major principles surrounding segmentation and fairness in insurance, to better understand what we’re talking about when we raise the issue of discrimination.
“Le décision ne peut pas être raciste puisqu’elle a été prise sans aucune information sur l’origine ethnique de la personne.” Ce genre d’affirmation, on l’a tous entendu un jour ou l’autre. Que ce soit sur le racisme, l’âgisme ou le sexisme. Que ce soient des décisions humaines, des modèles ou des algorithmes. Pourtant, la “loi de Kranzberg”1 nous rappelle que la technologie n’est ni bonne ni mauvaise mais, elle n’est pas neutre pour autant. La neutralité risque de ne venir qu’à un certain prix. Et il est peut être temps de revenir sur les grands principes autour de la segmentation et de l’équité, en assurance, pour mieux comprendre de quoi on parle quand on évoque la question de la discrimination.
La loi de Kranzberg, énoncée par l’historien des technologies Melvin Kranzberg en 1986, a été formulée dans un article intitulé “Technology and History: ‘Kranzberg’s Laws'”, publié dans la revue Technology and Culture. Six lois sont proposées, mais la première est la plus connue, rappelant que les effets de la technologie dépendent du contexte social, politique, économique et culturel dans lequel elle est utilisée: “Technology is neither good nor bad; nor is it neutral.” [↩]
Ce midi, je participerai (en ligne) aux lundis de l’IA et de la finance, avec comme thème “mesurer et corriger les biais dans les systèmes d’IA”, dans le cadre d’un séminaire co-organisé par l’Autorité de Contrôle Prudentiel et de Résolution (ACPR/Banque de France) et Télécom Paris. Mon intervention, en ouverture, reviendra sur l’équité dans le contexte de l’assurance [les slides sont disponibles].
Dans dix jours, je participerai (en ligne) aux lundis de l’IA et de la finance, avec comme thème “mesurer et corriger les biais dans les systèmes d’IA”. Co-organisés par l’Autorité de Contrôle Prudentiel et de Résolution (ACPR/Banque de France) et Télécom Paris, les « Lundis de l’IA et de la Finance » forment un cycle de conférences autour de la réglementation de l’IA dans le secteur financier. Dans ce cadre, régulateurs, chercheurs et autres acteurs de l’industrie financière se sont réunis tous les deux mois pour échanger autour de différentes thématiques du domaine.
17h10 – 17h30 : Arthur Charpentier (UQAM Montréal) : présentation de travaux sur l’équité dans le domaine de l’assurance (où le cœur du métier est précisément de « discriminer » les risques), y compris une présentation des métriques d’équité et de leurs implications [les slides sont disponibles]
17h30- 17h50 : Benoît Rottembourg et Jean-Michel Loubes (Inria) : méthodes d’identification des biais sur un cas concret (impayés en téléphonie)
17h50-18h10 : David Cortés (AI-vidence) et/ou Stephan Clémençon (Télécom Paris) : présentation d’une méthode empirique de correction des biais directement dans les données d’entrée
18h10-18h25 : Questions / discussions
18h25-18h30 : Remarques de clôture, O. Fliche et/ou D. Bounie
The third newsletter, related to the SCOR research project is now available. It is a brief summary of the third six months block, from October till the end of March (i.e. Fall and Winter). The first one is available here and the second one there. For the first time, we started writing one in French. I’d like to take this opportunity to thank all those involved in the project!
La troisième infolettre associée au projet financé par la Fondation SCOR pour la science est enfin disponible ! Il s’agit d’un résumé, illustré, en quelques pages, de nos activités des six derniers mois, d’octobre à fin mars (autrement dit, pour l’automne et l’hiver). La nouveauté est qu’on inaugure la version en français de ces infolettres, la toute première étant en ligne ici (en anglais), et la seconde là. Pour la troisième, une version en anglais est aussi disponible, bien entendu… Merci encore à toutes celles et ceux qui participent aux travaux du projet !
Many industries are heavily reliant on predictions of risks based on characteristics of potential customers. Although the use of said models is common, researchers have long pointed out that such practices perpetuate discrimination based on sensitive features such as gender or race. Given that such discrimination can often be attributed to historical data biases, an elimination or at least mitigation, is desirable. With the shift from more traditional models to machine-learning based predictions, calls for greater mitigation have grown anew, as simply excluding sensitive variables in the pricing process can be shown to be ineffective. In the first part of this seminar, we propose to mitigate possible discrimination (related to so call « group fairness », related to discrepancies in score distributions) through the use of Wasserstein barycenters instead of simple scaling. To demonstrate the effects and effectiveness of the approach we employ it on real data and discuss its implications. This part will be based on recent work with François Hu and Philipp Ratz (2310.20508, 2309.06627, 2306.12912 and 2306.10155). In the second part, we will focus on another aspect of discrimination usually called « counterfactual fairness », where the goal is to quantify a potential discrimination « if that person had not been Black » or « if that person had not been a woman ». The standard approach, called « ceteris paribus » (everything remains unchanged) is not sufficient to take into account indirect discrimination, and therefore, we consider a « mutates mutants » approach based on optimal transport. With multiple features, optimal transport becomes more challenging and we suggest a sequential approach based on probabilistic graphical models. This part will be based on recent work with Agathe Fernandes Machado and Ewen Gallic (2408.03425 and 2501.15549).
Algorithmic fairness has received considerable attention due to the failures of various predictive AI systems that have been found to be unfairly biased against subgroups of the population. Many approaches have been proposed to mitigate such biases in predictive systems, however, they often struggle to provide accurate estimates and transparent correction mechanisms in the case where multiple sensitive variables, such as a combination of gender and race, are involved. This paper introduces a new open source Python package, EquiPy, which provides a easy-to-use and model agnostic toolbox for efficiently achieving fairness across multiple sensitive variables. It also offers comprehensive graphic utilities to enable the user to interpret the influence of each sensitive variable within a global context. EquiPy makes use of theoretical results that allow the complexity arising from the use of multiple variables to be broken down into easier-to-solve sub-problems. We demonstrate the ease of use for both mitigation and interpretation on publicly available data derived from the US Census and provide sample code for its use.
After the colloquium yesterday and our conference diner in a beautiful restaurant, downtown, we are back to work at the “Montréal – Guanajuato Workshop on Probability and Machine Learning“. Third day, with a focus on machine learning. Courtney Paquette (McGill) was our first plenary speaker on ‘High-dimensional Optimization with Applications to Compute-Optimal Neural Scaling Laws’, then Emilien Joly Joly (CIMAT) second plenary speaker on ‘GROS: A Unified Framework for Robust Aggregation in Metric Spaces with Applications to Machine Learning and Statistics’ , Marouane Il Idrissi (UQAM); Wilson Zuniga Galingo (Texas); Juan Jiminez (Ottawa); James Melbourne (CIMAT), our third plenary speaker on ‘Towards optimal privacy mechanisms under estimated sensitivity’; and finally Imanol Nuñez Morales (CIMAT). It is a great, workshop, thanks again to our sponsors (Quantact, SCOR Foundation for Science, CIMAT and the probability lab of Centre de recherches mathématiques (CRM)), thanks to the organizing team (mainly Dante Mata López, without whom nothing would have been possible), the great and enthusiastic speakers we had, and a terrific location…
"sendo l'intento mio scrivere cosa utile a chi la intende…"