Tag Archives: fairness

On my way to Tsinghua (清华大学), Beijing

Next week, I will be at Tsinghua University in Beijing. On Tuesday, in the early afternoon, I will give three lectures for undergraduate students on the theme: ‘Three lectures on AI and its implications for actuarial (and/or financial) professions.

These lectures explore the relationship between artificial intelligence and insurance. They begin from the observation that insurance has long relied on prediction, classification, and decision-making under uncertainty, well before the recent rise of AI. AI therefore does not introduce these issues from scratch, but changes their scale, granularity, and practical consequences. The lectures review the insurance foundations of pricing and pooling, then examine the main challenges raised by AI, including personalization, selection, causality, bias, fairness, governance, and trust. They finally turn to the concrete uses of AI across the insurance value chain, emphasizing that a good system should not be judged by accuracy alone, but also by its calibration, its fairness, and its ability to support real decisions in practice.

In the evening, I will give a talk at the seminar, at Renmin University of China, on the theme: ‘Using optimal transport to mitigate unfair predictions and quantify counterfactual fairness.’ The first part will revisit topics that I presented in greater detail in the lectures notes of my course this autumn at Kyoto University, particularly the price to be paid in terms of accuracy in order to achieve fairness. The second part will discuss the paper ‘Sequential Transport for Causal Mediation Analysis,’ which was posted online a few days ago.

On Wednesday, I will have in-depth academic exchange session with students from the Tsinghua Actuarial Science Association, at Tsinghua University.

Mesurer l’équité “globale” quand les données sont dispersées

Avec Agathe Fernandes Machado, Olivier Côté et François Hu, on a mis en ligne un papier, Federated Measurement of Demographic Disparities from Quantile Sketches. Le point de départ est assez simple. On peut imaginer qu’un modèle de score (mesurant un risque de récidive, une probabilité de réadmission à l’hôpital, un score de crédit…) soit déployé dans plusieurs institutions : hôpitaux, tribunaux, banques, assureurs. Chacun collecte ses données, utilise un modèle, et conserve jalousement ses bases. Parfois par obligation légale (RGPD, secret médical), parfois par contraintes techniques, parfois par réticence organisationnelle. Le problème, c’est qu’un régulateur veut savoir si le score est discriminatoire, sans jamais centraliser les données brutes. En fait, c’est assez réaliste comme situation, beaucoup d’objectifs de justice algorithmique étant définis au niveau de la population, et pas localement. Les régulateurs et les directions conformité demandent : “Est-ce que le système, globalement, traite de la même façon les groupes protégés ?” Pas : “Chaque institution, isolément, a-t-elle l’air correcte ?” On montre dans notre article que des audits locaux peuvent être rassurants tout en étant trompeurs, parce que l’injustice peut naître précisément de ce que l’on ne voit pas en restant silo par silo. Et la bonne nouvelle, c’est qu’on peut estimer l’inéquité globale avec une communication très limitée, en demandant à chaque silo seulement des comptages et quelques quantiles de ses scores.

Dans le papier, on identifie deux sources majeures de décalage entre l’audit local et l’audit global.

Les effets de composition : une “version fairness” du paradoxe de Simpson. Même si chaque silo semble traiter les groupes de manière similaire, la répartition des groupes entre silos peut être très différente. Un groupe peut être sur-représenté dans certains hôpitaux, certains tribunaux, certaines zones géographiques… Et si ces silos n’ont pas le même profil de scores (parce que les populations, les pratiques ou les contextes diffèrent), alors l’agrégation peut créer un écart global qui n’apparaît nulle part localement.

L’hétérogénéité inter-silos : la “stratification cachée”  Deux silos peuvent produire des scores d’allure différente (distribution plus “optimiste”, plus “pessimiste”, plus dispersée…), même au sein d’un même groupe sensible. Localement, chacun peut avoir des métriques acceptables. Mais une fois les données mises bout à bout, ces différences deviennent visibles et peuvent amplifier une disparité entre groupes. Dans les domaines sensibles (santé, justice pénale), cette hétérogénéité est courante : pratiques de codage, accès aux soins, critères de triage, politiques locales…

D’un point de vue pratique, on propose un protocole d’audit en un seul aller-retour : chaque silo envoie, pour chaque groupe sensible le nombre d’individus dans ce groupe (un simple comptage), k quantiles du score (par exemple k = 25, 50 ou 100), sur une grille commune. Et c’est tout. Pas de scores individuels, pas de features, pas d’exemples. Ce genre de résumé est déjà produit par de nombreux systèmes de monitoring via des quantile sketches utilisés pour suivre des distributions. À partir de ces quantiles, le serveur peut reconstruire une approximation des distributions globales par groupe, puis calculer la disparité populationnelle. Théoriquement, l’erreur due à la discrétisation décroît comme 1/k : plus on envoie de quantiles, plus la courbe reconstruite est fine. Et on montre sur des données réelles que quelques dizaines suffisent.

En bonus, on propose aussi une méthode permettant de comprendre, si on mesure un écart, pourquoi il apparaît. On obtient en particulier une décomposition de type ANOVA qui sépare : une part due aux effets de mélange / composition (le “Simpson fairness”), une part due à la vraie hétérogénéité inter-silos (différences structurelles de score), et un terme d’interaction qui peut amplifier ou compenser (mais reste contrôlé).

Bref, on montre qu’en environnement fédéré, l’équité populationnelle n’est pas la moyenne de l’équité locale. Elle dépend des mélanges, des flux, des biais d’affectation et des variations inter-silos. Donc la bonne question n’est pas “chaque silo est-il juste ?”, mais “le système fédéré, en tant que mécanisme de production de scores, est-il juste au niveau population ?” La bonne nouvelle, c’est qu’on peut répondre à cette question sans centraliser les données, en ne partageant qu’une poignée de quantiles et des comptes, en une seule communication.

Beyond Procedure: Substantive Fairness in Conformal Prediction

Our paper, Beyond Procedure: Substantive Fairness in Conformal Prediction, with Pengqi Liu, Zijun Yu, Mouloud Belbahri, Masoud Asgharian, and Jesse Cresswell, is now available on https://arxiv.org/abs/2602.16794

Conformal prediction (CP) offers distribution-free uncertainty quantification for machine learning models, yet its interplay with fairness in downstream decision-making remains underexplored. Moving beyond CP as a standalone operation (procedural fairness), we analyze the holistic decision-making pipeline to evaluate substantive fairness-the equity of downstream outcomes. Theoretically, we derive an upper bound that decomposes prediction-set size disparity into interpretable components, clarifying how label-clustered CP helps control method-driven contributions to unfairness. To facilitate scalable empirical analysis, we introduce an LLM-in-the-loop evaluator that approximates human assessment of substantive fairness across diverse modalities. Our experiments reveal that label-clustered CP variants consistently deliver superior substantive fairness. Finally, we empirically show that equalized set sizes, rather than coverage, strongly correlate with improved substantive fairness, enabling practitioners to design more fair CP systems. Our code is available at this https URL.

Au-delà de la procédure, quand “bien calibrer” ne suffit pas à être juste

Quand on parle d’IA “responsable”, souvent, on englobe deux choses. La fiabilité (on comprend ce qu’on fait) et l’équité (on traite tout le monde pareil). Dit comme ça, ça semble simple et clair. Mais forcément, dans la vraie vie, c’est un peu plus subtil. En particulier on peut avoir une procédure statistiquement irréprochable, juste… et produire quand même des décisions inéquitables, une fois mise en place. C’est ce qu’on essayait de comprendre (et de mesurer) dans “Beyond Procedure: Substantive Fairness in Conformal Prediction“, coécrit avec Pengqi Liu, Zijun Yu, Mouloud Belbahri, Masoud Asgharian, et Jesse Cresswell: la conformité d’une procédure ne garantit pas la justice de ses effets.

Passer de la “fairness” de la méthode à la “fairness” des conséquences

Cette distinction rappelle des discussions en cours d’éthique : faut-il dire qu’un système est juste parce que sa règle est la même pour tous (vision procédurale, proche d’une éthique des principes), ou parce qu’il produit des effets équitables (vision conséquentialiste) ? Ici, l’enjeu n’est pas tant de “maximiser” un score global que de vérifier que l’aide fournie ne profite pas surtout à certains groupes. En terme méthodologique, notre article s’inscrit dans la littérature sur la prédiction conforme (conformal prediction, CP). L’intuition est assez simple pour des classifieurs (c’est le cadre qu’on regarde ici). Au lieu de prédire une seule étiquette (“il va pleuvoir”, “c’est un médecin”, “c’est la classe 7”, “ce revenu est dans telle tranche”), on prédit un ensemble de réponses plausibles. Avec un degré de confiance. Par exemple “je suis sûr à 90% que la bonne réponse est dans cette liste.” Cette promesse, on appelle ça la couverture. À un niveau 90%, CP garantit que, en moyenne, la vérité est bien dans l’ensemble retourné. Autrement dit, peu importe le modèle, peu importe la distribution, on a une garantie statistique robuste. Mais dans la vraie vie, personne ne décide à partir d’une garantie abstraite de couverture. On décide à partir de l’ensemble de prédictions fournies. Et cet ensemble peut varier fortement d’une personne à l’autre, ou d’un groupe à l’autre.

  • Si l’ensemble contient 1 réponse, c’est presque une décision automatique.
  • S’il en contient 7, c’est une aide beaucoup plus vague : on hésite, on délègue, on choisit “au feeling”, ou on s’en remet à un autre processus.

Autrement dit, une même “garantie à 90%” peut se traduire par des niveaux d’aide très différents. Pour revenir à ce que je disais au début, on fait une distinction centrale dans le papier entre :

  • la Fairness procédurale : la méthode respecte des critères “internes” (ex. même couverture par groupe).
  • la Fairness substantive : au final, l’outil améliore (ou dégrade) l’équité des résultats et des bénéfices entre groupes.

Mais “égaliser la couverture” peut aggraver l’iniquité

Dans la littérature, une idée a longtemps semblé naturelle. Si on veut être juste entre groupes (genre, âge, origine…), alors il faut que la garantie statistique soit la même pour tous. En CP, cela conduit à ce qu’on appelle l’Equalized Coverage : calibrer séparément par groupe, pour que chacun obtienne, disons, 90% de couverture. Sur le plan procédural, c’est pas mal, mais sur le plan des conséquences, le papier montre que cela peut être un mauvais objectif. Pourquoi ? Tout simplement parce que calibrer par groupe revient à découper les données de calibration. Dans ce cas, certains groupes ont moins d’exemples, ce qui rend les seuils plus instables. Et pour tenir la couverture, on compense souvent en produisant des ensembles plus grands pour certains groupes. Et si un groupe reçoit systématiquement des ensembles plus larges, il reçoit une aide moins facile à utiliser en pratique.

Le papier propose alors en avant un autre indicateur procédural, plus proche des effets : l’Equalized Set Size (parité de taille des ensembles). Et ce qu’on montre, c’est que dans les expériences, la parité de taille est fortement associée à une meilleure équité des résultats, tandis que la parité de couverture est souvent corrélée à une équité plus mauvaise. Dit autrement, optimiser le bon niveau de couverture peut pousser dans la mauvaise direction du point de vue social.

Mesurer l’équité “substantive” sans mobiliser des centaines de participants

En pratique, évaluer l’équité des conséquences est coûteux, puisqu’il faudrait idéalement des expériences avec des humains, parce que ce sont eux (ou leurs règles décisionnelles) qui transforment l’ensemble de prédiction en décision. On a essayé d’être pragmatique, en remplaçant l’évaluateur humain par un LLM dans un protocole contrôlé (LLM-in-the-loop), de façon à simuler l’usage des ensembles de prédiction comme “aide à la décision”, à grande échelle, sur plusieurs modalités (image, texte, audio, tabulaire). L’idée n’est pas de dire que “les LLM pensent comme nous” en général, mais de construire un protocole où l’on peut donner au modèle une tâche (ex. prédire une profession, une émotion, une tranche de revenu), lui donner (ou non) l’ensemble conforme + une phrase de garantie (“la vraie réponse est dedans avec 90% de confiance”) et mesurer combien l’aide améliore l’exactitude, et surtout si cette amélioration est partagée équitablement entre groupes. Pour quantifier cette équité, on utilise une mesure inspirée des essais contrôlés, la disparité maximale de bénéfice entre groupes, résumée par un indicateur de type maxROR (une façon de comparer l’ampleur du “gain” entre groupes). Plus maxROR est faible, plus l’amélioration procurée par l’outil est équitable.

La taille des ensembles explique mieux l’équité réelle que la couverture

Sur quatre tâches (vision, texte, audio, données tabulaires) et plusieurs méthodes, on a un constat assez robuste. Tout d’abord, les méthodes qui cherchent à égaliser la couverture (Mondrian, group-clustered) ne sont pas celles qui donnent les meilleurs résultats en équité “substantive”. Mais en plus,  les méthodes qui réduisent les écarts de taille d’ensemble (en particulier Label-Clustered CP, et parfois Backward CP) tendent à produire une amélioration plus équitable. Autrement dit, la prédiction conforme donne une garantie statistique particulièrement intéressante, mais la justice réelle se joue dans l’usage, et on montre que, pour des décisions assistées, l’égalité de taille des ensembles est souvent un meilleur levier d’équité que l’égalité de couverture.

Modeling and Understanding Indirect Discrimination in Algorithmic Fairness

In a couple of days, I will give a talk on “Modeling and Understanding Indirect Discrimination in Algorithmic Fairness” at Singapore campus – ESSEC Asia-Pacific. The abstract is

Observed disparities between groups in algorithmic decisions (whether in hiring, credit approval, or risk prediction) do not necessarily imply direct discrimination. They may also stem from legitimate differences in the distribution of explanatory attributes. Understanding and quantifying which components of these gaps are “explained” versus those that reflect direct or indirect discrimination lies at the core of modern causal approaches to algorithmic fairness. This talk will begin with an accessible introduction to group-gap decomposition, building on the classical Kitagawa–Oaxaca–Blinder econometric framework. This approach separates differences attributable to observable characteristics from residual components that may signal discriminatory effects. The second part will introduce recent developments leveraging optimal transport to construct individual-level counterfactuals, enabling estimation of direct and indirect causal effects for each observation. In particular, we will show how sequential transport mappings aligned with a causal graph can disentangle pathways and quantify the contribution of each mediator. This methodology overcomes limitations of traditional linear models, introduced by Kitagawa, Oaxaca and Blinder, provides interpretable counterfactuals, and is well suited to complex empirical settings. The presentation will combine intuitive motivation, illustrative examples, and recent research insights, with the goal of making these tools accessible and useful to researchers in management science, applied economics, and data science.

Talk at NTU (Nanyang) in Singapore

Tomorrow, I will be at Nanyang Technological University to give a talk at an internal seminar, “Fairness and discrimination in insurance

What’s unique about insurance is that even statistical discrimination, which by definition is devoid of malicious intent, poses significant challenges. Because, on the one hand, policymakers would like insurers to treat their policyholders equally, without discrimination based on race, gender, age or other characteristics, even if it could make (statistical) sense to (indirectly) discriminate. On the other hand, at the core of actuaries’ activities lies discrimination, between risky and non-risky policyholders. And this risk is often statistically correlated with sensitive characteristics that regulation would like to prohibit insurers from taking into account. The analysis of possible discrimination in decision rules, whether human or algorithmic, is an old subject. Most of the concepts date back at least to the 50s, but recent developments in artificial intelligence have brought these issues back into the spotlight. Massive data facilitate statistical or proxy discrimination, and black-box algorithms do not facilitate understanding. Not to mention the various regulations that make it difficult to collect sensitive information, and ultimately test whether decisions can be discriminated against, especially indirectly.

The talk is based on the textbook Insurance, Biases, Discrimination and Fairness, as well as recent papers, arXiv:2511.11294 (AAAI’26), arXiv:2408.03425 (AAAI’25), arXiv:2309.06627 (AAAI’24) and arXiv:2306.12912  (ECML’24).

III Congreso Universitario Internacional sobre Seguros y Reaseguros en Perú

In a few hours, I will give a talk at the III Congreso Universitario Internacional sobre Seguros y Reaseguros en Perú,

I will give a talk on Detecting Hidden Bias in Insurance AI Through Counterfactuals

As AI becomes embedded in underwriting, pricing, fraud detection, and claims automation, one challenge remains widely underestimated: models can discriminate without ever using a prohibited variable. Indirect discrimination (i.e., bias transmitted through correlated or downstream variables) poses a subtle but critical risk for insurers, all the more since actuarial science heavily rely on model based on proxy variables. This presentation will explore how causal reasoning and counterfactual thinking can illuminate what standard machine learning methods often obscure. I will begin with intuitive economic decompositions of group disparities, then show how recent advances in optimal-transport-based counterfactuals enable us to ask: “What would this prediction have been if the sensitive attribute had been different?” Drawing on recent framework for causal mediation via sequential optimal transport , we will see how actuaries can break down total model disparities into direct and indirect components (even with complex mediators such as behavioral features, prior claims history, or categorical underwriting variables). The goal of the session is to leave the audience with a clear understanding of where hidden bias may emerge in insurance AI systems, how to diagnose it using modern causal tools, and how these insights support better governance, transparency, and compliance. A forward-looking, accessible presentation to close the day and open new perspectives on fair and responsible AI in insurance.

o (pero no daré mi charla en español) Detección de Sesgos Ocultos en la IA de Seguros con Métodos Contrafactuales

A medida que la inteligencia artificial se integra en la suscripción, la tarificación, la detección de fraude y la automatización de siniestros, surge un desafío que a menudo se subestima: los modelos pueden discriminar sin necesidad de utilizar explícitamente una variable prohibida. La discriminación indirecta —es decir, el sesgo que se transmite a través de variables correlacionadas o situadas aguas abajo— representa un riesgo sutil pero crítico para las aseguradoras, especialmente considerando que la ciencia actuarial depende fuertemente de modelos basados en variables proxy. Esta presentación explorará cómo el razonamiento causal y el pensamiento contrafactual pueden revelar aquello que los métodos tradicionales de machine learning suelen ocultar. Comenzaré con descomposiciones económicas intuitivas de las disparidades entre grupos y luego mostraré cómo los avances recientes en contrafactuales basados en transporte óptimo permiten formular la pregunta: “¿Cuál habría sido la predicción si el atributo sensible hubiera sido diferente?” Basándonos en marcos recientes de mediación causal mediante transporte óptimo secuencial, veremos cómo los actuarios pueden descomponer las disparidades totales de un modelo en componentes directos e indirectos, incluso cuando existen mediadores complejos como variables de comportamiento, historial de siniestros o características categóricas de suscripción. El objetivo de la sesión es ofrecer al público una comprensión clara de dónde pueden surgir sesgos ocultos en los sistemas de IA utilizados en seguros, cómo diagnosticarlos utilizando herramientas causales modernas, y cómo estos enfoques pueden fortalecer la gobernanza, la transparencia y el cumplimiento regulatorio. Una presentación accesible y orientada al futuro, ideal para cerrar la jornada e introducir nuevas perspectivas sobre una inteligencia artificial justa y responsable en el sector asegurador.

Actuarial Pricing Discrimination and Fairness

Tomorrow, I will give a talk for the “pricing seminar” of a major insurance company. The slides are available online, and it will be on “Actuarial Pricing Discrimination and Fairness“. As always, my talk will explore why actuarial pricing inherently relies on discrimination between groups, and how this raises deep conceptual, legal, and ethical challenges. The objective is to understand both the mathematical foundations of “fairness” and the regulatory tensions that emerge.

Continue reading Actuarial Pricing Discrimination and Fairness

Decomposing Direct and Indirect Biases in Linear Models under Demographic Parity Constraint

Our paper “Decomposing Direct and Indirect Biases in Linear Models under Demographic Parity Constraint“, with Bertille Tierny and François Hu is now online on ArXiv.

Linear models are widely used in high-stakes decision-making due to their simplicity and interpretability. Yet when fairness constraints such as demographic parity are introduced, their effects on model coefficients, and thus on how predictive bias is distributed across features, remain opaque. Existing approaches on linear models often rely on strong and unrealistic assumptions, or overlook the explicit role of the sensitive attribute, limiting their practical utility for fairness assessment. We extend the work of (Chzhen and Schreuder, 2022) and (Fukuchi and Sakuma, 2023) by proposing a post-processing framework that can be applied on top of any linear model to decompose the resulting bias into direct (sensitive-attribute) and indirect (correlated-features) components. Our method analytically characterizes how demographic parity reshapes each model coefficient, including those of both sensitive and non-sensitive features. This enables a transparent, feature-level interpretation of fairness interventions and reveals how bias may persist or shift through correlated variables. Our framework requires no retraining and provides actionable insights for model auditing and mitigation. Experiments on both synthetic and real-world datasets demonstrate that our method captures fairness dynamics missed by prior work, offering a practical and interpretable tool for responsible deployment of linear models.

On sera à Singapour pour le présenter fin janvier, à AAAI 2026, 40th Annual AAAI Conference on Artificial Intelligence.

CAS 2025 Annual Meeting, in Austin, Texas

This morning, Olivier Côté was invited to speak for one hour at the “CS-44 – Operationalizing Fairness in Actuarial Pricing: From Principle to Practice” session, at the CAS 2025 Annual Meeting, in Austin, Texas (US).

Fairness metrics often lack actuarial relevance and are expressed in abstract units, obscuring real-world consequences. For actuaries to intervene, proxy effects and unfair biases must be quantified in insurance-relevant terms: dollars and people. This session will present new research from the CAS Race and Insurance Pricing series, focusing on the unique challenge of establishing fairness in actuarial pricing. We argue that actuarial fairness, solidarity, and causality form the three dimensions of fairness in insurance. These give rise to a five-point spectrum of pricing benchmarks, each reflecting distinct fairness goals and trade-offs. We quantify the monetary impact of unfairness at both the policyholder and segment levels through a large-scale Québec auto insurance case study.