Mesurer et corriger les biais dans les systèmes d’IA

Ce midi, je participerai (en ligne) aux lundis de l’IA et de la finance, avec comme thème “mesurer et corriger les biais dans les systèmes d’IA”, dans le cadre d’un séminaire co-organisé par l’Autorité de Contrôle Prudentiel et de Résolution (ACPR/Banque de France) et Télécom Paris. Mon intervention, en ouverture, reviendra sur l’équité dans le contexte de l’assurance [les slides sont disponibles].

Comme le soulignait la page des lundis de l’IA et de la finance, le cas de l’assurance est assez particulier, car le métier des actuaires est précisément de discriminer, de créer des classes de risques aussi homogènes que possible, sur la base d’information déclarées, et observées. C’est exactement ce que disait Frererick Schauer dans son livre, lorsqu’il définit l’actuaire. Traduit rapidement, ça donnerait

Être actuaire, c’est être un spécialiste de la généralisation, et les actuaires s’engagent dans une forme de prise de décision que l’on appelle parfois actuarielle. Les actuaires guident les compagnies d’assurance dans la prise de décisions concernant les grandes catégories qui ont pour effet d’attribuer à l’ensemble de la catégorie certaines caractéristiques qui sont indiquées de manière probabiliste par l’appartenance à la catégorie, mais qui peuvent ne pas être possédées par un membre particulier de la catégorie.

Dit de manière plus illustrée, si vous conduisez une voiture de sport, je vous vois comme conducteur de voiture de sport, c’est à dire probablement plus risqué. Ces catégories sont construites sur la base de variables accessible, et son supposées corrélées au risque.

Et dans le Handbook of the Ethics of Discrimination, on va un peu plus loin,

Ce qui est unique dans le domaine de l’assurance, c’est que même la discrimination statistique qui, par définition, est dépourvue d’intentions malveillantes, pose des problèmes moraux et juridiques importants. Pourquoi ? Parce que, d’une part, les décideurs politiques voudraient que les assureurs traitent leurs assurés de manière égale, sans discrimination fondée sur la race, le sexe, l’âge ou d’autres caractéristiques, même s’il est statistiquement logique de discriminer (…) D’autre part, au cœur de l’activité d’assurance se trouve la discrimination entre les assurés risqués et non risqués. Or, le risque est souvent statistiquement corrélé aux caractéristiques mêmes que les décideurs politiques voudraient interdire aux assureurs de prendre en compte.

Un autre soucis est que souvent, l’actuaire, manipulant des chiffres, est perçu comme neutre, surtout s’il s’est contenté de laisser parler les chiffres comme on peut parfois l’entendre

le mythe de l’actuaire (…) une situation rhétorique puissante dans laquelle les décisions semblent être basées sur des critères objectivement déterminés alors qu’elles sont en grande partie basées sur des critères subjectifs (…) le caractère subjectif d’un processus apparemment objectif

Dans mon exposé, je vais m’intéresser à un problème un peu particulier, à savoir la tarification, pour des contrats d’assurance de particuliers. Quelque part, on considère le problème en fin de chaîne (mais c’est souvent à cette étape que l’assuré peut se sentir lésé). Or les actuaires utilisent des données qui sont souvent largement biaisés, avec possiblement des biais discriminatoires dans telle ou telle prise de décision.

Je vais revenir un instant sur les principales notions d’équité de groupe, où, dans le contexte des classifieurs, on essayer de modéliser une décision binaire,

Le principal soucis avec ces trois définitions est qu’elles sont au pire contradictoires… et choisir une définition plutôt qu’une autre peut être simple du “fairwashing”. Je reviens ainsi sur le fameux exemple publié par Probublica, une lecture des données voyant la discrimination sous l’angle de l’égalité des côtes montre que l’algorithme est probablement raciste

alors qu’une lecture sur la base d’une approche basée sur la calibration (obtenues en inversant le conditionnement entre y[\latex] et \widehat{y}[\latex] donne une lecture beaucoup plus ambigüe du problème,

Un autre point est que la plupart des définitions se contentent de regarder la décision binaire, la classe prédite. Or bien souvent, c'est le score sous-jacent qui est important. En assurance, ce score se traduit directement dans la prime par exemple... Quand on regarde juste la décision, il est assez facile d'obtenir une règle de décision équitable et non-discriminatoire: il suffit de changer le seuil (permettant d'affirmer qu'un score élevé donne une prévision de 1).

On peut néanmoins demander une équité beaucoup plus forte, en demandant une forme d'égalité sur la distribution des scores sur l'ensemble du portefeuille, entre les classes protégés.

Il est en fait possible, alors, ex-post, d'opérer une distorsion sur les scores prédits pour garantir d'avoir la même distribution, tout en gardant un pouvoir prédictif important, c'est l'idée de prendre le barycentre de Wasserstein qui revient simplement à prendre des moyennes des modèles, à quantile de risque donné...

On fait alors de la discrimination positive, mais c'est un choix, clairement....

Revenons maintenant un peu en arrière. Peut-on arriver à un tarif neutre par rapport à une variable sensible, simplement en enlevant la variable sensible. Si on regarde l'approche par équité démographique, non, clairement non. Pour faire simple, sur cet exemple, on a la survenance d'accident en assurance auto, supposé binaire, 15 variables prédictive, et le genre du conducteur principale. Dans tous les modèles, on s'interdit d'utiliser le genre. Mais comme on l'a, on peut comparer les primes moyennes des hommes et des femmes, avec 1, 2, 8, 15 variables prédictives, encore une fois, sans jamais utiliser le genre du conducteur. Avec une dizaine de variable, on retrouve une moyenne des primes des hommes et des femmes qui sont discriminées au maximum... Ça ne veut pas dire que le modèle peut apprendre avec ces 15 variables, et l'utiliser. (1) le modèle s'en moque, il ne sait pas ce que c'est que le genre (2) mais surtout, le modèle, son seul but, c'est de généraliser comme on dit en machine learning, c'est de reproduire ce qu'il a observé dans les données d'entrainement. Par tous les moyens. Si deux groupes présentes des moyennes différentes de sinistralités, l'algorithme d'apprentissage demande de généraliser sur des données similaires, et donc il reproduira la différence...

Formellement, on tombe sur un problème classique. Dans les données d'apprentissage, il y a une différence entre les hommes et les femmes. Ce qu'on souhaite, c'est faire disparaitre la différence. Sans le demander explicitement à l'algorithme, c'est impossible qu'il y arrive tout seul. Mais c'est souvent pas simple en pratique...

Par exemple, dans la vraie vie, il y peut y avoir plusieurs variables sensibles... et parfois, atténuer la discrimination suivant une variable pourrait augmenter la discrimination suivant une autre...

Un autre soucis c'est que parfois, les informations sensibles sont... inaccessibles. En Europe, c'est souvent le cas pour la plupart des variables sensible, en grande partie à cause du règlement général sur la protection des données (RGPD), je reviendrais là dessus très bien, sur cette tension entre la protection de la vie privée, et la demande de non-discrimination... Dans le Colorado, l'autorité de contrôle des assurances a demandé aux assureurs de prouver qu'ils ne discriminaient pas sur la base de l'origine ethnique (inversant ainsi la charge de la preuve), mais les assureurs ont répondu qu'ils ne demandaient pas cette information. La réponse étonnante du régulateur a été de demander aux assureurs de prédire l'origine ethnique de leurs assurés, et de l'utiliser pour prouver qu'ils ne discriminaient pas (sur cette base)

Avant de conclure, on n'a abordé ici que l'aspect dit de groupe, qui concerne souvent la vision du régulateur, mais il existe une vision des assurés, qui ont une vision plus individuelle du problème... mais on va garder ça pour une autre fois...

Un dernier slide pour conclure... pour rappeler qu'un soucis avec la discrimination en assurance, c'est qu'elle remet en cause beaucoup de pratiques fondamentales des actuaires. Ne pas y répondre ne permettra en aucun cas de résoudre les problèmes. Ne pas collecter les données n'est en aucun cas une solution (mais j'ai écrit des billets de blog sur le sujet depuis presque 20 ans...). Et finalement, une dernière piste de réflexion, malheuresement assez fondamentale...

Dans tous l'exposé, j'ai dit qu'on avait des métriques, avec des \mathbb{E}/latex] dans tous les sens, sous entendu, des espérances calculées sur les probabilités associées aux portefeuilles... les métriques \mathbb{P}/latex] sont estimées par assureurs. Or veut-on une équité par assureur, ou pour le marché ? Si on y réfléchit 2 minutes, imaginons un monde avec deux assureurs, un qui propose des prix segmentés, relativement bas, avec juste des femmes dans son portefeuille; un autre un qui propose des prix segmentés, relativement hauts, avec juste des hommes dans son portefeuille. Chaque assureur peut sembler équitable, et passera tous les tests, juste parce qu'il n'a pas l'autre sensible dans son portefeuille.... mais le marché n'est pas juste pour autant. Je le raconte un peu rapidement, mais c'est ce qu'on a essayé d'expliquer dans selection bias in insurance: why portfolio-specific fairness fails to extend market-wide.

Allez, on a fait le tour... j'ai l'impression que ça ne sert plus à grand chose de venir m'écouter ce midi finalement...


OpenEdition suggests that you cite this post as follows:
Arthur Charpentier (April 7, 2025). Mesurer et corriger les biais dans les systèmes d’IA. Freakonometrics. Retrieved April 19, 2025 from https://doi.org/10.58079/13oxx


Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.