Tag Archives: CP

Beyond Procedure: Substantive Fairness in Conformal Prediction

Our paper, Beyond Procedure: Substantive Fairness in Conformal Prediction, with Pengqi Liu, Zijun Yu, Mouloud Belbahri, Masoud Asgharian, and Jesse Cresswell, is now available on https://arxiv.org/abs/2602.16794

Conformal prediction (CP) offers distribution-free uncertainty quantification for machine learning models, yet its interplay with fairness in downstream decision-making remains underexplored. Moving beyond CP as a standalone operation (procedural fairness), we analyze the holistic decision-making pipeline to evaluate substantive fairness-the equity of downstream outcomes. Theoretically, we derive an upper bound that decomposes prediction-set size disparity into interpretable components, clarifying how label-clustered CP helps control method-driven contributions to unfairness. To facilitate scalable empirical analysis, we introduce an LLM-in-the-loop evaluator that approximates human assessment of substantive fairness across diverse modalities. Our experiments reveal that label-clustered CP variants consistently deliver superior substantive fairness. Finally, we empirically show that equalized set sizes, rather than coverage, strongly correlate with improved substantive fairness, enabling practitioners to design more fair CP systems. Our code is available at this https URL.

Au-delà de la procédure, quand “bien calibrer” ne suffit pas à être juste

Quand on parle d’IA “responsable”, souvent, on englobe deux choses. La fiabilité (on comprend ce qu’on fait) et l’équité (on traite tout le monde pareil). Dit comme ça, ça semble simple et clair. Mais forcément, dans la vraie vie, c’est un peu plus subtil. En particulier on peut avoir une procédure statistiquement irréprochable, juste… et produire quand même des décisions inéquitables, une fois mise en place. C’est ce qu’on essayait de comprendre (et de mesurer) dans “Beyond Procedure: Substantive Fairness in Conformal Prediction“, coécrit avec Pengqi Liu, Zijun Yu, Mouloud Belbahri, Masoud Asgharian, et Jesse Cresswell: la conformité d’une procédure ne garantit pas la justice de ses effets.

Passer de la “fairness” de la méthode à la “fairness” des conséquences

Cette distinction rappelle des discussions en cours d’éthique : faut-il dire qu’un système est juste parce que sa règle est la même pour tous (vision procédurale, proche d’une éthique des principes), ou parce qu’il produit des effets équitables (vision conséquentialiste) ? Ici, l’enjeu n’est pas tant de “maximiser” un score global que de vérifier que l’aide fournie ne profite pas surtout à certains groupes. En terme méthodologique, notre article s’inscrit dans la littérature sur la prédiction conforme (conformal prediction, CP). L’intuition est assez simple pour des classifieurs (c’est le cadre qu’on regarde ici). Au lieu de prédire une seule étiquette (“il va pleuvoir”, “c’est un médecin”, “c’est la classe 7”, “ce revenu est dans telle tranche”), on prédit un ensemble de réponses plausibles. Avec un degré de confiance. Par exemple “je suis sûr à 90% que la bonne réponse est dans cette liste.” Cette promesse, on appelle ça la couverture. À un niveau 90%, CP garantit que, en moyenne, la vérité est bien dans l’ensemble retourné. Autrement dit, peu importe le modèle, peu importe la distribution, on a une garantie statistique robuste. Mais dans la vraie vie, personne ne décide à partir d’une garantie abstraite de couverture. On décide à partir de l’ensemble de prédictions fournies. Et cet ensemble peut varier fortement d’une personne à l’autre, ou d’un groupe à l’autre.

  • Si l’ensemble contient 1 réponse, c’est presque une décision automatique.
  • S’il en contient 7, c’est une aide beaucoup plus vague : on hésite, on délègue, on choisit “au feeling”, ou on s’en remet à un autre processus.

Autrement dit, une même “garantie à 90%” peut se traduire par des niveaux d’aide très différents. Pour revenir à ce que je disais au début, on fait une distinction centrale dans le papier entre :

  • la Fairness procédurale : la méthode respecte des critères “internes” (ex. même couverture par groupe).
  • la Fairness substantive : au final, l’outil améliore (ou dégrade) l’équité des résultats et des bénéfices entre groupes.

Mais “égaliser la couverture” peut aggraver l’iniquité

Dans la littérature, une idée a longtemps semblé naturelle. Si on veut être juste entre groupes (genre, âge, origine…), alors il faut que la garantie statistique soit la même pour tous. En CP, cela conduit à ce qu’on appelle l’Equalized Coverage : calibrer séparément par groupe, pour que chacun obtienne, disons, 90% de couverture. Sur le plan procédural, c’est pas mal, mais sur le plan des conséquences, le papier montre que cela peut être un mauvais objectif. Pourquoi ? Tout simplement parce que calibrer par groupe revient à découper les données de calibration. Dans ce cas, certains groupes ont moins d’exemples, ce qui rend les seuils plus instables. Et pour tenir la couverture, on compense souvent en produisant des ensembles plus grands pour certains groupes. Et si un groupe reçoit systématiquement des ensembles plus larges, il reçoit une aide moins facile à utiliser en pratique.

Le papier propose alors en avant un autre indicateur procédural, plus proche des effets : l’Equalized Set Size (parité de taille des ensembles). Et ce qu’on montre, c’est que dans les expériences, la parité de taille est fortement associée à une meilleure équité des résultats, tandis que la parité de couverture est souvent corrélée à une équité plus mauvaise. Dit autrement, optimiser le bon niveau de couverture peut pousser dans la mauvaise direction du point de vue social.

Mesurer l’équité “substantive” sans mobiliser des centaines de participants

En pratique, évaluer l’équité des conséquences est coûteux, puisqu’il faudrait idéalement des expériences avec des humains, parce que ce sont eux (ou leurs règles décisionnelles) qui transforment l’ensemble de prédiction en décision. On a essayé d’être pragmatique, en remplaçant l’évaluateur humain par un LLM dans un protocole contrôlé (LLM-in-the-loop), de façon à simuler l’usage des ensembles de prédiction comme “aide à la décision”, à grande échelle, sur plusieurs modalités (image, texte, audio, tabulaire). L’idée n’est pas de dire que “les LLM pensent comme nous” en général, mais de construire un protocole où l’on peut donner au modèle une tâche (ex. prédire une profession, une émotion, une tranche de revenu), lui donner (ou non) l’ensemble conforme + une phrase de garantie (“la vraie réponse est dedans avec 90% de confiance”) et mesurer combien l’aide améliore l’exactitude, et surtout si cette amélioration est partagée équitablement entre groupes. Pour quantifier cette équité, on utilise une mesure inspirée des essais contrôlés, la disparité maximale de bénéfice entre groupes, résumée par un indicateur de type maxROR (une façon de comparer l’ampleur du “gain” entre groupes). Plus maxROR est faible, plus l’amélioration procurée par l’outil est équitable.

La taille des ensembles explique mieux l’équité réelle que la couverture

Sur quatre tâches (vision, texte, audio, données tabulaires) et plusieurs méthodes, on a un constat assez robuste. Tout d’abord, les méthodes qui cherchent à égaliser la couverture (Mondrian, group-clustered) ne sont pas celles qui donnent les meilleurs résultats en équité “substantive”. Mais en plus,  les méthodes qui réduisent les écarts de taille d’ensemble (en particulier Label-Clustered CP, et parfois Backward CP) tendent à produire une amélioration plus équitable. Autrement dit, la prédiction conforme donne une garantie statistique particulièrement intéressante, mais la justice réelle se joue dans l’usage, et on montre que, pour des décisions assistées, l’égalité de taille des ensembles est souvent un meilleur levier d’équité que l’égalité de couverture.