Modeling and Understanding Indirect Discrimination in Algorithmic Fairness

In a couple of days, I will give a talk on “Modeling and Understanding Indirect Discrimination in Algorithmic Fairness” at Singapore campus – ESSEC Asia-Pacific. The abstract is

Observed disparities between groups in algorithmic decisions (whether in hiring, credit approval, or risk prediction) do not necessarily imply direct discrimination. They may also stem from legitimate differences in the distribution of explanatory attributes. Understanding and quantifying which components of these gaps are “explained” versus those that reflect direct or indirect discrimination lies at the core of modern causal approaches to algorithmic fairness. This talk will begin with an accessible introduction to group-gap decomposition, building on the classical Kitagawa–Oaxaca–Blinder econometric framework. This approach separates differences attributable to observable characteristics from residual components that may signal discriminatory effects. The second part will introduce recent developments leveraging optimal transport to construct individual-level counterfactuals, enabling estimation of direct and indirect causal effects for each observation. In particular, we will show how sequential transport mappings aligned with a causal graph can disentangle pathways and quantify the contribution of each mediator. This methodology overcomes limitations of traditional linear models, introduced by Kitagawa, Oaxaca and Blinder, provides interpretable counterfactuals, and is well suited to complex empirical settings. The presentation will combine intuitive motivation, illustrative examples, and recent research insights, with the goal of making these tools accessible and useful to researchers in management science, applied economics, and data science.

Talk at NTU (Nanyang) in Singapore

Tomorrow, I will be at Nanyang Technological University to give a talk at an internal seminar, “Fairness and discrimination in insurance

What’s unique about insurance is that even statistical discrimination, which by definition is devoid of malicious intent, poses significant challenges. Because, on the one hand, policymakers would like insurers to treat their policyholders equally, without discrimination based on race, gender, age or other characteristics, even if it could make (statistical) sense to (indirectly) discriminate. On the other hand, at the core of actuaries’ activities lies discrimination, between risky and non-risky policyholders. And this risk is often statistically correlated with sensitive characteristics that regulation would like to prohibit insurers from taking into account. The analysis of possible discrimination in decision rules, whether human or algorithmic, is an old subject. Most of the concepts date back at least to the 50s, but recent developments in artificial intelligence have brought these issues back into the spotlight. Massive data facilitate statistical or proxy discrimination, and black-box algorithms do not facilitate understanding. Not to mention the various regulations that make it difficult to collect sensitive information, and ultimately test whether decisions can be discriminated against, especially indirectly.

The talk is based on the textbook Insurance, Biases, Discrimination and Fairness, as well as recent papers, arXiv:2511.11294 (AAAI’26), arXiv:2408.03425 (AAAI’25), arXiv:2309.06627 (AAAI’24) and arXiv:2306.12912  (ECML’24).

Buzy week in Singapore

It has been a buzy week at the 40th Annual AAAI Conference on Artificial Intelligence, here in Singapore where Bertille Tierny and François Hu will give talks (in the “main track”, in the “student track”, in a workshop) to present our recent work, “Decomposing Direct and Indirect Biases in Linear Models under Demographic Parity Constraint“. More to come very soon…

En faire des tonnes pour quelques grammes

Même s’il me démange depuis des mois (des années?), j’écris ce billet un peu à reculons. Il me gêne, il me tire par la manche, et je le repousse depuis. D’abord parce qu’il est inconfortable. Ensuite parce qu’il touche à une problème où le monde universitaire est étrangement incroyablement polarisé. L’avion (dans un contexte de greenwashing académique). D’un côté, j’ai des collègues qui ont arrêté de prendre l’avion. Vraiment. Plus de déplacements depuis des années. Et ils continuent à faire une recherche de qualité, à encadrer admirablement des étudiants, à faire vivre des collectifs. Ils ont pris la mesure de ce que signifie le changement climatique, de la vitesse vertigineuse à laquelle on fonce dans le mur. Je les admire, en un sens. Ils ont tranché, sans s’excuser, sans “… mais”. De l’autre côté, j’ai des collègues qui ne cessent de voyager. Des allers retours transatlantiques pour un séminaire d’une heure. Un workshop d’une journée la semaine suivante. La certitude tranquille que c’est le prix de l’excellence. Pour eux, se poser la question de l’avion, c’est presque un contresens. Si l’on commence à s’attaquer aux chercheurs, autant dire qu’on a perdu de vue les vrais leviers, les vraies émissions, les vrais coupables. Il y a mille autres manières, disent ils, de faire baisser les émissions, avant de venir embêter la recherche. Et puis il y a moi, entre les deux. J’aimerais pouvoir écrire que j’ai une règle simple. Ce n’est pas le cas. J’ai beau être un ours assez asocial, j’aime voyager. J’aime ces semaines de workshop dans un lieu isolé où l’on discute du matin au soir, où quelqu’un peut débloquer un problème en dénichant un article que j’avais manqué. J’aime ces moments où la recherche avance grâce à des gens qui se sont trouvés dans la même pièce, ou à la même terrasse, au bon moment. Mais j’ai mauvaise conscience. Et comme souvent, elle revient au moment où il faut boucler la valise et télécharger la carte d’embarquement. Demain, je dois prendre l’avion. Alors j’en profite pour finir ce billet commencé il y a des mois, et jamais fini… D’abord pour rappeler quelques faits, et décrire nos pratiques à ceux qui ne vivent pas dans le milieu académique, où partir à une conférence dans des endroits exotiques est devenu un geste presque anodin. Mais surtout pour ouvrir la discussion, pour récolter d’autres témoignages, pour entendre parler de labos et d’équipes qui ont des chartes, des principes, découvrir des collectifs qui ont trouvé des compromis intelligents, de collègues qui inventent des solutions originales. Je n’ai pas envie d’écrire un billet qui se termine par “ben, je fais ce que je peux“. J’aimerais plutôt comprendre comment, concrètement, on peut faire mieux. Continue reading En faire des tonnes pour quelques grammes

On my way to Singapore

By the end of the week, I will be in Singapore. I plan to spend some time at the 40th Annual AAAI Conference on Artificial Intelligence, where Bertille Tierny and François Hu will give talks (in the “main track” and in the “student track”) to present our recent work, “Decomposing Direct and Indirect Biases in Linear Models under Demographic Parity Constraint“.

Then I will spend two weeks, invited at ESSEC Asia-Pacific, invited by Pierre Alquier. A couple of talks are also scheduled.

 

The Government Will Foot the Bill!

This post was initially written in French https://freakonometrics.hypotheses.org/87308

Who has never heard this phrase? It comes back almost automatically as soon as a collective risk becomes visible. After a flood, after a wildfire, after a storm, after a drought that lasts too long, you hear, in passing conversation or in an op ed, a formula that sounds like both an obvious truth and a conclusion. That familiar The Government Will Foot the Bill, which I have kept as the title of this post. Sometimes it appears in a gentler form, The government must take responsibility. Sometimes in a harsher after the fact form, They have to pay. In every case, the phrase says something about our relationship to the collective, to solidarity, to justice, and to public money. It also says something about the way we turn a disaster into a political problem.

I wanted to write a post that starts from this formula, not to decide whether the claim is true or false, but to understand what it means, what it hides, and what it forces us to make explicit. The expression has a particular power. It seems simple, but it compresses very different ideas, sometimes contradictory. It can express an expectation of protection. It can express anger. It can express a demand for justice. It can express a vague belief in an unlimited common pot (that famous magic money, as we call it in French) to reuse the well known phrase. It can also express a feeling of individual powerlessness. And depending on the country, the history of institutions, and lived experience of risk, the word government does not evoke the same thing. Still, it is worth noting that this debate about who pays often starts too late, because trying to clarify the government will foot the bill is already turning the phrase into a programme, fiscal and moral.

Continue reading The Government Will Foot the Bill!

C’est l’État qui paiera!

Qui n’a jamais entendu cette phrase ? Elle revient mécaniquement dès qu’un risque collectif devient visible. Après une crue, après un feu de forêt, après une tempête, après une sécheresse qui dure trop longtemps, on entend, au détour d’une discussion ou d’une tribune, une formule qui sonne comme une évidence et comme une conclusion. Ce fameux “C’est l’État qui paiera” que j’ai gardé comme titre pour mon billet. Parfois on l’entend sous une forme plus douce “L’État doit prendre ses responsabilités“. Parfois sous une forme plus sèche, ex-post, “Il faut qu’ils paient“. Dans tous les cas, la phrase dit quelque chose de notre rapport au collectif, à la solidarité, à la justice, et à l’argent public. Elle dit aussi quelque chose de notre façon de transformer une catastrophe en problème politique. Je voulais écrire un billet qui part de cette formule, non pas pour savoir si l’affirmation est vraie ou fausse, mais plutôt pour essayer de comprendre ce qu’elle veut dire, ce qu’elle cache, et ce qu’elle oblige à préciser. Car l’expression a un pouvoir particulier. Elle paraît simple, mais elle condense des idées très différentes, parfois contradictoires. Elle peut exprimer une attente de protection. Elle peut exprimer une colère. Elle peut exprimer une demande de justice. Elle peut exprimer une croyance vague dans une caisse commune illimitée (oui, le fameux “argent magique” pour reprendre l’expression bien connue). Elle peut aussi exprimer un constat d’impuissance individuelle. Et selon les pays, l’histoire des institutions et l’expérience du risque, le mot État n’évoque pas la même chose. Maintenant, notons quand même que ce débat sur qui paie commence souvent trop tard, parce que chercher à clarifier c’est l’État qui paiera, c’est transformer la phrase un programme de gouvernement, un programme fiscal, et un programme moral.
Continue reading C’est l’État qui paiera!

Marques du passé, marques du futur

J’en parlais l’autre jour, mais à peine arrivés à Kyoto, il a fallu passer au ward office, le 区役所 (kuyakusho), pour régler les formalités de base. Parmi les guichets, les formulaires et les tampons, et à la toute fin, on nous a fait passer par un service de prévention, où l’on nous a remis un petit paquet de documents, des cartes d’aléas, des recommandations en cas de typhon, des consignes d’évacuation. En particulier, je suis reparti avec un de ces cartes où la ville se colore par profondeurs d’eau possibles.


Continue reading Marques du passé, marques du futur

Lectures, et écriture

Le mois dernier, j’ai pris un coup de vieux. Au moins sur le papier. En vrai, j’ai surtout eu beaucoup de plaisir à réécouter My Back Pages de Bob Dylan, sur l’album  Another Side of Bob Dylan (sorti en 1964), qui finissait avec ce refrain (largement analysé et discuté)

Ah, but I was so much older then
I’m younger than that now

Que je comprends comme le fait qu’on peut être “vieux” très tôt (vieux, au sens figé) et devenir “jeune” en grandissant (jeune, au sens capable de réviser ses croyances). La maturité, ce n’est pas d’empiler des connaissances et de l’expérience, c’est aussi désapprendre, perdre son ton prophétique, et gagner une lucidité plus légère…

J’y ai repensé encore ce matin en écoutant un passionnante entrevue de Louise Arbour (sur le génocide en Palestine, sur les États-Unis, etc) où elle dit en introduction, comme préambule à la discussion

“…. je ne veux pas tomber ni dans la nostalgie qui des fois fait semblant d’être l’expérience, mais où on est juste ancré dans le passé… on vit dans des temps modernes, dans une autre époque que celle dans laquelle j’ai travaillé il y a 20 ans, 30 ans”

Et j’ai trouvé intéressante cette (très courte) réflexion sur l’expérience, avec cette mise en garde que c’est aussi parfois juste une forme de cherry-picking dans le passé. Souvent inconscient, certes. Et ça fait écho à d’autres réflexions que j’ai pu avoir, ces dernières semaines. Alors que je cherchais à faire écho à des articles de blog que j’avais écris, introspectifs, parlant de l’écriture sur ce blog, en mettant de côté un aspect important préliminaire à l’écriture, la lecture.

Au secondaire (au collège, selon la terminologie en France), en cours de français, il y avait une question récurrente sur laquelle je buttais, dans les analyses de texte. Systématiquement. « Quelles sont les intentions de l’auteur ? » Je me revois très nettement le jour où la prof nous a distribué Mignonne, allons voir si la rose… de Pierre de Ronsard, et où cette question est tombée, posée comme s’il existait une bonne réponse (comme en maths), un mécanisme secret à retrouver, et qu’un bon lecteur devait réussir une forme de télépathie rétrospective avec le poète. Moi, je n’ai jamais compris ce qu’on attendait exactement. Je lisais, j’essayais de répondre, mais ça sonnait souvent (toujours?) à côté. Mes profs s’en rendaient compte, et ma moyenne en français aussi. Ce qui m’a fait sourire, c’est que la scène s’est rejouée presque à l’identique trente ans plus tard, le jour où ma fille est rentrée du collège, un jour, avec la même consigne, sur le même poème, comme si la question avait traversé le temps. Sans perdre de son évidence pour l’institution. Ni de son côté mystérieux pour moi. Je me demande parfois, avec le recul, si mon blocage n’avait pas aussi une dimension plus cognitive que scolaire. L’idée d’“intention” suppose de se représenter l’esprit d’autrui, de deviner ce que quelqu’un veut faire avec ses mots. Or on sait que cette “lecture des intentions” (ce qu’on appelle souvent la théorie de l’esprit) peut être moins intuitive, plus coûteuse, chez certaines personnes neuro-atypiques, notamment quand il y a des traits autistiques. Je le dis avec prudence, sans me diagnostiquer rétrospectivement, mais parce que ça éclaire bien mon expérience. Ce n’était pas seulement une question de sens du texte, c’était aussi une question de ce qu’on attendait du lecteur, et de la facilité à entrer dans ce jeu-là. J’ai gardé de cette expérience une gêne durable, l’impression d’avoir raté quelque chose dans mes apprentissage. Ce n’était pas seulement la gêne d’avoir raté un exercice scolaire, mais la suspicion que la lecture serait une épreuve de conformité. Qu’il y aurait, quelque part, un sens officiel à découvrir. Et que si on ne le voit pas, si on ne le comprend pas, on est en faute (c’était la sanction de la note). Avec le temps, je crois que mon blog vit exactement de cette pratique. Je lis des textes, en ratant probablement les intentions de l’auteur. Je les résume, ou je résume ce que j’en ai retenu. Je les commente, ou je commente ma compréhension. Bref, ce que j’en écris porte forcément l’empreinte de mes lectures, de mes biais. Avec toujours la crainte d’avoir mal compris les intentions de l’auteur. Si j’osais, je dirais que je me moque bien des intentions de l’auteur si la lecture du texte a fait jaillir des associations et des idées qui me permettent d’éclairer mes propres réflexions.

Continue reading Lectures, et écriture

Real Estate Wealth and Climate Disasters

This post was initially written in French https://freakonometrics.hypotheses.org/87347

Last summer, I published in Le Monde (the French newspaper) a piece that started from an observation that has become commonplace and yet is still not fully absorbed by financial institutions. Extreme climate events are no longer marginal risks, and the banking sector is slow to grasp their implications. That op-ed, reposted on my blog under the (original) title Climate crisis the next time bomb for the financial system, was mainly an attempt to describe a perception gap, almost a difference in reflexes. On the one hand, there is an insurance perspective, reasoning in frequency, intensity, pooling, and a long time horizon. It accepts uncertainty, as long as it can be priced, and as long as the rules of the game remain stable. That is what I know well. On the other hand, there is a banking perspective. It reasons in collateral value, resale possibilities, default risk, and correlations. It rather quickly loses interest in the debate about annual probabilities if, in the end, the collateral becomes hard to liquidate. If I had to sum it up, insurers reason in probability and a long time horizon, while banks reason in collateral and a short time horizon. I admit it took me time to understand this point. As I recall, I really became aware of it in 2022, while reading House prices falling in flood-prone areas, in Quebec, and I rediscovered it this autumn, through Floods, drought… these climate hazards that push house prices down, this time in France. I wrote a post this autumn, Insurance, real estate, and the manufacturing of ignorance, taking advantage of some U.S. news on this topic. The point was that, for many decision makers, and probably also many citizens, the climate crisis remains an abstraction as long as no line in the accounts moves. It becomes urgent when an asset becomes less tradable.

Continue reading Real Estate Wealth and Climate Disasters

Patrimoine immobilier et catastrophes climatiques

L’été dernier, je publiais dans Le Monde un texte qui partait d’un constat devenu banal et pourtant encore mal digéré par les institutions financières. Les événements climatiques extrêmes ne sont plus des risques marginaux, et le secteur bancaire tarde à en prendre la mesure. Cette tribune, reprise sur mon blog sous le titre (original) Crise climatique : la prochaine bombe à retardement du système financier était surtout une tentative de décrire un décalage de perception, presque une différence de réflexes. D’un côté, on a une vision assurantielle, raisonnant en fréquence, en intensité, en mutualisation, en horizon long. Elle accepte l’incertitude, tant quelle est tarifable, et tant que les règles du jeu restent stables. C’est ce que je connais bien. De l’autre, une vision bancaire. Elle raisonne en valeur de garantie, en possibilité de revente, en risque de défaut, en corrélations. Elle se moque assez vite du débat sur la probabilité annuelle si, au bout du compte, le collatéral devient difficile à liquider. Si je résume, les assureurs raisonnent en probabilité et en horizon long, alors que les banques raisonnent en collatéral et en horizon court. J’avoue avoir mis du temps à comprendre ce point. De mémoire, j’en ai vraiment pris conscience en 2022, en lisant Chute du prix des maisons en zone inondable, au Québec, et que j’ai redécouvert cet automne, via Inondations, sécheresse… Ces fléaux climatiques qui font chuter le prix des maisons, cette fois en France. J’avais écrit un billet cet automne L’assurance, l’immobilier et la fabrique de l’ignorance profitant d’une actualité aux États-Unis sur ce sujet. Le point était que, pour bon nombre de décideurs, mais aussi probablement de citoyens, la crise climatique reste une abstraction tant qu’aucune ligne comptable ne bouge. Elle devient une urgence quand un actif devient moins échangeable.

Continue reading Patrimoine immobilier et catastrophes climatiques

“The era of the business idiot”

This post was initially written in French https://freakonometrics.hypotheses.org/87139.

Last spring, Ed Zitron published a fascinating text, and yes, a bit long, The Era Of The Business Idiot, which I only discovered at the start of the holidays (sorry). He does not just say that some organizations are badly managed, he describes a type of social selection. He explains that you climb the hierarchy because you know how to produce signs of competence, not because you know how to understand a problem and solve it. You learn to speak the right way, to present the right way, to surround yourself the right way, and then to survive any real test by shifting the discussion toward convenient metrics and flattering stories. I have always stayed fairly far from organizational issues, out of incompetence above all, but also because I think I am very bad at reading signals. What Ed Zitron reminds us is that the modern company (and I would include academia) has gradually organized itself around a signal economy. As sociology and political economy have described at length, institutions protect themselves by making value visible in the form of indicators, rankings, procedures, prizes. That gives legitimacy, it simplifies decision making, but it also transforms the nature of work. This kind of cross reading is almost mandatory if you keep in mind the way Pierre Bourdieu analyzes the academic universe as a field structured by hierarchies, forms of capital, and struggles over the definition of merit, in Homo academicus. It becomes even more natural if you follow Wendy Brown when she describes the spread of a neoliberal rationality that rebuilds institutions using a business grammar, in Undoing the Demos. Ed Zitron’s post tells, in a more vivid way, what many scholarly analyses document. I wanted to come back to his article, by summarizing his argument, and by pushing it where it becomes more general, while trying to connect the corporate world and the university.

Before we begin, a preliminary note is in order. I am not exempt from this logic, and I am not writing as an outside observer. Like many of my academic colleagues, I play the game, at least when students are involved. I will talk here about prizes and awards, and for those who do not know the academic world, one detail is worth stating, and it may be surprising. We are often asked to promote ourselves, very directly, by assembling the files that will be used to award us prizes. You have to tell your story, choose your evidence, format your merit, and sometimes even guess what kind of narrative the committee expects. It is not only value that matters, it is the ability to make it visible, to translate it into readable signals, and to produce the file that will count as proof. If I no longer put together files to chase prizes in my own name, I happily do it to support students, because I know these signals weigh on their applications, their scholarships, and their future paths. And if I publish a newsletter every six months that sums up the group’s work, it is first to highlight the students, and also because my funder asked me to. I asked myself the same kind of question on another front, climate. Seeing colleagues take planes to fly around the world, literally, to give a twenty minute talk, sometimes in front of five people, I considered banning myself from any air travel. A colleague pointed out that this would also be a way to take myself out of the game, and that the question was not simply yes or no, but finding a middle ground, setting rules, and accepting compromises. It is the same for most of the signals discussed here. You can criticize them, you can try to reduce their grip, but you also live with them, because they structure real opportunities, and because withdrawing completely often has a cost, especially for younger people.
Continue reading “The era of the business idiot”

“The era of the business idiot”

Au printemps dernier, Ed Zitron publiait un texte passionnant, et certes, un peu long, The Era Of The Business Idiot, que j’ai découvert seulement au début des fêtes (désolé). Il ne se contente pas de dire que certaines organisations sont mal gérées, il décrit un type de sélection sociale. Il explique qu’on monte dans la hiérarchie parce qu’on sait produire des signes de compétence, pas parce qu’on sait comprendre un problème et le résoudre. On apprend à parler comme il faut, à présenter comme il faut, à s’entourer comme il faut, puis à survivre à toute mise à l’épreuve en déplaçant la discussion vers des métriques commodes et des récits valorisants. J’ai toujours été assez éloigné des problèmes organisationnels, par incompétence avant tout, mais aussi, parce que je pense être très mauvais à lire les signaux. Parce que ce que rappelle Ed Zitron, c’est que l’entreprise moderne (et j’inclurais dedans le monde académique) s’est progressivement organisée autour d’une économie du signal. Comme cela a  été abondamment décrit par la sociologie et par l’économie politique, les institutions se protégeant en rendant la valeur visible sous forme d’indices, de classements, de procédures, de prix. Cela donne de la légitimité, cela simplifie la décision, mais cela transforme aussi la nature du travail. Cette lecture croisée est presque un passage obligé si l’on a en tête la manière dont Pierre Bourdieu analyse l’univers académique comme un champ structuré par des hiérarchies, des capitaux et des luttes pour la définition du mérite, dans Homo academicus. Elle devient encore plus naturelle si l’on suit Wendy Brown quand elle décrit la diffusion d’une rationalité néolibérale qui reconstruit les institutions selon une grammaire d’entreprise, dans Undoing the Demos. Le billet d’Ed Zitron raconte de manière plus vivante ce que beaucoup d’analyses savantes documentent. Je voulais revenir sur son article, en résumant son propos, et en le poussant là où il devient plus général, en tentant de faire le lien entre l’entreprise et le monde universitaire.

Avant de commencer, une note préalable s’impose. Je ne suis pas exempt de cette logique, et je n’écris pas en observateur extérieur. Comme beaucoup de mes collègues universitaires, je joue le jeu, au moins dès que des étudiants sont impliqués. Je parlerai ici des prix et des récompenses, et pour celles et ceux qui ne connaissent pas le monde académique, il faut préciser un détail qui pourrait surprendre. On nous demande souvent de nous valoriser nous mêmes, de manière très directe, en montant nous mêmes les dossiers qui serviront à nous attribuer des prix. Il faut raconter sa trajectoire, choisir ses preuves, mettre en forme son mérite, et parfois même deviner quel récit le comité attend. Ce n’est pas seulement la valeur qui compte, c’est la capacité à la rendre visible, à la traduire en signaux compréhensibles, et à produire le dossier qui fera foi. Si je ne monte plus de dossiers pour courir après des prix en mon nom, je le fais volontiers pour soutenir les étudiants, parce que je sais que ces signaux pèsent dans leurs candidatures, leurs bourses, et leur trajectoire future. Et si je publie tous les six mois une infolettre qui récapitule les travaux du groupe, c’est d’abord pour mettre en avant les étudiants, et aussi parce que mon financeur me l’a demandé. Je me suis posé la même question sur un autre terrain, celui du climat. En voyant des collègues prendre l’avion pour faire le tour de la terre, littéralement, afin de donner un exposé de vingt minutes, parfois devant cinq personnes, j’ai envisagé de m’interdire tout voyage en avion. Un collègue m’a fait remarquer que ce serait aussi une manière de se mettre hors jeu, et que la question n’était pas seulement de dire oui ou non, mais de trouver un entre deux, de se fixer des règles, d’assumer des compromis. C’est la même chose pour la plupart des signaux dont on parlera ici. On peut les critiquer, on peut chercher à en réduire l’emprise, mais on compose aussi avec eux, parce qu’ils structurent des opportunités réelles, et parce que s’en retirer complètement a souvent un coût, surtout pour les plus jeunes.
Continue reading “The era of the business idiot”