Category Archives: Publications

Fairness Explainability using Optimal Transport with Applications in Image Classification

A revised version of our paper “Fairness Explainability using Optimal Transport with Applications in Image Classification” is now online, with more discussion about conterfactuals

Ensuring trust and accountability in Artificial Intelligence systems demands explainability of its outcomes. Despite significant progress in Explainable AI, human biases still taint a substantial portion of its training data, raising concerns about unfairness or discriminatory tendencies. Current approaches in the field of Algorithmic Fairness focus on mitigating such biases in the outcomes of a model, but few attempts have been made to try to explain why a model is biased. To bridge this gap between the two fields, we propose a comprehensive approach that uses optimal transport theory to uncover the causes of discrimination in Machine Learning applications, with a particular emphasis on image classification. We leverage Wasserstein barycenters to achieve fair predictions and introduce an extension to pinpoint bias-associated regions. This allows us to derive a cohesive system which uses the enforced fairness to measure each features influence on the bias.Taking advantage of this interplay of enforcing and explaining fairness, our method hold significant implications for the development of trustworthy and unbiased AI systems, fostering transparency, accountability, and fairness in critical decision-making scenarios across diverse domains.

Parametric Fairness with Statistical Guarantees

Our paper Parametric Fairness with Statistical Guarantees is now available on ArXiv.

Algorithmic fairness has gained prominence due to societal and regulatory concerns about biases in Machine Learning models. Common group fairness metrics like Equalized Odds for classification or Demographic Parity for both classification and regression are widely used and a host of computationally advantageous post-processing methods have been developed around them. However, these metrics often limit users from incorporating domain knowledge. Despite meeting traditional fairness criteria, they can obscure issues related to intersectional fairness and even replicate unwanted intra-group biases in the resulting fair solution. To avoid this narrow perspective, we extend the concept of Demographic Parity to incorporate distributional properties in the predictions, allowing expert knowledge to be used in the fair solution. We illustrate the use of this new metric through a practical example of wages, and develop a parametric method that efficiently addresses practical challenges like limited training data and constraints on total spending, offering a robust solution for real-life applications.

Est-il nécessaire (et utile) d’être en guerre contre tout ?

Début 2010, Nicolas Sarkozy, suivit par Jérôme Cahuzac, entrait “en guerre contre les fraudeurs”. En mars 2020, la France (par la voix de son président) entrait en “guerre sanitaire” contre un coronavirus. Et plus récemment, le sociologue Dominique Méda reprenait l’expression de l’économiste Christian Gollier qui commençait son livre par la phrase « dans ce livre, j’exprime mes espoirs et mes doutes quant à la possibilité de gagner la guerre mondiale contre les dérèglements du climat ». Évoquer la guerre permet probablement de marquer les esprits, mais à force d’être en guerre contre tout on peut se demander si l’association a encore du sens.

Continue reading Est-il nécessaire (et utile) d’être en guerre contre tout ?

L’incertitude empêche-t-elle de prendre des décisions ?

Cet article, publié dans le dernier numéro de la revue Risques, a été co-écrit avec Nicolas Marescaux.

Récemment, une chronique sur France Info citait un décideur politique, exprimant sa frustration envers le Conseil d’orientation des retraites (COR). Selon lui, le COR, « en définissant plusieurs scénarios prévisionnels, a empêché tout consensus sur la nécessité (ou non) d’une réforme ». Cette déclaration, bien que centrée sur la polémique de la réforme des retraites, soulève une question plus large : comment naviguer et communiquer efficacement dans un environnement incertain, surtout lorsqu’il s’agit de prendre des décisions cruciales ? Cette question est d’autant plus pertinente lorsqu’on la met en parallèle avec la récente demande de moratoire sur la recherche en intelligence artificielle et les réformes réglementaires liées au changement climatique. L’incertitude, en créant un flou ou un manque de confiance dans les informations disponibles, rend-elle plus ardue la recherche d’un accord ou d’un consensus sur une question donnée ? Et par extension, freine-t-elle le processus de prise de décision ? (à suivre)

Melting contestation: insurance fairness and machine learning

Our paper, Melting contestation: insurance fairness and machine learning, with Laurence Barry, is now published (in Ethics and Information Technology).

With their intensive use of data to classify and price risk, insurers have often been confronted with data-related issues of fairness and discrimination. This paper provides a comparative review of discrimination issues raised by traditional statistics versus machine learning in the context of insurance. We first examine historical contestations of insurance classification, showing that it was organized along three types of bias: pure stereotypes, non-causal correlations, or causal effects that a society chooses to protect against, are thus the main sources of dispute. The lens of this typology then allows us to look anew at the potential biases in insurance pricing implied by big data and machine learning, showing that despite utopic claims, social stereotypes continue to plague data, thus threaten to unconsciously reproduce these discriminations in insurance. To counter these effects, algorithmic fairness attempts to define mathematical indicators of non-bias. We argue that this may prove insufficient, since as it assumes the existence of specific protected groups, which could only be made visible through public debate and contestation. These are less likely if the right to explanation is realized through personalized algorithms, which could reinforce the individualized perception of the social that blocks rather than encourages collective mobilization.

A Sequentially Fair Mechanism for Multiple Sensitive Attributes

Our paper, A Sequentially Fair Mechanism for Multiple Sensitive Attributes, with François Hu and Philipp Ratz, is now available on Arxiv,

In the standard use case of Algorithmic Fairness, the goal is to eliminate the relationship between a sensitive variable and a corresponding score. Throughout recent years, the scientific community has developed a host of definitions and tools to solve this task, which work well in many practical applications. However, the applicability and effectivity of these tools and definitions becomes less straightfoward in the case of multiple sensitive attributes. To tackle this issue, we propose a sequential framework, which allows to progressively achieve fairness across a set of sensitive features. We accomplish this by leveraging multi-marginal Wasserstein barycenters, which extends the standard notion of Strong Demographic Parity to the case with multiple sensitive characteristics. This method also provides a closed-form solution for the optimal, sequentially fair predictor, permitting a clear interpretation of inter-sensitive feature correlations. Our approach seamlessly extends to approximate fairness, enveloping a framework accommodating the trade-off between risk and unfairness. This extension permits a targeted prioritization of fairness improvements for a specific attribute within a set of sensitive attributes, allowing for a case specific adaptation. A data-driven estimation procedure for the derived solution is developed, and comprehensive numerical experiments are conducted on both synthetic and real datasets. Our empirical findings decisively underscore the practical efficacy of our post-processing approach in fostering fair decision-making.

Addressing Fairness and Explainability in Image Classification Using Optimal Transport

Our new paper, with François Hu and Philipp Ratz, Addressing Fairness and Explainability in Image Classification Using Optimal Transport, is now available on ArXiv.

Algorithmic Fairness and the explainability of potentially unfair outcomes are crucial for establishing trust and accountability of Artificial Intelligence systems in domains such as healthcare and policing. Though significant advances have been made in each of the fields separately, achieving explainability in fairness applications remains challenging, particularly so in domains where deep neural networks are used. At the same time, ethical data-mining has become ever more relevant, as it has been shown countless times that fairness-unaware algorithms result in biased outcomes. Current approaches focus on mitigating biases in the outcomes of the model, but few attempts have been made to try to explain why a model is biased. To bridge this gap, we propose a comprehensive approach that leverages optimal transport theory to uncover the causes and implications of biased regions in images, which easily extends to tabular data as well. Through the use of Wasserstein barycenters, we obtain scores that are independent of a sensitive variable but keep their marginal orderings. This step ensures predictive accuracy but also helps us to recover the regions most associated with the generation of the biases. Our findings hold significant implications for the development of trustworthy and unbiased AI systems, fostering transparency, accountability, and fairness in critical decision-making scenarios across diverse domains.

Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory

Our paper, Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory, writen with Denys Pommeret and Sam Stocksieker, is now available ArXiv.

In supervised learning, it is quite frequent to be confronted with real imbalanced datasets. This situation leads to a learning difficulty for standard algorithms. Research and solutions in imbalanced learning have mainly focused on classification tasks. Despite its importance, very few solutions exist for imbalanced regression. In this paper, we propose a data augmentation procedure, the GOLIATH algorithm, based on kernel density estimates which can be used in classification and regression. This general approach encompasses two large families of synthetic oversampling: those based on perturbations, such as Gaussian Noise, and those based on interpolations, such as SMOTE. It also provides an explicit form of these machine learning algorithms and an expression of their conditional densities, in particular for SMOTE. New synthetic data generators are deduced. We apply GOLIATH in imbalanced regression combining such generator procedures with a wild-bootstrap resampling technique for the target values. We evaluate the performance of the GOLIATH algorithm in imbalanced regression situations. We empirically evaluate and compare our approach and demonstrate significant improvement over existing state-of-the-art techniques.

“Notre maison brûle et”… nous espérons que notre assureur ne regarde pas ailleurs

Cet article est la version initiale, sourcée, et un peu plus longue, d’une tribune publiée dans Le Monde, ce dimanche 9 juillet 2023.

En 2015, à la veille de l’ouverture de la COP21, Henri de Castries, PDG d’AXA affirmait qu’“une augmentation de deux degrés de la température moyenne dans le monde peut encore être assurable, mais ce qui est certain, c’est qu’une hausse de quatre degrés ne l’est pas” (leparisien). Huit ans après, le ministre de la transition écologique annonce que “la France va se préparer à une élévation de 4°C” (lemonde). Doit-on alors se préparer à un monde sans assurance ? Car c’est ce que commence à connaître la Californie. La tendance lente de long terme, avec une hausse linéaire de la température, engendre une augmentation au moins exponentielle des catastrophes. Et cette petite différence de deux degrés, correspondant à une tendance bien différente quant aux catastrophes.

L’assurance fonctionne en mutualisant les risques entre de larges groupes de personnes qui paient des primes, puis en versant cet argent aux personnes qui ont subi un sinistre (puf). “The contribution of the many to the misfortune of the few”. Cette vision un peu simpliste correspond au fonctionnement d’une mutuelle d’assurance, les cotisations servant à indemniser les plus malchanceux. Compte tenu de la nature fondamentalement aléatoire des contrats d’assurance, on espère (au sens mathématiques) que les primes permettront de couvrir les pertes. Avec ce raisonnement “en moyenne”, une année sur deux, les assureurs feraient du profit, et une année sur deux, ils n’auraient pas assez d’argent pour indemniser les personnes sinistrés. Pour éviter ce genre de désagrément, la législation impose aux assureurs d’avoir suffisamment de capital pour garantir leur solvabilité, et c’est ce qui est fait dans la plupart des pays. Cela permet de protéger les assurés qui ont acheté la promesse d’une indemnisation dans plusieurs mois si une mésaventure survient. Ce mécanisme fonctionne simplement en assurance automobile, ou en assurance habitation quand il faut indemniser un incendie dans la cuisine, suite à un accident, mais il est mis à mal quand des catastrophes climatiques surviennent, empêchant le mécanisme de mutualisation des risques de fonctionner.

L’assurabilité des risques est caractérisée par trois facteurs: le risque assurable doit être quantifiable et distribué, une population assurable doit être consciente du risque, et être prête à s’assurer et à payer le prix actuariel, et un assureur solvable qui est prêt à porter le risque. Malheureusement, le changement climatique menace ces trois conditions, avec des risques physiques qui peuvent se combiner ou s’accélérer de manière inédite, des horizons à long terme peuvent brouiller la compréhension des risques par les consommateurs, et des pertes potentiellement massives, et durables, qui peuvent dépasser la capacité de couverture des assureurs.

Face au risque de catastrophes, il n’est pas rare de voir se mettre en place des partenariats public-privé. C’est généralement la meilleure solution car on voit de plus en plus d’assureurs privés se retirer, laissant les autorités fédérales ou étatiques intervenir en tant qu’assureur “en dernier recours”, et c’est l’ensemble des contribuables qui est amené à payer la facture (usatoday). C’est aussi parce que ce risque nécessite des infrastructures et des décisions qui ne peuvent être prise que par des décideurs politiques.

Aux États-Unis, l’ouragan Sandy a été la tempête de vent la plus meurtrière à frapper le nord-est des États-Unis en quarante ans, avec des pertes assurées dépassant 25 milliards de dollars (montants actualisés). Les pertes assurées totales estimées à la suite de l’ouragan Ian atteignent 70 milliards de dollars, et les pertes liées aux inondations devraient s’élever à 10 milliards de dollars supplémentaires (columbia). Les incendies de forêt en Californie en 2017 et 2018 ont conduit les assureurs à payer près de 30 milliards de dollars de sinistres alors qu’ils n’ont perçu que 15 milliards de dollars de primes. Et depuis 2020, huit catastrophes ont causé entre 20 et 50 milliards de dollars de dommages (reuters).

La Californie compte une centaine de compagnies proposant des contrats d’assurance habitation. Et au début du mois, le plus gros assureur, State Farm, a fait paniquer le marché, en déclarant qu’elle arrêterait toute nouvelle souscription en Californie, influencée par l’augmentation des coûts de construction, le risque croissant de catastrophes telles que les incendies de forêt et, par conséquent, et l’augmentation du coût de la réassurance (latimes). Le choc a été d’autant plus important que State Farm a simplement rendu public ce que d’autres compagnies d’assurance faisaient discrètement depuis plusieurs années, comme AllState l’a reconnu (latimes), mais aussi le géant de l’assurance American International Group (AIG) qui a commencé à réduire son offre d’assurance habitation dans environ 200 codes postaux à travers les États-Unis, à haut risque d’inondations ou d’incendies de forêt (nbcnews) (insurancejournal). Le coût moyen d’une police d’assurance en Californie est de l’ordre de 2000 dollars en Californie, mais on reste loin des 5000 (wharton) ou 6000 (washingtonpost) dollars  demandés dans dans les villes les plus exposées aux catastrophes climatiques de Louisiane et de Floride.

Dans ces deux Etats, les gens ont du mal à se procurer des polices d’assurance, car de plus en plus d’assureurs quittent l’État, deviennent insolvables (washingtonpost). En Floride, en 1968 (nytimes), les assureurs privés ne voulaient pas couvrir les inondations, ce qui ne laissait aucune option aux propriétaires, et le Congrès a créé le programme national d’assurance contre les inondations (NFIP), qui offrait aux propriétaires une couverture financée par les contribuables. En 1992, suite au passage de l’ouragan Andrew, les assureurs avaient imposé un moratoire sur les affaires nouvelles (washingtonpost), mais le NFIP a été en mesure de couvrir ses engagements à l’aide des primes encaissées, jusqu’au passage des ouragans Katrina et Sandy en 2004, les tempêtes les plus coûteuses de l’histoire des États-Unis (nytimes). Suite à ces catastrophes, un système complexe a été mis en place avec localement, de petites compagnies d’assurance soutenues par Citizens (Property Insurance Corporation), une compagnie mandatée par l’État pour fournir une couverture contre les tempêtes aux propriétaires qui ne pouvaient pas trouver d’assurance privée. Pendant un certain temps, ce système a fonctionné, avec onze années consécutives sans ouragans majeurs (barrons), laissant presque oublié que le risque existait, jusqu’au passage de l’ouragan Irma, en 2017. Les primes pour la couverture fournie par le plan Citizens, ont augmenté de 63 % pour atteindre une moyenne de 5000 dollars par an (tout en empruntant plusieurs centaines de millions de dollars sur le marché obligataire pour payer les demandes d’indemnisation des propriétaires, et éviter la faillite). Récemment, suite au passage de l’ouragan Laura en Louisiane en 2020, plus de 50 compagnies ont cessé d’accepter de nouveaux clients, et 11 se sont déclarées en faillite. En Floride, plus de 15 compagnies ont fait faillite (washingtonpost). Aujourd’hui, le NFIP a une dette qui dépasse les 20 milliards de dollars (columbia, vox).

La Californie a une histoire presque plus complexe, en grande partie car elle n’a pas connu les grandes catastrophes qu’ont subi la Louisiane et la Floride. En 1988, face aux bénéfices des compagnies d’assurance, les consommateurs ont voté la “proposition 103” qui oblige les assureurs à faire approuver par l’État Californien leurs futurs tarifs. Et aujourd’hui encore, si un assureur cherche à augmenter ses primes de 7% ou plus, les défenseurs des consommateurs sont autorisés à prendre partie, et à contester les taux proposés (eenews). Lorsqu’un assureur essaye d’anticiper les pertes d’incendie attendues, pour calculer les primes demandées, il a obligation de faire la distinction entre les pertes d’incendie ordinaires et les pertes catastrophiques. Pour les sinistres ordinaires (incendie d’une cuisine), les projections doivent être faites sur ses “pertes historiques par exposition” sur une période relativement courte (de un à trois ans), alors que pour les risques d’incendies catastrophiques, il faut une base d’au moins vingt ans de pertes réelles et historiques. Pour simplifier, un assureur doit utiliser la moyenne des 20 dernières années (au moins) pour tarifer les années futures. Cette approche dite “rétrospective” a du sens sur les risques rares (qui surviennent une fois tous les vingt ans), mais pas quand les risques augmentent. Or cinq des six plus grands incendies de forêt de l’histoire ont eu lieu en 2020 et quinze des vingt incendies les plus destructeurs de l’histoire de l’État ont eu lieu depuis 2015. Cette croissance exponentielle fait peur aux assureurs, surtout que les primes ne peuvent pas traduire cette hausse prévue par tous les modèles “prospectifs” (eenews).

Car des modèles statistiques fiables existent, tenant compte de divers facteurs de risque (végétation, topographie, température, densité et emplacement des habitations, etc). Mais la loi californienne interdit l’utilisation de ces outils pour calculer les primes. Une autre raison est que les modèles utilisés par les assureurs doivent être rendus publics, et les sociétés de modélisation refusent de le faire (eenews). Il est également impossible aux assureurs d’offrir une couverture contre ce risque, et de se couvrir ensuite auprès des réassureurs, car le calcul de la hausse de prime (dont la limite autorisée est de 7%), les assureurs ne sont pas autorisés à inclure le coût de la réassurance.

Le retrait récent de State Farm en Californie, suivant d’autres assureurs, reflètent une triste et froide réalité : ni les assureurs privés, ni les gouvernements ne sont préparés à l’augmentation exponentielle des pertes liées au risque climatique (climateandcapitalmedia). Le président d’Aon PLC, Eric Andersen, a déclaré devant une commission sénatoriale que “tout comme l’économie américaine a été surexposée au risque hypothécaire en 2008, l’économie est aujourd’hui surexposée au risque climatique”  (scientificamerican). Selon Munich Re, les pertes du secteur mondial de l’assurance liées aux sinistres météorologiques sont passées d’une moyenne annuelle (corrigée de l’inflation) de 10 milliards de dollars dans les années 1980 à 50 milliards de dollars au cours de la présente décennie. Il est difficile de déterminer quel pourcentage de cette augmentation est dû “uniquement” au changement climatique (newrepublic), car le facteur humain est important. En Californie, les lignes électriques (à haute tension) ont toujours été l’une des principales causes des incendies de forêt en Californie (theatlantic). En 2017, la majorité des incendies majeurs sont nés d’étincelles provenant d’équipements défaillants et mal entretenus, résultant de dizaines d’années de sous-investissements publics massifs (nytimes).

A la vue de ce tableau, l’Europe et la France semblent encore chanceuses, mais pour combien de temps ? En France, le mécanisme dit “cat nat”, reposant sur la loi du 13 juillet 1982, encadre le marché des principales catastrophes naturelles depuis plus de 40 ans, malgré de nombreuses alertes (liberation).  Ce mécanisme est fondé sur l’alinéa 12 du préambule de la Constitution du 27 octobre 1946, « la Nation proclame la solidarité et l’égalité de tous les Français devant les charges qui résultent des calamités nationales ». Si cette loi propose un mécanisme assez unique dans le monde, la France n’est pas forcément mieux lotie que la Californie: depuis des années, à demi-mot, certains assureurs reconnaissant qu’ils peuvent hésiter à soutenir l’installation d’un agent d’assurance dans une zone où le risque d’inondation est important.

Le principe de partage et de mutualisation des risques que porte l’assurance pose inéluctablement la question de savoir qui, dans la société, doit payer les coûts du changement climatique, qui augmentent rapidement ? S’agit-il d’un fardeau que nous devons tous assumer de manière égale ? Cela va-t-il faire partie du filet de sécurité sociale reposant sur la “solidarité” nationale ? Ou devons-nous faire payer ce risque par les personnes les plus à risques ? Cette question éthique se pose clairement en assurance santé, mais elle revient sur les risques climatiques, probablement car les techniques de modélisation des risques et d’analyse prédictive deviennent de plus en plus sophistiquées. Sur la base de données météorologiques plus riches et de meilleurs modèles climatiques, les assureurs peuvent mieux estimer l’impact potentiel des événements climatiques localement. Cela pourrait permettre de tarifer les polices avec plus de précision et d’adapter la couverture aux besoins spécifiques des assurés dans les zones à haut risque (climateandcapitalmedia). On retrouve la question importante posée aux assureurs, sur l’endroit où il est légitime de placer le curseur, entre la mutualisation et la solidarité d’un côté, et des calculs actuariels de plus en plus précis de l’autre.

De manière anecdotique, la question de la solidarité et des discriminations s’était posée en assurance dans les aux États-Unis avec le “redlining”, où des zones rouges (désignant historiquement, dans les années 1930, des zones d’immeubles vétustes, ou avec de fortes incidences de maladies) entraînaient une augmentation des primes d’assurance, un non-renouvellement ou un refus de couverture. Dans les années 60, ces zones excluaient des communautés afro-américaines, et le “redlining” a été rendu interdit en 1968 (radio-canada). Aujourd’hui, certaines zones font l’objet d’un marquage “bleu”, couleur par laquelle les banques ou les prêteurs hypothécaires définissent des quartiers ou des communautés plus sensibles aux risques climatiques (columbia).

Un des arguments pour autoriser des hausses de primes d’assurance dans les zones à risques est d’envoyer un signal. Le prix doit être élevé s’il reflète un risque réel, et cacher artificiellement le risque dans une prime trop basse n’incite pas à la prévention. La contrepartie de ces hausses massives des primes d’assurance sera probablement de subventionner les polices pour les personnes à faible revenu vivant dans des zones à haut risque afin d’étendre la couverture, mais l’expérience récente en Floride et en Californie montre les hausses de primes font prendre conscience que le risque augmente. Récemment, Karen Collins, de l’American Property Casualty Insurance Association, comparait les assureurs “au canari dans la mine de charbon” (usatoday). Si on voulait être complètement juste, les assureurs sont la partie visible par le grand public, car en coulisse, “les réassureurs tirent la sonnette d’alarme sur le changement climatique et les risques de catastrophe depuis des décennies“, comme le rappelle Sean Hecht, avocat du bureau régional californien d’Earthjustice (vox). Il est important que les citoyens mais aussi les gouvernements prennent conscience de l’augmentation exponentielle des risques climatiques, en effectuant les changements qui s’imposent (nytimes). Vivre avec des œillères met des vies en danger, et plus longtemps le problème sera ignoré, plus il sera difficile à résoudre. Les plus pessimistes en Californie rappelant que les incendies cesseront lorsqu’il n’y aura plus rien à brûler (theatlantic).

Optimal vaccination policy to prevent endemicity: a stochastic model

Our paper optimal vaccination policy to prevent endemicity: a stochastic model, written with Félix Foutel-Rodier and Hélène Guérin is now available on ArXiv,

We examine here the effects of recurrent vaccination and waning immunity on the establishment of an endemic equilibrium in a population. An individual-based model that incorporates memory effects for transmission rate during infection and subsequent immunity, is introduced, considering stochasticity at the individual level. By letting the population size to go to infinity, we derive a set of equations describing the large scale behavior of the epidemic. The analysis of the model’s equilibria reveals a criterion for the existence of an endemic equilibrium, which depends on the rate of immunity loss and the distribution of time between booster doses. The outcome of a vaccination policy in this context is influenced by the efficiency of the vaccine in blocking transmissions and the distribution pattern of booster doses within the population. Strategies with evenly spaced booster shots at the individual level prove to be more effective in preventing disease spread compared to irregularly spaced boosters, as longer intervals without vaccination increase susceptibility and facilitate more efficient disease transmission. We provide an expression for the critical fraction of the population required to adhere to the vaccination policy in order to eradicate the disease, that resembles a well-known threshold for preventing an endemic state with an imperfect vaccine. We also investigate the consequences of unequal vaccine access in a population and prove that, under reasonable assumptions fair vaccine allocation is the optimal strategy to prevent endemicity.

Mitigating Discrimination in Insurance with Wasserstein Barycenters

Our new paper, with François Hu and Philipp Ratz, Mitigating Discrimination in Insurance with Wasserstein Barycenters is now available on ArXiv.

The insurance industry is heavily reliant on predictions of risks based on characteristics of potential customers. Although the use of said models is common, researchers have long pointed out that such practices perpetuate discrimination based on sensitive features such as gender or race. Given that such discrimination can often be attributed to historical data biases, an elimination or at least mitigation is desirable. With the shift from more traditional models to machine-learning based predictions, calls for greater mitigation have grown anew, as simply excluding sensitive variables in the pricing process can be shown to be ineffective. In this article, we first investigate why predictions are a necessity within the industry and why correcting biases is not as straightforward as simply identifying a sensitive variable. We then propose to ease the biases through the use of Wasserstein barycenters instead of simple scaling. To demonstrate the effects and effectiveness of the approach we employ it on real data and discuss its implications.

(fictitious maps used in the article)

Optimal Transport for Counterfactual Estimation: A Method for Causal Inference

For those who wish to reproduce the techniques proposed in our paper, Optimal Transport for Counterfactual Estimation: A Method for Causal Inference, Ewen Gallic has put online some nice pages, with the application mentioned in the paper (both univariate and bivariate, including confidence intervals with bootstrap), as well as simpler examples, which I use in the slides, to present the method

http://egallic.fr/Recherche/Transport_Counterfactual/

I will present this work at the Bachelier Seminar, in Paris, at the end of the week. Slides are online here.

Many problems ask a question that can be formulated as a causal question: “what would have happened if…?” For example, “would the person have had surgery if he or she had been Black?” To address this kind of questions, calculating an average treatment effect (ATE) is often uninformative, because one would like to know how much impact a variable (such as skin color) has on a specific individual, characterized by certain covariates. Trying to calculate a conditional ATE (CATE) seems more appropriate. In causal inference, the propensity score approach assumes that the treatment is influenced by x, a collection of covariates. Here, we will have the dual view: doing an intervention, or changing the treatment (even just hypothetically, in a thought experiment, for example by asking what would have happened if a person had been Black) can have an impact on the values of x. We will see here that optimal transport allows us to change certain characteristics that are influenced by the variable we are trying to quantify the effect of. We propose here a mutatis mutandis version of the CATE, which will be done simply in dimension one by saying that the CATE must be computed relative to a level of probability, associated to the proportion of x (a single covariate) in the control population, and by looking for the equivalent quantile in the test population. In higher dimension, it will be necessary to go through transport, and an application will be proposed on the impact of some variables on the probability of having an unnatural birth (the fact that the mother smokes, or that the mother is Black).

La société du bullshit

En 1986, le philosophe Harry Frankfurt définissait le concept de “bullshit” en lui donnant un sens bien précis, traduit parfois en français sous le nom de “baratin”. Un baratineur n’est pas un menteur (qui est conscient de tromper), il est juste totalement indifférent à la vérité, ce qui le rend presque plus dangereux encore (“bullshit is a greater enemy of the truth than lies are”). Les baratineurs ont une opinion sur tout et n’importe quoi, ils parlent donc abondamment de choses dont ils ne savent pratiquement rien. Et la fascination de ces derniers mois autour des agents conversationnels (comme GPT-3 ou ChatGPT1),ces algorithmes nés pour baratiner, ne peut que nous interpeller.

ChatGPT ou la complétion de texte

Un modèle de langue de grande taille (LLM, Large Language Model) est un modèle de traitement de langage naturel qui utilise un grand nombre de données textuelles pour apprendre à prédire les mots et les phrases suivants dans un texte donné. Ces modèles sont entraînés à partir de vastes ensembles de données, tels que des corpus de textes de diverses sources, tels que des livres, des articles de presse, des pages Web. GPT-32 est un de ces modèles, contenant 175 milliards de paramètres (120 fois plus que GPT-2, lancé un an auparavant) répartis dans un réseau de neurones à 96 couches, avec une mémoire contextuelle de 2048 tokens (ou lexème)3, et vectorisant dans un espace en dimension 12288 (je renvoie à Wolfram (2023) pour davantage de détails techniques sur le fonctionnement de ChatGPT). Ce charabia4 signifie qu’en tapant quelques mots, l’algorithme les transpose tout d’abord dans un espace (vectoriel) leur donnant du contexte, on parlera de plongement lexical (word embedding). Le plus connu de ces algorithmes est probablement Word2vec5, de Mikolov (2013), qui repose sur l’idée (énoncée dans les années 1950) que les mots apparaissant dans des contextes similaires ont des significations apparentées. On peut alors introduire une géométrie dans cet espace latent, qui permettra d’interpréter le fait que le vecteur reliant homme et roi est parallèle au vecteur reliant femme et reine, que l’on écrira parfois sous la forme roi – homme + femme = reine. Un autre exemple célèbre est Paris – France + Espagne = Madrid, autrement dit Paris est à la France ce que Madrid est à l’Espagne. Ce plongement lexical n’est pas associé à une compréhension de la géopolitique, permettant de savoir qu’effectivement Madrid est la capitale de l’Espagne, mais simplement sur des concomitances de mots dans des phrases, utilisées pour entraîner l’algorithme. La qualité des textes utilisés sera alors importante, et cette logique permet d’expliquer que l’algorithme reproduira des biais observés dans les textes, et semblera raciste, ou sexiste. Là encore, un exemple connu est chirurgien – homme + femme = infirmière.

Ensuite, ce modèle est un outil génératif de complétion de texte, c’est-à-dire qu’en voyant une succession de mots, il va essayer de prédire des mots qui pourraient suivre, listant les mots les plus probables, puis en choisissant. Sur GPT-3, le paramètre dit de “température” permet d’introduire de l’aléa, en lui demandant de ne pas forcément toujours retenir la suite la plus probable, mais lui autorisant un peu d’aléa (qu’on pourrait pourrait associer à une forme de poésie ou de créativité). Il est important de retenir, comme l’explique Li (2023), que tant d’un point de vue philosophique que mathématique, il est fondamentalement impossible pour les modèles entraînés à deviner le mot suivant d’apprendre les significations du langage et que leurs performances ne sont que le résultat de la mémorisation de statistiques, de corrélations qui ne reflètent pas un modèle causal du processus générant la séquence. Pour illustrer, imaginons un algorithme entraîné sur un seul texte, la Bible. Si je lui demande de compléter la phrase “au commencement était…”, la suite logique pour l’algorithme sera au choix “le verbe” ou “la parole”. Ici, la quantité de textes utilisés pour entraîner l’algorithme est astronomique. Par exemple, sur GPT-35, je peux lui demander de continuer un début de phrase :

La réponse dépend, entre autres, du nombre de termes que l’on demande. Les phrases sont cohérentes et grammaticalement justes, montrant que GPT-3 a une “compétence linguistique formelle”, comme le diraient les chercheurs en sciences cognitives. Mais il n’a aucune “compétence linguistique fonctionnelle”, c’est-à-dire qu’il n’a aucune capacité de raisonnement. Autrement dit, GPT-3 se comporte exactement comme l’opérateur enfermé dans la “chambre chinoise” de John Searle, cette expérience de pensée analysée par Cole (2004). Pourtant, il peut effectuer des calculs, par exemple calculer une intégrale

ou

En effet \int_{0}^{\pi/2}\cos(x)dx=\big[\sin(x)\big]_0^{\pi/2}=\sin({\pi/2})-\sin(0)=1-0=1.

On peut lui demander d’expliquer un peu plus. Et les résultats sont alors étonnants, avec des calculs formels juste, mais faux numériquement

ou au contraire, un résultat numérique correct, mais pas sur sa justification,

Je ne peux m’empêcher d’en afficher d’autres

ou encore

Force est de constater que la puissance créatrice de l’algorithme est impressionnante

illustration de Sir John Tenniel, 1869 (Alice au Pays des Merveilles)

Je peux tenter de rajouter une information, comme quoi je connais les mathématiques (comme l’affirmait un collègue, “si vous lui demandez de résoudre des problème de votre niveau, demandez-lui de se mettre à votre niveau“)

mais là encore, on peut obtenu des choses insensées

Je vais finir ce calcul intégral avec cette réponse, digne d’une copie d’étudiant qui tente de nous impressionner

On peut aussi poser des petites devinettes, voir s’il sait y répondre

mais manifestement non

Un calcul rapide montre que cela n’a aucun sens, et que l’algorithme a su faire preuve de créativité. On a l’impression que GPT-3 a fait sienne la phrase de Lewis Carroll6, “Mais alors, dit Alice, si le monde n’a absolument aucun sens, qui nous empêche d’en inventer un ?” On peut aussi lui demander des informations plus… “personnelles”, par exemple

puis en reposant la question, on se demande si ce n’est pas un autre opérateur qui répond

On peut reposer la question indéfiniment, et s’amuser des réponses… mais force est d’admettre qu’il s’agit typiquement d’une réponse de baratineur, car il est difficile d’imaginer qu’un algorithme ait une ville préférée. On pourrait presque dire qu’il est créatif, même s’il s’est contenté de chercher, dans l’ensemble du corpus utilisé pour l’entrainer, une réponse logique, ou plutôt une suite vraisemblable de termes pour faire suite à ma requête. On pourrait presque s’arrêter là, et repenser à tous ces livres écrits sur la technologie et la robotisation de la société, qui affirmaient que les robots feraient les travaux manuels, et les humains les travaux créatifs. On est en 2023, et pendant que GPT3 s’invente des villes préférées (il pourrait même me répondre en alexandrins), je dois toujours vider le lave-vaisselle et passer l’aspirateur.

En introduction, nous mentionnons que GPT-3 n’avait aucune conscience de ce que peut être la vérité, il se contente de nous faire la conversation. On peut ainsi lui dire qu’il se trompe (même si ce n’est pas le cas), et docilement, il acquiescera

GPT-3 est ainsi authentiquement un producteur de bullshit comme l’affirmait Frankfurt (1986). Pire, il peut enchaîner des affirmations qui ne laissent planer aucun doute. Par exemple

Mais préférerait-on lire à la fin de la phrase “mais j’ai des doutes”, ce qui achèvera presque de le rendre humain7 ? Cette ambivalence est d’ailleurs renforcée par une caractéristique surprenante de GPT-3 (et c’est aussi le cas de ChatGPT), avec des mots qui se dévoilent les uns après les autres8.

Lorsque j’écris, est-ce que je sais vraiment ce que je veux écrire ? Est-ce que le texte ne se dévoile pas à lui-même au fur et à mesure qu’il se formule ?” affirmait Jacques Derrida dans une conférence à Cornell dans le roman Binet (2015). C’est ce que l’on voit lorsqu’on pose une question à GPT-3, ce qui renforce la croyance que derrière l’algorithme se cacherait presque un humain9.

L’automate turc et les perroquets

On connait tous le Turc mécanique ou l’automate joueur d’échecs, ce prétendu automate grandeur nature, coiffé d’un turban, qui avait la faculté de jouer aux échecs, à la fin du XVIIIème siècle, dont l’histoire légendaire est racontée dans Standage (2003).

illustration, dessin de W. de Kempelen et estampe de J. G. Pintz, 1783

Cette histoire est presque le contraire de celle de ChatGPT, avec ici un homme qui se fait passer pour une machine, alors qu’avec les algorithmes conversationnels, ce sont des algorithmes qui ont presque convaincu qu’ils pensaient comme des personnes, qu’ils pouvaient écrire des œuvres originales. Mais si on ouvre la machine, on ne trouvera personne. Pourtant, nous voudrions y croire, car nous sommes tous très doués pour personnifier tout ce qui semble agir comme un humain. Comme l’écrivait Mahowald & Ivanova (2022) nous avons une “persistent tendency to associate fluent expression with fluent thought, it is natural – but potentially misleading – to think that if an AI model can express itself fluently, that means it thinks and feels just like humans do”. On se souviendra que Joseph Weizenbaum, qui développa ELIZA dans les années 1960, un des premiers algorithmes conversationnels, a écrit un livre pour mettre en garde les gens contre l’anthropomorphisme des programmes informatiques, rappelant que son outils n’avait aucune compréhension du monde, mais reposait juste sur quelques astuces répétitives basées sur des mots-clés identifiés par les chercheurs.

ChatGPT n’a aucune compréhension et aucune intention, il se contente de nous répondre, parce qu’il a été programmé pour ça. “On ne parle jamais pour ne rien dire” affirme Viktorovitch (2021). Mais ChatGPT nous parle, alors qu’il n’a littéralement rien à nous dire, il s’agit d’un simple générateur aléatoire de mots. Ou comme le présentait Bender et al. (2021) un “stochastic parrot”, un perroquet stochastique. L’article avait suscité beaucoup d’émotion à l’époque, car neuf jours avant que le document ne soit accepté pour la conférence, et publié, Timnit Gebru, co-auteure de l’article, a été licenciée de son poste de co-directrice de l’équipe d’éthique de Google après avoir refusé de retirer son nom du document (Margaret Mitchell, également auteure, a été licencié deux mois plus tard). Ce contexte a malheureusement fait oublier la portée de l’article, qui mettait en garde contre les dangers des modèles de langue de grande taille (le titre complet est “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”). Et pour poursuivre la métaphore aviaire, on peut se souvenir de l’anecdote racontée par le physicien Richard Feynman en 1966, lorsqu’il discutait avec son père, enfant : “See that bird? It’s a brown-throated thrush, but in Germany it’s called a halsenflugel, and in Chinese they call it a chung ling and even if you know all those names for it, you still know nothing about the bird — you only know something about people; what they call that bird. Now that thrush sings, and teaches its young to fly, and flies so many miles away during the summer across the country, and nobody knows how it finds its way,” and so forth. There is a difference between the name of the thing and what goes on”. Autrement dit, il y a une différence profonde entre dire et nommer des choses, et réellement les comprendre. Et l’explosion exponentielle de la complexité et de la taille de ces algorithmes ne changera rien10. Même si GPT-4 contient mille fois plus de paramètres, l’algorithme ne sera pas “mille fois plus intelligent”, il sera juste un meilleur miroir de notre intelligence, et de notre bêtise, peut-être seulement de manière encore plus convaincante.

Le “bullshit”, le baratinage et les risques

Comme Klein (2023) l’a écrit, avec GPT, “the cost of producing “bullshit” has gone to zero”. Ces algorithmes sont des baratineurs, et ce n’est pas un défaut que les versions suivantes corrigeront, c’est une caractéristique de ces modèles. En 2020, comme le cite Marcus & Davis (2020), le chercheur Douglas Summers-Stay affirmait “GPT is odd because it doesn’t ‘care’ about getting the right answer to a question you put to it. It’s more like an improv actor who is totally dedicated to their craft, never breaks character, and has never left home but only read about the world in books. Like such an actor, when it doesn’t know something, it will just fake it. You wouldn’t trust an improv actor playing a doctor to give you medical advice.” Et il est important de garder cette caractéristique en tête quand on imagine les utilisations possibles de ces générateurs de discussions. Et les concurrents d’OpenIA répondent présent, Google ayant lancé Google Bard voilà quelques semaines, cette multiplication de l’offre laissant penser qu’il existerait une demande massive pour ce genre d’outils.

Les pouvoirs de “raisonnement” du modèle sont au mieux superficiels, mais plus vraisemblablement inexistants. Comme l’affirme Mielczareck (2021), “si les « bullshitters » sont toujours plus nombreux, c’est aussi qu’ils répondent aux injonctions de leur époque”. Encore une fois, il est important de garder en tête l’affirmation de Frankfurt (2009), “bullshit is a greater enemy of the truth than lies are”, les “bullshitters” sont bien plus dangereux que les menteurs. Le “bullshitter”, c’est celui qui est pris la main dans le pot de confiture, qui vous regarde en souriant en vous disant que ce n’est pas lui, tout en continuant à se goinfrer. Et qui pourrait au passage tweeter « what ever » ou « who cares »

On l’a vu, faire confiance aveuglément à GPT-3 et le suivre aveuglément dans ses hallucinations11 ne peut se faire qu’en mettant son sens critique en veille. Alors à quoi sert ChatGPT ? Il est important de garder en tête que l’algorithme est développé par OpenAI, cette société12 dont la finalité officielle est “to ensure that artificial general intelligence benefits all of humanity”, mais qui compte aussi bien profiter de ce battage médiatique pour gagner de l’argent.  Étymologiquement, le mot “baratin” désignait, dans l’argot des voleurs, le portefeuille vide qui remplace celui, bien plein, que l’on vient de voler pour que la victime ne s’en rende pas compte. Au début du XXème siècle, le mot désignait  le bluff d’un homme d’affaires, d’un courtisan, d’un flagorneur. L’ironie est que ChatGPT est probablement proche de ce concept, la vision séduisante de l’“intelligence artificielle” est, pour beaucoup, la promesse qu’une technologie suffisamment performante pourra remplacer les travailleurs humains ou, plus important encore, pourra les précariser et les affaiblir. Car il y a un message politique dans cette technologie. L’injonction permanente à apprendre à vivre avec ces outils, qui sont là pour rester et que nous devons juste apprendre à vivre avec est effrayante. On l’a vu, il est important de distinguer ce qui serait un défaut temporaire d’une caractéristique profonde, car ce genre d’outils ne sera jamais plus qu’un “perroquet stochastique”. Et pour quantifier sérieusement les risques, il convient d’imaginer les utilisations possibles de cet outil. Par exemple, si on souhaite utiliser un modèle de langue de grande taille pour répondre à des questions de santé, l’exactitude et la fiabilité des réponses est probablement essentiel. On notera l’alerte lancée par des chercheurs de cp<r> qui avait repéré que certaines cyberattaques récentes avaient été possible grâce à GPT-3.

En juin 2021, la plateforme Github a lancé Github Copilot, afin de générer du code. Par exemple “écris un code python qui, à partir d’une phrase, va renvoyer la même phrase en mettant tous les mots en ordre inverse”, ou d’autres codes plus compliqués (et plus utiles). Pour entraîner un tel modèle de génération de code, l’algorithme a appris sur des millions de codes, trouvés en ligne sur des sites dédiés. Et bien souvent, l’algorithme recopie un code trouvé ailleurs, s’apparentant davantage à un moteur de recherche qu’à un générateur de codes. Ce qui est effectivement plus efficace, car inventer un code intégralement a peu de chances pour que ce dernier fonctionne effectivement lorsqu’on le compilera. Et malheureusement, plusieurs codes renvoyés par l’algorithme étaient protégés par le droit d’auteur, et plusieurs procès sont en cours. Wikipedia cite sans cesse ses sources, comme le mentionnait Charpentier (2018), mais pas GPT-3 qui se contente de plagier ses données d’apprentissage. Faut-il être admiratif, et affirmer, comme l’aurait dit Pablo Picasso13 (ou Banksy), “the bad artists imitate; the great artists steal.” Gary Marcus avait parlé de “pastiche” pour décrire ChatGPT. Dans son sens premier, un pastiche est une contrefaçon, et on peut effectivement s’interroger sur ce que fait réellement cet algorithme.

Comme nous l’avons mentionné auparavant, une avancé entre GPT-3 et ChatGPT est peut être une couche intermédiaire permettant de recevoir des instructions humaines14 pour améliorer l’algorithme, obtenue par RLHF, Reinforcement Learning through Human Feedback. Perrigo (2023) raconte comme OpenIA était passé par la société Sama, qui employait du personnel au Kenya pour analyser des échantillons d’écrits identifiés comme potentiellement “sensibles” (parlant de meurtres, de suicide, de tortures, d’incestes, etc) afin de signaler ce contenu à l’algorithme afin d’éviter d’écrire des textes similaires, afin d’éviter de produire un contenu haineux ou pornographique. L’impact psychique sur ces travailleurs (payés 2$ de l’heure) était tel que le contrat liant Sama et OpenIA a été rompu. L’ironie est qu’au final les algorithmes générant du langage ne sont pas un automate turc, ils n’ont rien d’humain, et que pour le faire passer pour un humain “inoffensif”, ses créateurs ont dû déshumaniser de vrais humains.

 

Références

Anderson, C. (2008). The end of theory: The data deluge makes the scientific method obsolete. Wired magazine, 16(7), 16-07.

Bender, E., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency,‎ mars 2021, p. 610–623

Binet, L. (2015). La septième fonction du langage. Grasset.

Charpentier, A. (2018) Fake news, Wikipedia et Blockchain : Vérité et Consensus. Risques.

Chomsky, N. (2002). On nature and language. Cambridge University Press.

Cole, D. (2004), “The Chinese Room Argument”, The Stanford Encyclopedia of Philosophy

Frankfurt, H. G. (2009). On bullshit. Princeton University Press.

Grice, H. P. (1975). Logic and conversation. In Speech acts (pp. 41-58). Brill.

Klein, E. (2023). A Skeptical Take on the A.I. Revolution: The A.I. expert Gary Marcus asks: What if ChatGPT isn’t as intelligent as it seems?. New York Times, 6 janvier

Li, K. (2023). Do Large Language Models learn world models or just surface statistics?. The Gradient,

Mahowald, K. & Ivanova, A. (2022) Google’s powerful AI spotlights a human cognitive glitch: Mistaking fluent speech for fluent thought. The Conversation, 24 juin.

Marantz, (2023). “It’s Not Possible for Me to Feel or Be Creepy”: An Interview with ChatGPT. The NewYorker,

Marcus, G., & Davis, E. (2020). GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. Technology Review.

Marcus, G. (2022) How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?  garymarcus.substack.com

McCulloch, B. (2023) The risks of Large Language Models (such as ChatGPT). Vux.

Mielczareck, É. (2021). Anti Bullshit: Post-vérité, nudge, storytelling: quand les mots n’ont plus de sens (et comment y remédier). Editions Eyrolles

Mikolov, T. (2013) Efficient Estimation of Word Representations in Vector Space, Arxiv.

Perrigo, B. (2023). Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic. Times, 18 Janvier 2023

Standage, T. (2003). The Mechanical Turk : The True Story of the Chess Playing Machine That Fooled the World. Penguin Book.

Viktorovitch, V. (2021). Le pouvoir rhétorique. Seuil.

Weizenbaum, J. (1966). ELIZA — a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45.

Weizenbaum, J. (1976). Computer Power and Human Reason: From Judgment To Calculation, traduit en Puissance de l’Ordinateur et Raison de l’Homme – du Jugement au Calcul 1981, Ed. d’informatique.

Woldfram, S. (2023). What Is ChatGPT Doing … and Why Does It Work?

Yaguello, M. (2019). Alice au pays du langage-Pour comprendre la linguistique. Média Diffusion.

  1. ChatGPT (Generative Pre-trained Transformer) est basé sur GPT-3 (Generative Pre-trained Transformer 3) d’OpenIA, lancé en 2020.
  2. Plus précisément text-davinci-003, avec une “température” de 1 (afin d’augmenter l’aléa et avoir de nouvelles réponses en reposant la même question)
  3. Nous ne reviendrons pas sur cet aspect, mais cette mémoire contextuelle permet par exemple à l’algorithme de rattacher à un pronom un mot précis, à condition qu’il n’ait pas été évoqué trop loin dans le texte.
  4. GPT-3 est une merveille d’ingénierie, de part son échelle impressionnante, donnant presque raison à Anderson (2008), qui évoquait la fin de la théorie, la victoire des ingénieurs sur les chercheurs fondamentaux.
  5. On peut mentionner BERT ou encore Transformer, développés quelques années plus tard.
  6. Ce qui se traduirait par “But, said Alice, if the world has absolutely no sense, who’s stopping us from inventing one?”, car malheureusement cette prétendue citation ne semble figurer nulle part dans l’oeuvre de Lewis Carroll. Après tout, comme le dirait GPT-3, si la citation n’existe absolument pas, qu’est-ce qui nous empêche de l’inventer ?
  7. Peut-on d’ailleurs s’attendre à lire autre chose que “j’ai des doutes”, l’algorithme n’ayant aucune conscience de ce que peut être la vérité ?
  8. Il est d’ailleurs étonnant que si la succession de mots se dévoile aussi lentement, il n’y ait pas davantage d’erreurs, en particulier lorsqu’un calcul est effectué. Si la réponse 2 est donnée pour le calcul d’intégrale, puis justifiée, il convint que la réponse finale corresponde effectivement avec la première réponse donnée.
  9. Cela dit, quand on lui demande, l’algorithme répond toujours qu’il n’est pas humain. On évite de revivre ainsi une des premières scènes de la dystopie télévisuelle Westworld, où un homme demandant à un androïde “Are you real?” se voit répondre “If you can’t tell, does it matter?”.

10. Même si pour de nombreux chercheurs en informatique, “there’s no data like more data”, autrement dit “rien ne vaut plus de données” si le modèle n’est pas assez bon (embrassant ainsi l’affirmation d’Anderson (2008)).
11. Les hallucinations sont un phénomène psychique par lequel un sujet en état de veille éprouve des perceptions ou des sensations sans qu’aucun objet extérieur les fasse naître. Cette déconnexion avec la réalité n’est pas sans faire penser au comportement de cet algorithme.
12. De nombreux chercheurs ont souligné l’ironie du nom pour une société aussi peu ouverte et transparente, bien plus pressée pour offrir une plateforme pour “démocratiser” l’outil que pour autoriser des tiers de confiance (des universitaires) à mieux comprendre le fonctionnement de l’outil.
13. Au musée de Bristol figure une pierre gravée de la citation de Pablo Picasso “Les mauvais artistes imitent, les grands artistes volent“, où Banksy a rayé le nom de Picasso pour y mettre le sien.
14. Ce modèle précédant est InstructGPT, “a more truthful and less toxic GPT-3

Data Augmentation for Imbalanced Regression

Our paper Data Augmentation for Imbalanced Regression, writen with Denys Pommeret and Sam Stocksieker, is now available on ArXiv.

In this work, we consider the problem of imbalanced data in a regression framework when the imbalanced phenomenon concerns continuous or discrete covariates. Such a situation can lead to biases in the estimates. In this case, we propose a data augmentation algorithm that combines a weighted resampling (WR) and a data augmentation (DA) procedure. In a first step, the DA procedure permits exploring a wider support than the initial one. In a second step, the WR method drives the exogenous distribution to a target one. We discuss the choice of the DA procedure through a numerical study that illustrates the advantages of this approach. Finally, an actuarial application is studied.

Statistique & société, équité en apprentissage automatique

Le dernier numéro de Statistique et Société a pour thème “équité en apprentissage automatique”. On pourra y retrouver un article coécrit avec Laurence Barry sur L’équité de l’apprentissage machine en assurance.

Les assureurs sont réputés utiliser des données pour classer et tarifer les risques. À ce titre, dès la fin du 19e siècle, ils ont été confrontés aux problèmes d’équité et de discrimination associées aux données. Pourtant, si cette question est récurrente, elle connait un regain d’importance avec l’accès à des données de plus en plus granulaires, massives et comportementales. Nous verrons ici comment les biais de l’apprentissage machine en assurance renouvellent ou transforment ce questionnement pour rendre compte des technologies et des préoccupations sociétales actuelles : paradoxalement, alors que la plupart de ces biais ne sont pas nouveaux, la recherche d’une équité pour les contrer, elle, se transforme.