Category Archives: Research

Geospatial Disparities: A Case Study on Real Estate Prices in Paris

Our paper, Geospatial Disparities: A Case Study on Real Estate Prices in Paris, and Agathe Fernandes Machado, François Hu, Philipp Ratz and Ewen Gallic, is now online on ArXiv,

Driven by an increasing prevalence of trackers, ever more IoT sensors, and the declining cost of computing power, geospatial information has come to play a pivotal role in contemporary predictive models. While enhancing prognostic performance, geospatial data also has the potential to perpetuate many historical socio-economic patterns, raising concerns about a resurgence of biases and exclusionary practices, with their disproportionate impacts on society. Addressing this, our paper emphasizes the crucial need to identify and rectify such biases and calibration errors in predictive models, particularly as algorithms become more intricate and less interpretable. The increasing granularity of geospatial information further introduces ethical concerns, as choosing different geographical scales may exacerbate disparities akin to redlining and exclusionary zoning. To address these issues, we propose a toolkit for identifying and mitigating biases arising from geospatial data. Extending classical fairness definitions, we incorporate an ordinal regression case with spatial attributes, deviating from the binary classification focus. This extension allows us to gauge disparities stemming from data aggregation levels and advocates for a less interfering correction approach. Illustrating our methodology using a Parisian real estate dataset, we showcase practical applications and scrutinize the implications of choosing geographical aggregation levels for fairness and calibration measures.

Insurance Data Science, IDSC’24 (in Stockholm)

This year, the Insurance Data Science Conference will take place in Stockholm. The abstract booklet with all accepted speakers at IDSC 2024 is now available. Agathe will present some recent joint work on calibration (inspired by arXiv:2402.07790 – as well as more recent work)

I will also attend, to present some work on fairness, with multiple sensitive attributes (based on arXiv.2309.06627 and another article that should be finalized by then about our equipy python package),

Boarding for ISS: Imbalanced Self-Supervised Discovery of a Scaled Autoencoder for Mixed Tabular Datasets

Our paper “Boarding for ISS: Imbalanced Self-Supervised Discovery of a Scaled Autoencoder for Mixed Tabular Datasets,” by Samuel Stocksieker, co-autored with Denys Pommeret, has been accepted for presentation at the IEEE World Congress on Computational Intelligence (IEEE WCCI 2024) to be held at Pacifico Yokohama, Yokohama, Japan, 30 June – 5 July 2024.

The field of imbalanced self-supervised learning, especially in the context of tabular data, has not been extensively studied. Existing research has predominantly focused on image datasets. This paper aims to fill this gap by examining the specific challenges posed by data imbalance in self-supervised learning in the domain of tabular data, with a primary focus on autoencoders. Autoencoders are widely employed for learning and constructing a new representation of a dataset, particularly for dimensionality reduction. They are also often used for generative model learning, as seen in variational autoencoders. When dealing with mixed tabular data, qualitative variables are often encoded using a one-hot encoder with a standard loss function (MSE or Cross Entropy). In this paper, we analyze the drawbacks of this approach, especially when categorical variables are imbalanced. We propose a novel metric to balance learning: a Multi-Supervised Balanced MSE. This approach reduces the reconstruction error by balancing the influence of variables. Finally, we empirically demonstrate that this new metric, compared to the standard MSE: i) outperforms when the dataset is imbalanced, especially when the learning process is insufficient, and ii) provides similar results in the opposite case.

Discussions autour du Manuel d’Assurance, partie 3

Après la discussion il y a deux semaines, avec Gilles, et la semaine avant, avec Patrick, je mets en ligne un dernier billet, reprenant un échange que nous avions, tous les trois, avec Patrick Thourot et Gilles Bénéplanc, l’automne dernier, et l’équipe d’Annie (qui s’occupe de formation au sein du groupe Séroni, et News Assurances Pro) pour parler du Manuel d’Assurance,

Le livre est toujours en ligne sur le site des PUF.

Intelligence artificielle et blanchiment d’argent

Vendredi prochain, je dois intervenir dans une conférence (en ligne) organisée à Nîmes en France. Comme j’ai (presque) fini de préparer mes slides, j’en profite pour mettre en ligne un court billet, pour remettre un peu d’ordre dans mes idées, et mes notes. J’ai tout écrit en français parce que j’ai l’impression que les juristes en France sont plus à l’aise en français.

Comme souvent, quand on me parle d’intelligence artificielle, je me sens un peu perdu, mais j’ai l’impression que le but est de disperser un peu le brouillard et la fumée. Il y a trente ans, il y avait déjà des discussions sur l’utilisation d’outils technologiques dans le contexte du blanchiment (“money laundering“)

L’an passé, McKinsey affirmait que l’apprentissage machine changerait la donne, dans la guerre contre le blanchiment,

avec quelques idées intéressantes,

Intelligence artificielle

Pour commencer, je me disais que je pourrais présenter quelques termes classiques, poser un peu le cadre général,

En apprentissage non-supervisé, on cherche des “outliers“, des transactions “anormales”

Mais en grande dimension, définir la “normalité” est compliqué (cf deux anciens billets, ici et ).

Plus classiquement, en analyse de fraude, mais aussi en analyse de blanchiment, on utilise des données labellisées, et on utilise des techniques  d’apprentissage “supervisé”. On utilise des données où des transactions sont classées comme “frauduleuse”, ou pas.

Dans l’espace des informations permettant de classer, on cherche à identifier des régions, pour les transactions qui seront prédites comme “frauduleuse” ou pas. Avec une approche probabiliste, la probabilité d’être “frauduleuse” sera élevée,

Bien entendu, on peut se tromper. Soit en laissant passer une transaction frauduleuse, soit en mettant de la suspicion sur des personnes qui ont effectué une transaction comme “frauduleuse”

En changeant le seuil à partir duquel on classe une observation comme “frauduleuse”, on peut baisser un type d’erreur (mais le prix à payer sera qu’on augmente l’autre type).

Une autre spécificité est qu’a priori, les données sont largement déséquilibrées, avec très peu d’observations réellement frauduleuses. Dans ces conditions, il est difficile d’avoir un modèle, la plupart des signaux étant jugés comme trop faibles.

Je parlerais aussi un peu des “scores” de transaction frauduleuse (j’évoquais auparavant une “probabilité” d’être frauduleuse)

On peut aussi mentionner que de nombreuses approches sont basées sur des arbres de décision.

On peut ensuite vraiment parler de “apprentissage machine”, avec des modèles a priori plus complexes, pouvant capturer des non-linéarités, des interactions, etc

Quand on a peu de données labellisées, l’apprentissage actif permet d’aider à chercher quelles transactions labellisées, pour améliorer la précision de notre classifieur. Car on dispose de milliers, de millions de données non labellisées (ce sont les petits points gris ci-dessous).

L’idée est d’aller chercher des observations dans la zone d’indécision

On va labelliser quelques observations supplémentaire, et estimer de nouveau le modèle

On peut aussi lisser, ce qui fera gagner en robustesse, et parfois aussi en interprétabilité

On peut aussi apprendre d’autres modèles. Par exemple, on peut avoir de l’expérience partagée par une autre banque, peut être dans un autre pays. Un peu d’ajustements seront nécessaires, mais ça peut être un point de départ (je mettrais en ligne, d’ici l’été, quelques billets sur l’apprentissage par transfert)

Je peux aussi parler d’apprentissage antagoniste, où on pourrait être tenté d’attaquer l’algorithme d’apprentissage, pour changer la prédiction (je parlais de l’exemple des autruches la semaine passée)

Un autre aspect important est l’explicabilité. D’un côté, on veut un modèle simple à comprendre, facile à auditer. Mais de l’autre, s’il est trop simple, les fraudeurs pourront assez facilement passer au travers des mailles du filet.

Pour résumer, on retrouvera souvent ces concepts, quand on s’interroge sur l’intelligence artificielle,

Maintenant que j’ai un peu rappelait ce que cachait le terme vague “intelligence artificielle”, revenons à nos moutons…

Blanchiment d’argent

On peut passer à la deuxième partie, et les spécificités en lien avec le blanchiment d’argent. Tout d’abord, si j’ai l’habitude de travailler un peu sur la fraude, le blanchiment est un problème sensiblement différent. En particulier, les incitations pour les banques de stopper le blanchiment sont relativement faibles…

Mais on trouve aussi des doutes du côté du régulateur. Comme le note l’EBA (European Banking Authorities), le jour où les banques bloqueront toutes les transactions frauduleuses, cela signifie que les truands auront trouvé une parade, et plus aucun contrôle (ou surveillance) ne sera possible. C’est un argument assez classique en économie de biens illicites.

Si on revient sur la définition (ici légale), on voit que ça parle de transferts d’argents dont on ne peut remonter à la source. Assez logiquement, on va voir l’utilisation de réseaux, connectant les membres (et les institutions)

C’est l’analyse de relations qui permet d’identifier les transactions frauduleuses, et les personnes qui les lient

Il y a aussi de l’analyse de données textuelles, permettant de voir des relations qui ne sont pas matérialisées forcément par des transferts monétaires. C’est lié à la recherche de noms (de personnes ou d’entreprises) dans divers documents (presse ou réseaux sociaux). Mais les données textuelles, c’est compliqué

Juste pour le plaisir, je remets quelques titres de presse où l’extraction de relation et d’information est compliquée (y compris pour un être humain parfaitement anglophone).

Plusieurs articles mentionnent aussi l’analyse de sentiments, c’est à dire associer une connotation positive ou négative à une phrase ou un document.

Et pour conclure, je peux mentionner un petit soucis qui est que les données utilisées ici sont très largement en lien avec des informations personnelles, privées, voire sensibles. Mais dans la plupart des pays, la recherche d’activités frauduleuses autorise le traitement de ces données (Bertrand, Maxwell & Vamparys (2021) rentre davantage dans l’analyse)

Je mets quelques références pour conclure, mais voilà, en 30 minutes, on aura le temps de faire un survol rapide, et introductif, pour des juristes,

L’assurance au défi des ruptures, colloque, mi-septembre prochain, à Cerisy

Dans six mois (jour pour jour) Jean-Louis Bancel, Laurence Barry et Pierre François organise une conférence d’une semaine, sur le thème de l’assurance au défi des ruptures. La conférence se tiendra au Centre Culturel International de Cerisy.

Depuis la fin du XVIIIe siècle, l’assurance s’est imposée comme un dispositif qui confère de la résilience aux activités humaines, en proposant une compensation lorsque se réalise le risque qui les pénalise. La place de cette activité s’est accrue, pour s’incarner, à la fin du XXe siècle, dans une “société du risque”(1). Elle est devenue un rouage essentiel de l’industrialisation et de l’extension d’un progrès qui se retourne, parfois, contre nous.

La notion de risque évolue et est associée à la finance dont l’assurance n’est devenue qu’une des composantes. La crise de 2008, l’accélération des risques naturels extrêmes (cyclones, sécheresses, etc…) et la pandémie de Covid ont bousculé les certitudes sur la capacité du couple assurance/finance à apporter des solutions pour faire face aux risques du monde de demain.

Le choc de plusieurs ruptures, technologiques (mobilisation des données massives), sociales et économiques (propension des parties prenantes, offreurs comme demandeurs, à faire en sorte que chacun “paie son propre risque”), invite à repenser les fondements de l’assurance, ses objectifs et les techniques mises en œuvre pour les atteindre.

Face à la montée de périls globaux (dépassement des capacités de la Terre, évolutions climatiques…) mais aussi de nouvelles opportunités (médecine personnalisée…) les ressorts traditionnels de l’assurance (aléa, mutualisation, solidarité) sont-ils encore pertinents et opératoires ?

Les participants au colloque s’interrogeront sur les limites et les perspectives d’évolution de l’assurance. Ils tenteront d’esquisser des pistes “d’atterrissage”(2) pour l’assurance.

Les échanges dans l’enceinte du château se combineront avec des visites, en Normandie, permettant d’appréhender des situations, de risques (montée des eaux marines ou confrontation entre des risques industriels et préservation de sites naturels), où l’Assurance/Finance est mise à l’épreuve.

(1) “La société du risque. Sur la voie d’une autre modernité”, Ulrich Beck, Champs, n°822, Champs essais, 2008.
(2) Où atterrir ? Comment s’orienter en politique, Bruno Latour, La découverte, 2017.

Online Seminar Finance & Modeling, Centre d’Économie de la Sorbonne

In a week,  I will give a talk at the Modélisation Financière seminar (“Online Seminar Finance & Modeling” according to the invitation) on Using optimal transport to mitigate unfair predictions. Slides are now on line.

The insurance industry is heavily reliant on predictions of risks based on characteristics of potential customers. Although the use of said models is common, researchers have long pointed out that such practices perpetuate discrimination based on sensitive features such as gender or race. Given that such discrimination can often be attributed to historical data biases, an elimination or at least mitigation is desirable. With the shift from more traditional models to machine-learning based predictions, calls for greater mitigation have grown anew, as simply excluding sensitive variables in the pricing process can be shown to be ineffective. In this talk, we first investigate why predictions are a necessity within the industry and why correcting biases is not as straightforward as simply identifying a sensitive variable. We then propose to ease the biases through the use of Wasserstein barycenters instead of simple scaling. To demonstrate the effects and effectiveness of the approach we employ it on real data and discuss its implications. The talk will be based on recent work with François Hu and Philipp Ratz (2310.20508, 2309.06627, 2306.12912 and 2306.10155).

WIM (Workshop in Insurance Mathematics) is back

After four year without it, the WIM is back. Last time, it was in February 2020. Tomorrow, Agathe and Olivier will present posters at the Workshop in Insurance Mathematics, a Concordia University.

Both posters will be on fairness and discrimination. Olivier Côté will present a poster on “Fairness in insurance enigma: exploring the maze of regulation

Agathe will present a poster on Equipy, “A Python Package for Sequential Fairness using Optimal Transport with Applications in Insurance

Exposé au séminaire de statistique (StatQAM)

Tomorrow, Ewen Gallic will present some recent work at the StatQAM statistical seminar, on calibration, with Agathe Fernandes Machado, François Hu, and Emmanuel Flachaire. It will substantially be based on our recent paper From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration

The assessment of binary classifier performance traditionally centers on discriminative ability using metrics, such as accuracy. However, these metrics often disregard the model’s inherent uncertainty, especially when dealing with sensitive decision-making domains, such as finance or healthcare. Given that model-predicted scores are commonly seen as event probabilities, calibration is crucial for accurate interpretation. In our study, we analyze the sensitivity of various calibration measures to score distortions and introduce a refined metric, the Local Calibration Score. Comparing recalibration methods, we advocate for local regressions, emphasizing their dual role as effective recalibration tools and facilitators of smoother visualizations. We apply these findings in a real-world scenario using Random Forest classifier and regressor to predict credit default while simultaneously measuring calibration during performance optimization.

To illustrate, consider predictions about the gender of the person on the picture, including probabilities (confidence), obtained from https://www.picpurify.com/demo-face-gender-age.html, with fake pictures, from https://www.nytimes.com/interactive/2020/11/21/science/artificial-intelligence-fake-people-faces.html.

Discussions autour du Manuel d’Assurance, partie 2

La semaine passée, j’avais mis en ligne un premier post, reprenant une discussion que nous avions, avec Patrick Thourot et Gilles Bénéplanc, l’automne dernier, avec l’équipe d’Annie (qui s’occupe de formation au sein du groupe Séroni, et News Assurances Pro) pour parler du Manuel d’Assurance,

Petite information au passage… les PUF ont mis en vente la version électronique (non disponible dans les premiers mois qui ont suivi la parution du livre, étrangement…)