Weapons of Math Destruction est un livre passionnant, qui, comme le sous-titre l’indique parle de “big data”. Beaucoup de livres parus ces jours-ci parlent de big data. Le point de vue est celui de Cathy, ancienne professeur de mathématiques (après des études à Berkeley, elle a obtenu un doctorat à Harvard et enseigné au MIT lors de son postdoc), qui a travaillé sur les marchés financiers au moment de la crise de 2008 dans un hedge fund, avant de rejoindre RiskMetrics en 2009, comprenant qu’il était important de modéliser les risques financiers. Après avoir côtoyé le mouvement Occupy Wall Street, elle décide reprendre sa vie en main, en devenant Data Scientist. Elle a ainsi dirigé un des cursus de l’école de journalisme de Columbia tout en étant consultante en Data Science.

Son point de vue est particulièrement intéressant, car elle met en avant le lien entre la gestion des risques et le monde qui s’ouvre, autour du big data. Le premier est que les deux ont attiré massivement l’élite des étudiants, la finance entre 1995 et 2010, le monde de la donnée ensuite. Pour les deux, le “vrai monde” semble déconnecté de ce qu’ils manipulent: “the real world, with all its messiness, sits apart“. Ce qui pose la question centrale du livre, qu’est-ce qui sera l’analogue de la crise du crédit dans le monde de la donnée? Et pour Cathy, la réponse est simple. Dans la dystopie que nous promet le Big Data, les inégalités sont augmenter.

Il y a déjà les inégalités du côté des plateformes, avec des compagnies qui finissent par occuper des positions monopolistiques. Comme le note Cathy, il n’y a rien d’incroyablement intelligent dans le fonctionnement de Google, ou Facebook. Ces compagnies sont énormes parce qu’elles ont été là, au bon moment, mais le danger est leur voracité insatiable. Car à l’heure actuelle, la même entreprise gère nos courriers électroniques, nos recherches (de voyage, de musique, etc), nos réseaux sociaux, et peut ainsi évaluer, mais également contrôler notre monde.

Et au delà des plateformes, ce sont surtout les inégalités au sein de la population qui vont exploser. Cathy O’Neil illustre sa thèse à l’aide d’exemples particulièrement bien choisis. Par exemple la publicité ciblée permet à des publicitaires prédateurs d’atteindre de manière encore plus efficace les personnes les plus vulnérables à l’escroquerie. Les algorithmes utilisés par les ressources humaines créent des discriminations pires que celles qui pouvaient déjà exister. Et c’est exactement le même phénomène que l’on observe avec les police prédictive, où l’égalité devant la loi n’a plus de sens dans la réalité quotidienne.

La logique de ces algorithmes prédictifs est simple: les gagnants vont gagner, et les perdants vont perdre. Mais de manière sournoise, car invisible. Il n’y a pas de volonté délibérée et affichée, il n’y a plus forcément de policier raciste, ou de recruteur misogyne. Les inégalités se créent sans que personne ne s’en rende vraiment compte. Considérons une RH qui veuille définir un score de “succès” pour proposer des promotions, peut être basé sur un historique de succès observés dans les années précédentes. Si les données ne contiennent que peu de femmes (car peu avaient, historiquement, des postes à responsabilité) l’algorithme pénalisera les femmes. Et la spirale va commencer. Il y en aura de moins en moins dans la base, et elles seront de facto davantage pénalisées. Le livre foisonne de petits exemples qui illustrent parfaitement son propos, car ce phénomène existe partout. Les programmes visant à réduire la criminalité font en fait augmenter la criminalité dans les régions les plus pauvres. Si les quartiers pauvres ont plus de crimes, il y a aura davantage de policiers, qui feront alors davantage d’arrestation, etc. Les inégalités sont exacerbées, car les modèles manquent de boucles de rétroactions.

Une fois posés tous ces problèmes, on est en attente de solutions. Et le tableau que dresse Cathy n’est pas très réjouissant. On retrouve le phénomène décrit par la loi de Goodhart, “quand une mesure devient un objectif, elle cesse d’être une mesure”. Les plus malins comprennent la logique de l’algorithme, et finissent par pervertir l’évaluation. C’est le cas des évaluations des élèves dans les écoles américaines, où les instituteurs sont incités (par l’algorithme) à tricher pour aider leurs élèves à avoir des bonnes notes, pour faire remonter l’école dans le classement. Mais il n’est pas surprenant qu’il n’y ait pas de recette miracle, car le problème est profond. Comme le note Cathy O’Neil, “the model is optimized for efficiency and profitability, not for justice or the good of the ‘team.’ This is, of course, the nature of capitalism“.

A la lecture du livre, on comprend la logique dans le parcours de Cathy, sa logique de rejoindre Occupy après avoir vécu de l’intérieur la crise du crédit. On y entend un appel à la conscience des Data Scientist. Leur rappelant que la construction d’un “bon” modèle ne doit pas se faire sur des critères statistiques, mais doit aussi tenir compte d’une notion d’équité. Ce qui rejoint les débats que nous avons au sein de la chaire, lorsque nous essayons de réintégrer la notion de mutualisation lorsque les actuaires font de la segmentation tarifaire. Bref, ce livre est indéniablement le livre qu’il convient de lire en cette rentrée.