Weapons of Math Destruction est un livre passionnant, qui, comme le sous-titre l’indique parle de “big data”. Beaucoup de livres parus ces jours-ci parlent de big data. Le point de vue est celui de Cathy, ancienne professeur de mathématiques (après des études à Berkeley, elle a obtenu un doctorat à Harvard et enseigné au MIT lors de son postdoc), qui a travaillé sur les marchés financiers au moment de la crise de 2008 dans un hedge fund, avant de rejoindre RiskMetrics en 2009, comprenant qu’il était important de modéliser les risques financiers. Après avoir côtoyé le mouvement Occupy Wall Street, elle décide reprendre sa vie en main, en devenant Data Scientist. Elle a ainsi dirigé un des cursus de l’école de journalisme de Columbia tout en étant consultante en Data Science.
Son point de vue est particulièrement intéressant, car elle met en avant le lien entre la gestion des risques et le monde qui s’ouvre, autour du big data. Le premier est que les deux ont attiré massivement l’élite des étudiants, la finance entre 1995 et 2010, le monde de la donnée ensuite. Pour les deux, le “vrai monde” semble déconnecté de ce qu’ils manipulent: “the real world, with all its messiness, sits apart“. Ce qui pose la question centrale du livre, qu’est-ce qui sera l’analogue de la crise du crédit dans le monde de la donnée? Et pour Cathy, la réponse est simple. Dans la dystopie que nous promet le Big Data, les inégalités sont augmenter.
Il y a déjà les inégalités du côté des plateformes, avec des compagnies qui finissent par occuper des positions monopolistiques. Comme le note Cathy, il n’y a rien d’incroyablement intelligent dans le fonctionnement de Google, ou Facebook. Ces compagnies sont énormes parce qu’elles ont été là, au bon moment, mais le danger est leur voracité insatiable. Car à l’heure actuelle, la même entreprise gère nos courriers électroniques, nos recherches (de voyage, de musique, etc), nos réseaux sociaux, et peut ainsi évaluer, mais également contrôler notre monde.
Et au delà des plateformes, ce sont surtout les inégalités au sein de la population qui vont exploser. Cathy O’Neil illustre sa thèse à l’aide d’exemples particulièrement bien choisis. Par exemple la publicité ciblée permet à des publicitaires prédateurs d’atteindre de manière encore plus efficace les personnes les plus vulnérables à l’escroquerie. Les algorithmes utilisés par les ressources humaines créent des discriminations pires que celles qui pouvaient déjà exister. Et c’est exactement le même phénomène que l’on observe avec les police prédictive, où l’égalité devant la loi n’a plus de sens dans la réalité quotidienne.
La logique de ces algorithmes prédictifs est simple: les gagnants vont gagner, et les perdants vont perdre. Mais de manière sournoise, car invisible. Il n’y a pas de volonté délibérée et affichée, il n’y a plus forcément de policier raciste, ou de recruteur misogyne. Les inégalités se créent sans que personne ne s’en rende vraiment compte. Considérons une RH qui veuille définir un score de “succès” pour proposer des promotions, peut être basé sur un historique de succès observés dans les années précédentes. Si les données ne contiennent que peu de femmes (car peu avaient, historiquement, des postes à responsabilité) l’algorithme pénalisera les femmes. Et la spirale va commencer. Il y en aura de moins en moins dans la base, et elles seront de facto davantage pénalisées. Le livre foisonne de petits exemples qui illustrent parfaitement son propos, car ce phénomène existe partout. Les programmes visant à réduire la criminalité font en fait augmenter la criminalité dans les régions les plus pauvres. Si les quartiers pauvres ont plus de crimes, il y a aura davantage de policiers, qui feront alors davantage d’arrestation, etc. Les inégalités sont exacerbées, car les modèles manquent de boucles de rétroactions.
Une fois posés tous ces problèmes, on est en attente de solutions. Et le tableau que dresse Cathy n’est pas très réjouissant. On retrouve le phénomène décrit par la loi de Goodhart, “quand une mesure devient un objectif, elle cesse d’être une mesure”. Les plus malins comprennent la logique de l’algorithme, et finissent par pervertir l’évaluation. C’est le cas des évaluations des élèves dans les écoles américaines, où les instituteurs sont incités (par l’algorithme) à tricher pour aider leurs élèves à avoir des bonnes notes, pour faire remonter l’école dans le classement. Mais il n’est pas surprenant qu’il n’y ait pas de recette miracle, car le problème est profond. Comme le note Cathy O’Neil, “the model is optimized for efficiency and profitability, not for justice or the good of the ‘team.’ This is, of course, the nature of capitalism“.
A la lecture du livre, on comprend la logique dans le parcours de Cathy, sa logique de rejoindre Occupy après avoir vécu de l’intérieur la crise du crédit. On y entend un appel à la conscience des Data Scientist. Leur rappelant que la construction d’un “bon” modèle ne doit pas se faire sur des critères statistiques, mais doit aussi tenir compte d’une notion d’équité. Ce qui rejoint les débats que nous avons au sein de la chaire, lorsque nous essayons de réintégrer la notion de mutualisation lorsque les actuaires font de la segmentation tarifaire. Bref, ce livre est indéniablement le livre qu’il convient de lire en cette rentrée.
OpenEdition suggests that you cite this post as follows:
Arthur Charpentier (September 23, 2016). Weapons of Math Destruction: How Big Data Increases Inequality. Freakonometrics. Retrieved September 15, 2024 from https://doi.org/10.58079/ov4p
Du point de vue d’un ingénieur logiciel, le problème posé par Cathy est passionnant : le logiciel, vu initialement comme de la techno séparé du monde réel, joue de plus en plus un rôle Politique (soit en digitalisant des secteurs entiers d’activité, soit en nous assistant au quotidien sur nos tâches personnelles et professionnelles au travers de nombreux systèmes adaptatifs): le logiciel a bouleversé l’industrie du livre et de la musique, une chambre d’hotel disponible ne l’est pas vraiment si elle n’est pas visible au travers de plateformes comme Expedia ou Booking, etc. La liste des exemples est longue, et ils résultent tous d’un manque d’analyse des externalités potentielles résultantes de la mise en service ou de l’adaptation dynamique des systèmes logiciels modernes.
La comparaison entre un humain qui peut faire des erreurs et une machine qui n’en fait pas me semble très partielle, et par conséquence dangereuse. Cela oubli par exemple une autre différence entre les 2 : le passage a l’échelle. L’humain, même assujetti à des erreurs, est par définition très diversifié et avec un impact limité, alors qu’un même logiciel peut uniformiser selon sa logique l’intégralité de la population.
Le logiciel est utilisé à large échelle dans notre vie au quotidien (Cf. http://www.wsj.com/articles/SB10001424053111903480904576512250915629460), et est le plus souvent invisible (cf. http://spectrum.ieee.org/computing/software/software-the-invisible-technology). Le premier point confer un rôle politique au logiciel, et le deuxième point rend impossible l’analyse transparente de ce rôle politique.
Je rejoint donc Cathy sur le besoin de transparence, en particulier pour les futurs data analysts de manière à rendre visible et évaluable le moyen d’arriver à leurs conclusions. Là où j’ai un regard un peu plus critique sur son livre est l’opposition qui est fait entre ces nouveaux modèles d’analyse de données et les modèles mathématiques plus traditionnels. Ces derniers n’étaient pas plus transparent que l’est a ce jour l’analyse de donné. Les banques n’ont pas attendu le big data pour rendre plus riche les riches, et plus pauvre les pauvres…
C’est toujours amusant ces gens qui pensent que les inégalités sont le mal absolu et qui rêvent de nous fabriquer des lits de Procuste.
“Ah enflure, viens ici que je te coupe ton deuxième bras!” un manchot.
Ne penses tu pas qu’il y a une différence entre une inégalité physique et une inégalité sociale ?
Un manchot pourrait se voir proposer par la médecine un bras artificiel.
Par ailleurs, ne peut-on faire une différence entre une égalité de traitement, une égalité de fait, et enfin, un traitement adapté aux différences ?
Merci pour l’article, très intéressant !
Selon moi il est aussi possible de paramétrer les algorithmes de façon à ce qu’ils respectent des règles éthiques. Par exemple, sur la diversité, une RH peut tout à fait décider de “corriger” le biais qui a existé dans les années précédentes, en accordant par exemple une préférence aux femmes dans l’algorithme. Autrement dit, un algorithme peut reproduire des inégalités mais il peut aussi servir à les corriger !
Pour moi la responsabilité incombera aux data scientists et chefs de projet métier qui piloteront la construction d’algorithmes : on ne verra certes plus le policier raciste, mais on verra que des êtres humains ont produit un algorithme raciste (ou reproducteur de racisme plutôt), et ils en seront responsables…
Je suis d’accord que les premiers algorithmes ne sont pas forcément les meilleurs (ex les algos de recos musicales), mais on apprend en marchant et petit à petit je pense que les data scientists tout comme les algorithmes se rendent compte de ces problèmes et améliorent leurs algorithmes.
Tout a fait, encore faudrait-il qu’ils assument que la réalité est politisée. Et que leur algo sous prétention d’être neutre, reproduit et encourage la domination.
Merci pour cet article, très intéressant. Un bon conseil de lecture.
quand je lis ce type d’article, j’ai toujours l’impression qu’il y a une “big machine” qui, dans ses optimisations, promet un monde horrible.
Le problème que je trouve, c’est que quand on cherche a optimiser quelque chose avec ces machines, c’est toujours issue d’une volontés. la volonté se retrouve dans la fonction d’évaluation du système informatique.
S’il n’y a pas de volonté de réduction des inégalités, le système ne vas pas en produire. si les fonctions d’évaluation intègre ces notions, celui ci peux bien produire des résultats plus égalitaire.
Cela revient donc a faire porter la responsabilité a ceux qui décide de ce qu’on doit améliorer. tout ce qui n’est pas a améliorer peut donc (et vas donc) régresser. Est-ce que cela n’a pas toujours été le cas ? Que change donc le “big data” ?
Pour moi, ce que ça change, c’est qu’il n’y a plus les erreurs humaines pour corriger les défauts du système : la machine se trompe moins que les hommes, et un système pensé pour être inégalitaire sera plus inégalitaire en version “machine” qu’en version humaine.
juste une précision, ce n’est pas un article, mais je présente un livre qui vient de sortir (et que j’encourage chaudement à lire !).
Il y a un exemple dont elle ne parle pas dans son livre, la musique en ligne. Sur les sites qui proposent de la musique, on peut demander des “conseils” basés sur ce qu’on aime, et ce qu’aiment les gens qui aime ce que j’aime. Ce qu’on observe, c’est qu’il n’y a pas besoin d’avoir un stock de titres énorme. Même avec un stock gigantesque on tourne autour des mêmes titres. C’est connu en théorie des graphs, les nœuds les plus importants grossissent, et ceux qui sont isolés deviennent de plus en plus faibles. Oui, si on veut de la diversité musicale, il faut le rajouter dans l’algo ! mais les premiers ne le proposaient pas ! Oui, en assurance, il faut rajouter une contrainte, du genre “je veux une assurance à un prix décent pour tout le monde”… sinon les plus risqués vont payer beaucoup beaucoup plus cher que les moins risqués.
Comme le dit Cathy, la différence est aussi qu’on ne voit plus le policier raciste qui fait plus d’arrestation. On voit quelqu’un qui suit ce que lui dit sa machine, dont on sait qu’il n’y a rien écrit dedans pour pousser à être raciste… c’est vraiment plus sournois avec les machines !