Tag Archives: score

Is there discrimination against the poor?

(With Laurence Barry, we wrote a short article on discrimination against the poor, in French)

In 2013, Martin Hirsch (former director of Emmaüs and Assistance publique – Hôpitaux de Paris) stated “it’s getting expensive to be poor”. This reality was confirmed by a recent study, in France, by the Banque Postale*, which showed that on average, a poor household has to pay 1,500 euros more each year to access the same goods and services as a better-off household, introducing a “double poverty penalty**”. Unfortunately, insurance is not left out: the use of credit scores in many countries reinforces what could be a form of discrimination against the poor. In the United States, where the practice is more common than elsewhere, a commission of inquiry recently tried to explain the link between credit score and claims frequency: is it because, as some insurers argue, people with lower scores are also less careful than others? Or is it because, having less financial means than others, they more naturally ask to be compensated for the losses incurred? And, in this second case, are we not also making them pay twice for their condition?

From excellence to wealth as a virtue

On what criteria do we admire people? For the Greeks, excellence, or arête (ἀρετή), was a major virtue. This excellence went beyond moral excellence: in the Greco-Roman world, the term evoked a form of nobility, recognizable by the beauty, strength, courage, or intelligence of the person. Now this excellence had little to do with wealth: thus Herodotus is astonished that the winners of the Olympian games were content with an olive wreath and a “glorious renown,” peri-bones (περὶ ἀρετῆς). In the Greek ethical vision, especially among the Stoics, a “good life” does not depend on material wealth – a precept pushed to its height by Diogenes who, seeing a child drinking from his hands at the fountain, throws away the bowl he had for all crockery, telling himself that it is again useless wealth.

Greek society is nevertheless a deeply hierarchical society, even if it is organized around values other than material wealth. We can then ask ourselves at what point in Western history wealth became the measure of all things. One thinks then of Max Weber’s theory: the ethics of Protestantism pushes for work and earthly success as a revelation of a divine election to come: the rich of this world would be the chosen of the next. In the same way Adam Smith, taking a critical look at the birth of capitalism in the society of his time, titles a chapter of The Theory of Moral Sentiments (1759) “Of the corruption of our moral feelings occasioned by that disposition to admire the rich and great, and to despise or neglect the poor and lowly.”

Today, the cult of wealth seems to have never been so strong and material success is almost elevated to the rank of virtue. On the other hand, poverty becomes a stigma that is hard to get rid of; but history shows us that this is not natural.

From “good” to “bad” poor

Indeed, the poor have not always been “bad”. As Fulconis & Kikuchi (2017) remind us, the Church has largely contributed to disseminating the image of the “good poor”, as it appears in the Gospels: “happy are you poor, the kingdom of God is yours”; or “God could have made all men rich, but he wanted there to be poor people in this world, so that the rich would have an opportunity to redeem their sins”. Beyond this, the poor is seen as an image of Christ, Jesus having said “whatever you do to the least of these, you will do to me”. Helping the poor, doing a work of mercy, is a means of salvation.

For Saint Thomas Aquinas, charity is thus essential to correct social inequalities by redistributing wealth through almsgiving***. In the Middle Ages, merchants were seen as useful, even virtuous, since they allowed wealth to circulate within the community. Priests played the role of social assistants, helping the sick, the elderly and the disabled. The hospices and xenodochia of the Middle Ages (ξενοδοχεῖον, that “place for strangers,” ξένος) are the symbol of this care of the poor. And quite often, poverty is not limited to material capital, but also social and cultural, to use a more contemporary terminology.

Towards the end of the Middle Ages, the figure of the “bad poor”, the parasitic and dangerous vagabond, appeared. In line with Weber, Todeschini (2021) insists on the increasing value attached to work and social “usefulness”. Brant (1494), the first, begins to denounce these welfare recipients, “some become beggars at an age when, young and strong, and in full health, one could work: why bother”. For Fulconis & Kikichi (2017), this mistrust is reinforced with the great pandemic of the Black Death. Colombi (2020) returns to this turning point, at the end of the Middle Ages, when in the cities, the bourgeois closed their districts with chains, to avoid that “poor and foreigners” settle there. The hygienic theories of the end of the 19th century added the final touch: if fevers and diseases were caused by insalubrity and poor living conditions, then by keeping the poor out, they were protected from disease.

Poor… by choice?

In the words of Mollat (2006) “the poor are those who, permanently or temporarily, find themselves in a situation of weakness, dependence, humiliation, characterized by the deprivation of means, variable according to the times and the societies, of power and social consideration”. Recently, Cortina (2022) proposed the term “aporophobia”, or “pauvrophobia”, to describe a whole set of prejudices that exist towards the poor. The unemployed are said to be welfare recipients and lazy, says Lamy; it is also the famous “where there is a will there is a way”, (which can be found in contemporary expressions such as “those who don’t want to do anything, those who don’t want to work” or “I’ll cross the street and find you a job”). And as is often the case, these prejudices, which stigmatize a group, “the poor”, lead to fear or hatred, generating an important cleavage, and finally a form of discrimination. Cortina’s (2022) “pauvrophobia” is a discrimination against social precariousness, which would be almost more important than “usual” forms of discrimination, such as racism or xenophobia. Cortina ironically notes that rich foreigners are often not rejected.

But these prejudices also turn into accusations. Szalavitz (2017) thus abruptly asks the question, “Why do we think poor people are poor because of their own bad choices?”. The “actor-observer” bias provides one element of an answer: we often think that it is circumstances, which constrain our own choices, but that it is the behavior of others that changes theirs. In other words, others are poor because they made bad choices, but if I am poor, it is because of an unfair system. This bias is also valid for the rich: winners often tend to believe that they got where they are by their own hard work, and that they therefore deserve what they have.

Social science studies show, however, that the poor are rarely poor by choice, and increasing inequality and geographic segregation do not help. The lack of empathy then leads to more polarization, more rejection and, in a vicious circle, even less empathy.

Links between wealth and risk(s)

To discriminate is to distinguish (exclude or prefer) a person because of his/her “personal characteristics”. Can we then speak of discrimination against the poor? Is poverty (like gender or skin color) a personal characteristic? In Quebec, “social condition” (which explicitly includes poverty) is one of the protected variables and therefore prohibited discrimination. This is not the case in France. As Barry & Charpentier (2021) remind us, when actuaries calculate a premium, discrimination directly linked to risk, and provided that the variable is not protected, is generally seen as legitimate. However, it is well known that wealth or social status has a lot to do with risk, whatever it may be. At the global level, Denis Hatzfeld reminds us that “earthquakes are much more deadly in poor countries than in developed countries, which have gradually learned to protect themselves from them. Similarly, Le Hir (2010) states that “A schoolboy is 400 times more likely to die in an earthquake in Kathmandu than in Tokyo”.

This is true for most risks. In France, we find in the deaths due to road accidents 3% of executives and 15% of workers, while they represent nearly 20% of the working population each, according to ONISR (2022). Blanpain (2018) points out that the gap in life expectancy at birth is 13 years between the most affluent and the most modest men. Recently, Allain (2022) noted that the most modest French people, at comparable age and sex, had almost three times more diabetes, twice as much liver or pancreatic disease, 1.6 times more chronic respiratory disease, etc. than the average. Cambois, Laborde and Robine (2008) similarly noted that the number of years of disability for blue-collar workers is also much higher, over a shorter life span on average.

The use of credit scores in insurance

In North America, companies such as Experian, Equifax and TransUnion keep records of the borrowing and repayment activities of all individuals with bank accounts. FICO (Fair Isaac Corporation) offers a formula to convert these records into a score, the credit score. This score is a function of debt and available credit, income and its variations, and history of incidents, bankruptcies or simple delinquencies. It is often seen as an assessment of a person’s creditworthiness, or the likelihood that he or she will repay debts. It is by nature closely related to income (Crowe 2022), making the credit score a robust proxy for wealth. Fourcade and Healy (2013) show that, as a good credit score has become a necessary condition for obtaining credit and maintaining purchasing power, this system has come to create an impenetrable wall between advantaged and disadvantaged classes. In a sense, a bad credit score becomes a self-fulfilling prophecy: people with a bad score (and therefore considered high risk by banks) become dependent on short-term alternatives. This increases the costs of future financing, thus the probability of default (François 2021) but also the probability of not finding a job (this score can be requested by employers****). “Using credit scores to punish the poor exacerbates existing socioeconomic inequalities,” Wang (2018) thus aptly asserts.

As an example, Table 1 compares a few parameters based on people’s credit scores, including the rate obtained for a $150,000 loan over a 30-year horizon, and the average insurance premium charged for car insurance (for a 30-year-old driver, driving 20,000km per year, in the city).

Table 1: Actual price of a $150,000 loan and the amount of a car insurance premium (for comparable coverage and risk profile), based on credit score (ranging from 300 to 850). Source: InCharge Debt Solutions.

Kiviat (2019) has extensively studied the use of credit scores in the pricing of auto insurance in the United States. The US regulator has indeed looked at the proven link between bad credit score and auto risk. What explanation can be given for this correlation? Wouldn’t the score be an indicator of poverty and not a proxy for the driver’s prudence as insurers claim? For if social condition is not a protected variable as it is in Canada, it is still largely associated with skin color, which is a prohibited variable. Discriminating on the basis of credit score could therefore amount to prohibited racial discrimination. By examining the debates around these issues, Kiviat highlights the ethical complexity of using facially neutral variables. And if, as noted above, poor living conditions increase risk in general, it is worth asking whether insurance is not helping to apply the double whammy that Martin Hirsch spoke of to the poor.

References

Allain, S. (2022). Les maladies chroniques touchent plus souvent les personnes modestes et réduisent davantage leur espérance de vie. DREES, 1243
Blanpain, N. (2018). L’espérance de vie par niveau de vie : chez les hommes, 13 ans d’écart entre les plus aisés et les plus modestes. Insee, Insee Première, 1687.
Bourdelais, P. (2001) Les hygiénistes: enjeux, modèles et pratiques. Éditions Belin.
Brant, S. (1494). La Nef des fous (Das Narrenschiff).
Cambois, E., Laborde, C & Robine, J.M. (2008). La “double peine” des ouvriers : plus d’années d’incapacité au sein d’une vie plus courte. Population & Sociétés, n° 441.
Caplovitz, D. (1963). Poor pay more; consumer practices of low-income families. Free Press.
Colombi, D., (2020). Où va l’argent des pauvres. Payot.
Cortina, A. (2022). Aporophobia: Why We Reject the Poor Instead of Helping Them. Princeton University Press.
Crowe, A. (2022). The Relationship Between Income and Credit Score. Credit Sesame Personal Finance and Credit Survey,
Fourcade, M. & Healy, K. (2013). Classification situations: Life-chances in the neoliberal era, Accounting, Organizations and Society, 38 (8): 559–572
François, P. (2021). Catégorisation, individualisation. Retour sur les scores de crédit. Chaire PARI, WP #24.
Fulconis, M. & Kikuchi, C. (2017) Vu du Moyen Âge : du « bon pauvre » au « mauvais pauvre ». The Conversation.
Grossetête, M. (2012) Accidents de la route et inégalités sociales. Les morts, les médias et l’État, Éditions du Croquant.
Kiviat, B. (2019). The moral limits of predictive practices: The case of credit-based insurance scores. American Sociological Review, 84(6), 1134-1158.
Lamy, T. (2022) Assistés, paresseux… pour 50% des Français, les chômeurs sont responsables de leur situation. Capital, décembre 2022
Lauer,J. (2017) Creditworthy: A History of Consumer Surveillance and Financial Identity in America, Columbia University Press.
Le Hir, P. (2010). Catastrophes et pauvreté, la double peine. Le Monde, 22 janvier,
Merton, R. (1968). The Matthew effect in science, Science, vol. CLIX, n° 3810
Mollat, M. (2006). Les pauvres au moyen age (Vol. 11). Éditions Complexe.
ONISR (2022). La sécurité routière en France, bilan de l’accidentalité de l’année 2021. https://bit.ly/3QmuR8H
Pratchett, (1993) Men at Arms, 15ème tome du cycle Discworld, Victor Gollancz Ed.
Smith, A. (1759). La Théorie des sentiments moraux. Presses Universitaires de France, Quadrige.
Szalavitz, M. (2017). Why do we think poor people are poor because of their own bad choices. The Guardian, 5 Juillet
Todeschini, G. (2021) Moyen Âge. La pauvreté a-t-elle un sens ? L’Histoire, février 2021.
Wang, J. (2018), Carceral Capitalism, MIT Press.
Weber, M. (1990 [1904]). L’éthique protestante et l’esprit du capitalisme, Pocket.

* Study entitled “Study of the double poverty penalty in France“, published at the end of 2022 by Action Tank Entreprise & Pauvreté, Boston Consulting Group and the Banque Postale

** This phenomenon, widely studied in the 1960s, see Caplovitz (1963), is known in economics as the “boot theory” (popularized by Pratchett’s novel (1993)), “take boots, for example. A really good pair of leather boots costs fifty dollars. But an affordable pair of boots, which were sort of OK for a season or two and then leaked like hell when the cardboard gave out, cost about ten dollars (…). But the thing was that good boots lasted for years and years.”

*** The notion of redistribution can be contrasted with the “Matthew effect” as defined by Merton (1950). Inspired by a passage from the Gospel according to St. Matthew (which he reverses), he states that “to him who has shall be given, and he shall have plenty; but to him who has not, even that which he has shall be taken away.”

**** This rating practice is actually not new and dates back to the late 19th century: Josh Lauer (2017) shows that as early as 1870, so well before big data or even credit cards, US banks employed assessors to make financial strength reports on people. For Lauer, it is a gigantic surveillance system that was set up at the beginning of the 20th century, leading to the algorithmic credit scores as we know them today (see also François (2021)).

Les modèles prédictifs peuvent-il être justes ?

Dans Nosedive (traduit par le titre Chute Libre en France), le premier épisode de la saison 3 de la série télévisée Black Mirror, on découvre la dystopie d’une une société régie par une « cote personnelle », une note, un score allant de 0 à 5. Dans ce monde, chaque personne note les autres, les mieux notés ayant accès à de meilleurs services (priorité dans les services, meilleurs taux, meilleurs prix, etc). Cette tendance à construire des scores dans toutes sortes de domaines (historiquement sur les crédits mais aujourd’hui sur des aspects criminels, voire civiques dans certains pays) ne va-t-elle pas déboucher sur un monde qui serait un concours de popularité sans fin ? Et comment serait-elle conciliable avec une justice sociale, a priori souhaitable ?

Les scores de crédit et les réseaux sociaux

Un score de crédit est, d’un point de vue actuariel, une grandeur proportionnelle à la probabilité de ne pas honorer ses engagements en tant que créditeur. Ça peut être de plus pouvoir payer les échéances trois mois consécutifs, ou juste d’avoir un retard. Dans la vraie vie, comme toujours, c’est un peu plus compliqué. Aux Etats-Unis ou en Grande Bretagne, il n’est pas rare que les étudiants s’endettent sur des dizaines d’années pour avoir l’opportunité de suivre les cours qui les intéressent (même si la motivation est surtout d’obtenir un diplôme en fin de parcours). Mais surtout, dès qu’ils atteignent d’âge de 18 ans, des sociétés de notation de crédit vont surveiller tous leurs déplacements. Souvent à leur insu. Et si un jour, un crédit consommation ou hypothécaire est refusé, les raisons ne sont jamais motivées. Est-ce un retard dans un paiement de loyer ? Des amendes de bibliothèques oubliées ? Une facture d’eau impayée, vieille de plusieurs années ?

Les sociétés de notation de crédit aux États-Unis, mais aussi en Chine, commencent à étudier la possibilité d’utiliser des données provenant de médias sociaux pour améliorer le score de crédit. Compter le nombre de fois où un utilisateur utilise le mot « gaspillé » (« wasted » en anglais) dans ce qu’il poste en ligne ne peut-il pas révéler une information quant au remboursement de dettes ? C’est en tout cas ce que prétend l’analyste de crédit américain FICO: « If you look at how many times a person says ‘wasted’ in their profile, it has some value in predicting whether they’re going to repay their debt (…) It’s not much, but it’s more than zero » (cité dans McLannahan (2015)). En Chine, le prêteur peer-to-peer Jubao a révélé qu’il était plus susceptible de donner des « bonus » aux emprunteurs s’ils étaient des amis Facebook avec des célébrités, tel que le raconte Botsman (2017).

Pour l’instant, les sociétés de notation de crédit utilisent encore les données qu’elles connaissent bien (factures de services publics et cartes de crédit), mais elles imaginent que bien des informations intéressantes doivent être accessibles (d’une manière ou une autre) sur les réseaux sociaux. Mais les données sont encore rares, et difficiles à analyser. Quid de la composante sarcastique ou humoristique dans un tweet utilisant le mot « wasted » ? Comme souvent, la difficulté est que les données réellement pertinentes sont difficiles à obtenir. S’il est possible d’avoir des informations sur le payement du loyer quand un locataire passe par une agence, que faire pour les transactions entre deux particuliers ? Et si c’était possible, comment traiter le cas de colocataires ? Ne pas obtenir de crédit parce qu’un ancien colocataire n’a pas payé dans les temps devient dérangeant. D’autant plus s’il s’agit peut-être d’une facture de téléphone cellulaire réclamée abusivement par la compagnie de téléphonie, alors que l’abonnement avait été résilié.

Mais le gros « malus » dans le score de crédit est bien souvent le fait de ne jamais avoir eu de carte de crédit. On pourrait penser qu’une personne qui n’a pas eu besoin d’une carte de crédit (et se contentait d’une carte de débit, permettant d’acheter chez un commerçant, comme la majorité des cartes bancaires en France) est le propre d’une personne prudente, qui n’a pas besoin de crédit pour des dépenses quotidiennes. Mais pour les établissements de crédit, cette personne n’est pas fiable car on ne la connait pas. Et c’est à elle de prouver qu’elle l’est (on revient à la pratique récurrente d’inversion de la charge de la preuve évoqué dans Charpentier(2016)). C’est étrangement ce qui se passe aujourd’hui quand on veut entrer sur le sol américain sans avoir de page Facebook.

Dans un monde de surveillance généralisée

Et si les établissements de crédit n’étaient pas les seuls intéressés par notre vie ? Que serait un monde si, en plus de savoir si je paye mes factures à temps, certains cherchaient à connaître mes réseaux d’amis, à savoir quels journaux je lis, si je préfère acheter du lait entier ou du lait demi-écrémé ? Quand on visite le musée de la Stasi à Berlin, on découvre ce monde a existé, que 1 personne sur 63 était agent (ou indicateur) de la Stasi (en comptant les indicateurs occasionnels, la proportion peut atteindre une personne sur 6). Le musée décrit un panoptisme total, chacun étant observé en permanence, comme le décrit Foucault (1975). Mais ce cauchemar ne correspond-il pas à monde actuel, de surveillance permanente, plus ou moins consentie. Surveillance via les téléphones cellulaires (géolocalisation pour la fonction la plus courante, mais parfois aussi des enregistrements audio à l’insu de l’utilisateur par certaines applications), via les objets connectés, mais aussi les caméras de surveillance couplées à des algorithmes de reconnaissance faciale de plus en plus performant. Fin 2017, en Chine 170 millions de caméra étaient installées, et le cap des 300 millions devrait être atteint d’ici 2020. Lors d’une expérience tentée par la BBC[1], il a fallu 7 minutes pour retrouver le journaliste John Sudworth qui se promenait dans les rues.

Le danger est que l’on ne sait jamais trop qui contrôle. De plus en plus de compagnies privées de sécurité se sont associées aux gouvernements. Les fournisseurs de messageries électroniques lisent nos messages pour détecter du spam, mais aussi pour revendre certaines informations. Par exemple, dans les règles de confidentialité annexées aux conditions générales d’utilisation de Gmail (Google) on lit « Nos systèmes automatisés analysent vos contenus (y compris les e-mails) afin de vous proposer des fonctionnalités personnalisées sur les produits, telles que (…) des publicités sur mesure ». Les assureurs envisagent de plus de plus l’installation de boitiers GPS dans les voitures, mais en passant par des prestataires externes. Au-delà de la propriété des données (évoqué dans Charpentier & Suire (2016)) on peut s’interroger sur leur revente, et leur utilisation. Savoir que quelqu’un se rend régulièrement dans un centre de transfusion sanguine est une information potentiellement intéressante, surtout couplée à d’autres.

Depuis 2014, le gouvernement chinois travaille sur un système d’évaluation de ses propres citoyens, programmé pour être mis en place en 2020, comme le raconte Trujillo (2017). Ce « système de crédit social » vise à créer un « score citoyen » (pour reprendre l’expression de Galeon & Bergan (2017)), afin de prédire, et prévenir, les dangers potentiels, normalisant les conduites individuelles par des dispositifs panoptiques (par exemple la vidésurveillance), induisant des réflexes d’autodéfense et d’autocontrôle.  Comme le disait Foucault (1975), il s’agit de « faire que la surveillance soit permanente dans ses effets, même si elle est discontinue dans son action; que la perfection du pouvoir tende à rendre inutile l’actualité de son exercice » (même souvent, aujourd’hui, elle est en plus continue dans son action). Certains de ces scores sont utilisés par la police pour savoir où patrouiller pour faire baisser la criminalité, comme PredPol. Mais quand on y regarde de plus près, les prédictions disent, en substance, que les crimes auront lieu (en majorité) dans les zones (historiquement) les plus criminogènes de la ville. La frontière entre la banalité et la tautologie est étroite. Et le réel danger est que bien souvent, les scores transforment les probabilités en quasi-certitudes, et le soupçon devient une preuve, comme le notait Supiot (2015).

Justice prédictive et méthodes actuarielles

En juin 2010, un rapport de l’Académie de médecine préconisait d”« améliorer la pratique des expertises de dangerosité des criminels sexuels en enseignant et en diffusant les méthodes actuarielles ». Ces « méthodes actuarielles » sont tout simplement les techniques de scoring, de « profilage » tel que le défini le règlement européen relatif aux données personnelles du 27 avril 2016 (RGDP). Angèle Christin s’est intéressée aux algorithmes qui estiment la probabilité de récidive dans la justice pénale américaine. Comme elle l’a montré, ces techniques posent nombre de questions, en particulier des biais discriminatoires, l’opacité qui rend difficile les recours, et surtout la difficulté de comprendre ce qui est réellement calculé. Dans l’État de Virginie, un score entre 1 et 10 est renvoyé, convention reprise par Compas (Correctional Offender Management Profiling Alternative Sanctions ) qui offre en plus un code couleur qui prédit le risque de récidive violent. Il s’agit alors d’un outil d’aide à la décision, une machine ne pouvant placer une personne en détention seule (Christin et al. (2015)).

Les conclusions d’un score prédictif dépendent de deux éléments clés : le modèle utilisé, et les données. Dans la majorité des cas aux Etats Unis, les codes des modèles restent opaques (et donc impossible à attaquer), et rares sont ceux qui ont vu les données utilisées pour calibrer ces modèles. Mais on peut se demander si les décisions de justice ne sont pas eux aussi relativement opaques ? Certes, les juges doivent motiver leurs décisions, ce qui les rend critiquables et attaquables, mais si le processus était si transparent, les issues d’un procès (humains) ne devraient-elles pas être alors davantage prévisibles ? Enfin, les différents biais sont assez simples à comprendre. Supposons qu’être riche permet d’avoir un bon avocat, et avoir un bon avocat permet de ne pas avoir certaines condamnations. Dans ce cas, une variable liée à la richesse (le type de véhicule possédé par exemple) sera liée positivement avec le fait de ne pas être coupable (reconnu coupagle), et fera baisser le score de dangerosité. L’autre danger dans les biais de sélection est qu’ils sont parfois complexes à comprendre, voire paradoxaux. Un exemple classique est celui illustré sur la Figure 1. Pendant la seconde guerre mondiale, il a été demandé à des ingénieurs et des statisticiens comment renforcer les bombardiers qui faisaient face au feu ennemi.

Figure1 : Endroits endommagés des avions revenus (source : McGeddon 2016)

Le statisticien Abraham Wald a commencé à collecter des données sur les impacts dans la carlingue, comme le raconte Mangel & Samaniego (1984). A la surprise générale, il a recommandé de blinder les endroits des appareils qui présentaient le moins de dommages. En effet, les avions utilisés dans l’échantillon présentait un biais important : seuls les avions revenus ont été pris en compte. S’ils ont pu revenir avec des trous au bout des ailes, c’est que ces parties sont suffisamment solides. Et comme aucun avion n’est revenu avec des trous au niveau des moteurs des hélices, ce sont ces parties qu’il convenait de renforcer.

Un autre danger est celui où les relations causales sont inversées. Que penser de ce médecin qui prescrit un puissant neuroleptique à un patient mis en examen, de peur que la justice lui reproche de ne pas avoir vu la dangerosité de son patient, et qu’inversement, la justice s’appuie sur cette prescription pour prouver que le patient est dangereux ? Un algorithme mal conçu pourrait comprendre de travers le sens des relations causales.

Mais les modèles prédictifs en matière judiciaire ne sont pas que du côté des juges. Lors d’un accident corporel sur la route, la loi Badinter  (du 5 juillet 1985) prévoit un « droit à indemnisation » pour toute victime d’un accident de la circulation dans lequel est impliqué un véhicule terrestre à moteur. Lorsque la compagnie d’assurance du conducteur propose une indemnité, la victime fait une rapide analyse coût/bénéfice pour savoir s’il va au tribunal. Si elle ne construit pas formellement un modèle prédictif, elle tente de voir, à partir de quelques éléments à sa connaissance, les coûts de demander à un juge de trancher sur le montant de l’indemnité, et ses bénéfices (potentiels).

Autre point important, les juristes appellent ces modèles « prédictifs » des modèles « actuariels ». Or la première fonction des actuaires était d’actualiser, de calculer la valeur du temps. Et le temps judiciaire a des conséquences souvent désastreuses. En quoi une décision humaine, imparfaite, prise au bout de 5 ans de procédure serait « meilleure » qu’une décision automatique prise en 15 jours par une machine ? Nombre de personnes qui ont connu des procédures de plusieurs années, aboutissant à un non-lieu, rêvent de procédures accélérées. Car le « temps perdu » a une valeur, les actuaires le savent bien.

Que penser alors de cette efficacité des modèles algorithmiques ? La justice se doit d’être efficace, mais cette contrainte ne doit pas faire oublier l’objectif central qui est celui de rendre la justice. Que se passe-t-il si l’efficacité devient un objectif, pour ne pas dire le principal objectif ? Car c’est bien la question que posent les modèles prédictifs : quel est l’objectif que l’on cherche à maximiser ? Et comment le formule-t-on de manière simple ?

Aide à la décision, ou justification d’une prise de décision

Aux Etats-Unis, nombre de juges se sont vu reproché de motiver un jugement à l’aide d’outils d’aide à la décision, ce qui laisse planer un doute sur la fonction réelle de ces outils. L’idée était initialement d’apporter une aide. Récemment, plusieurs systèmes mis en place dans les années passées ont été questionnés. Par exemple en Australie, le STMP (Suspect Targeting Management Plan) proposait d’identifier si des préadolescents doivent être surveillés, ou pas. Ce modèle ressemble à s’y méprendre à n’importe quel modèle actuariel, c’est à dire un outil d’évaluation et prédiction des risques, en se concentrant soit sur les récidivistes, soit sur les personnes suspectées de commettre un futur crime. Or un rapport récent montrait que son utilisation n’a eu « aucun impact observable sur la prévention du crime »[2]. Parallèlement aux Etats-Unis, l’outil Compas (Correctional Offender Management Profiling Alternative Sanctions) a été critiqué dans Dressel & Farid (2017) : « Les défenseurs de ces systèmes soutiennent que les données et l’apprentissage automatique avancé rendent ces analyses plus précises et moins biaisées que celles des humains. Cependant, nous montrons que le logiciel d’évaluation des risques Compas, largement utilisé, n’est pas plus précis ou juste que des prédictions faites par des personnes qui ont peu ou pas du tout d’expertise en matière de justice pénale ». En questionnant des personnes recrutées sur Internet, sans compétences en droit, il s’agissait de prévoir si des personnes allaient, ou pas commettre un autre crime dans les deux ans à venir. Compas s’est trompé dans 34.8% des cas, et les internautes dans 33% des cas. Cela dit, on peut se demander ici ce que “se tromper” signifie. En l’occurrence, on ne mesure pas ici la récidive des personnes, mais la condamnation pour récidive des personnes. Et si les modèles (ou les gens) ne s’étaient pas trompés, mais que les juges, en revanche, oui ?

Prévoir, et se tromper

Et si un des soucis ne venait pas dans ce que l’on demande à un outil prédictif ? Prévoir, c’est (fondamentalement) établir une probabilité pour un fait futur. Comme cela avait été rappelé dans un débat sur les sondages et les élections, est-ce qu’on peut dire qu’on se trompe si on annonce qu’un événement peut se produire avec 5% de chances, et qu’il se produit effectivement ? Pour savoir si une technique de prévision est bonne, il faut collecter un ensemble de prévision, et les comparer aux observations. C’est ce que font les météorologues depuis une quinzaine d’années, et qui a été formalisé par Gneiting et al. (2007). Leur idée est qu’un ensemble de distributions prédictives est obtenu par un modèle \{\hat F_t,\hat F_{t+1},..,\hat F_{t+h}\} et il convient de comparer ces distributions aux observations \{y_t,y_{t+1},..,y_{t+h}\} – et non pas \{\hat y_t,\hat y_{t+1},..,\hat y_{t+h}\}. Il faut alors introduire une distance entre les distributions prédictives, et les observations. Dans un système physique, il est possible d’imaginer comprendre les différentes relations causales, et donc de prévoir. Mais dans les relations humaines (et la justice en est un exemple parfait), rien n’est aussi simple, aussi automatique que les lois de mécanique des fluides qui permettent de modéliser des phénomènes météorologiques.

Références

Binet, Jacques-Louis, 2010, La prévention médicale de la récidive chez les délinquants sexuels. Académie de Médecine.

Botsman, Rachel. 2017. Who Can You Trust?: How Technology Brought Us Together – and Why It Could Drive Us Apart. Portfolio Penguin

Charpentier, Arthur & Suire, Raphaël 2016. Données et santé: valeurs, acteurs et santé. Risques, 107

Charpentier, Arthur. 2016. Les dérives du principe de précaution. Risques. 108

Christin, Agnèle, Rosenblat, Alex & Boyd, Danah 2015. Courts and Predictive Algorithms. Datacivilrights

Dressel, Julie & Farid, Hany 2018. The accuracy, fairness, and limits of predicting recidivism. Science Adavances

Foucault, Michel 1975 Surveiller et punir, naissance de la prison. Gallimard

Galeon, Dom & Bergan, Brad 2017. China’s “Social Credit System” Will Rate How Valuable You Are as a Human. Futurism

Gneiting, Balabdaoui & Raftery 2007. Probabilistic forecasts, calibration and sharpness. JRRS-B, 69, 243–268.

Mangel, Marc & Samaniego, Francisco 1984.  Abraham Wald’s work on aircraft survivability , Journal of the American Statistical Association, vol. 79, no 386,‎ 259–267

McLannahan, 2015 Being ‘wasted’ on Facebook may damage your credit score (Octobre 2015, Financial Times)

Supiot, Alain 2015. La gouvernance par les nombres : cours au Collège de France, 2012-2014. Fayard.

Trujillo, Elsa 2017. La Chine met en place un système de notation de ses citoyens pour 2020. Le Figaro, décembre 2017

[1] Décrit dans « In Your Face: China’s all-seeing state » http://www.bbc.com/news/av/world-asia-china-42248056/in-your-face-china-s-all-seeing-state

[2] https://www.numerama.com/politique/300907-un-algorithme-teste-par-la-police-pour-anticiper-les-crimes-des-jeunes-inquiete-laustralie.html

Tests basés sur la vraisemblance – score

Une autre grandeur intéressant est le score, qui est la dérivée de la vraisemblance. Intuitivement (c’est l’idée de la condition du premier ordre),   et  seront proches si les dérivées en ces points sont proches. En  la dérivée est nulle, donc on va se demander ici, tout simplement, si la dérivée en  est proche de 0. Ou pas.

Continue reading Tests basés sur la vraisemblance – score

Wald, score et rapport de vraisemblance

Vendredi, nous devrions aborder un peu la problématique des tests asymptotiques. Avant, rappelons que l’estimateur du maximum de vraisemblance de  vérifie la propriété asymptotique suivante.

Or on a une propriété intéressante sur les convergences de vecteurs Gaussiens (pour rester assez général). Soit  une suite de vecteurs aléatoires telle que  où . Alors

où  (pour un paramètre univarié, ça sera alors ). Mais ce résultat n’est intéressant que si  est connue. En fait, si on a la suite des variances vérifie , alors

Traduit sur notre estimateur du maximum de vraisemblance, cela signifie que

ou encore

Trois tests peut alors être mis en œuvre (et tant qu’à faire, on peut essayer de l’illustrer sur un exemple: encore et toujours du pile/face).

> set.seed(1)
> n=20
> X=sample(0:1,size=n,replace=TRUE)
> p=seq(0,1,by=.01)
> logL=function(p){sum(log(dbinom(X,size=1,prob=p)))}
> LL=sapply(p,logL)
> plot(p,LL,type="l",col="red",lwd=2)
> p0=.5
> points(p0,logL(p0),pch=3,cex=1.5,lwd=2)
> abline(v=p0,lty=2)

On a alors 20 tirages de pile ou face, on a obtenu 11 piles, et on se demande si la pièce est “juste“.Mais avant toute chose, commençons par calculer l’estimateur du maximum de vraisemblance, ainsi que le score et l’information de Fisher. Dans ce modèle de variables de Bernoulli, on connaît des formes explicites de ces quantités. Mais ici, on va utiliser la méthode la plus générale qui soit, i.e. on va maximiser la log-vraisemblance, puis on va calculer le score et l’information de Fisher à la valeur de  que l’on souhaite tester.

> neglogL=function(p){-sum(log(dbinom(X,size=1,prob=p)))}
> pml=optim(fn=neglogL,par=p0,method="BFGS")$par
Warning messages:
1: In dbinom(x, size, prob, log) : NaNs produced
2: In dbinom(x, size, prob, log) : NaNs produced
> nx=sum(X==1)
> f = expression(nx*log(p)+(n-nx)*log(1-p))
> Df = D(f, "p")
> Df2 = D(Df, "p")
> p=p0
> score=eval(Df)
> (IF=-eval(Df2))
[1] 80
> 1/(p0*(1-p0)/n)
[1] 80

On note que l’information de Fisher calculée par double différenciation de la log-vraisemblance est identique à la formule analytique. Pour rappels, on a

Trois tests (équivalent asymptotiquement comme on le verra en cours) sont alors possibles.

Tout d’abord le test de Wald propose de travailler sur la différence entre l’estimateur du maximum de vraisemblance, et la valeur que l’on cherche à tester (comme le montre le dessin ci-dessous). Cette différence doit être “petite” si  est la vraie valeur.On peut alors utiliser la statistique suivante

Asymptotiquement, en utilisant le résultat évoqué au début, cette statistique tend, sous l’hypothèse que  est la vraie valeur, vers une loi du chi-deux.

> alpha=0.05
> (T=(pml-p0)^2*IF)
[1] 0.1999970
> T<qchisq(1-alpha,df=1)
[1] TRUE

Ici, on accepte l’hypothèse que la pièce n’est pas pipée.

Ensuite le test du rapport de vraisemblance propose de travailler sur les valeurs de la log-vraisemblance. Là encore, cette différence doit être “petite” si  est la vraie valeur. Graphiquement, on mesure une distance normalisée

La statistique est celle d’un test bilatéral,

On pose alors

(le 2 sera détaillé un peu en cours, c’est mis là de manière à avoir trois tests équivalents). Asymptotiquement, on peut montrer que cette statistique tend, sous l’hypothèse que  est la vraie valeur, vers une loi du chi-deux.

> (T=2*(logL(pml)-logL(p0)))
[1] 0.2003347
> T<qchisq(1-alpha,df=1)
[1] TRUE

Là encore, on accepte l’hypothèse que la pièce n’est pas pipée.

Enfin, le test du score propose de travailler sur la pente de la log-vraisemblance en  . Cette pente doit être “petite” si  est la vraie valeur.

La pente correspond au score,

La statistique de test est alors ici

Et là encore, asymptotiquement, on peut montrer que cette statistique tend, sous l’hypothèse que  est la vraie valeur, vers une loi du chi-deux.

> (T=slope^2/IF)
[1] 0.2
> T<qchisq(1-alpha,df=1)
[1] TRUE

Et le test accepte ici encore l’hypothèse que la pièce n’est pas pipée.