Tag Archives: Risques

(Petite) histoire du hasard et de la simulation

Entendre « il y a 10% de chances de pluie aujourd’hui » ou « le test médical a une valeur prédictive positive de 75% » montre que les probabilités sont aujourd’hui partout[i]. Une probabilité est une grandeur difficile à appréhender, mais incontournable quand on cherche à théoriser et mesurer le hasard. Et si la théorie mathématique est finalement arrivée très tard, comme le rappelle Hacking (2006), cela n’a pas empêché l’assurance de se développer assez tôt, et d’avoir les premières tables (actuarielles) de mortalité avant même que la « probabilité de décès » ou « l’espérance de vie » n’ait de fondement mathématique. Et de la même manière, de nombreuses techniques ont été inventées pour « générer du hasard », avant l’explosion des méthodes dites de Monte Carlo, en parallèle avec le développement de l’informatique (et du fait qu’une machine pouvait générer du hasard). Continue reading (Petite) histoire du hasard et de la simulation

Fake News, Wikipedia and Blockchain (Truth and Consensus)

(this article was intially writen in French)

We must not lie, we are taught at a very young age, and yet we all do it all the time. Provocatively, Meyer (2011) says that you will lie to your wife in one in ten conversations. And if you’re not married, the risk would be even higher. Yet we seem to live with these little lies (to the point of being destabilized when we find ourselves in front of an overly honest person). But the debates on the “Fake News” reminded us that some lies have a price, to the point of creating doubt and permanent distrust. This plurality of words, and the absence of a reference word, is not unlike the philosophy conveyed by crypto-currencies: instead of a centralised mode of governance (validation, certification), it is a global validation by a network, a consensus, which will prevail. Have we changed our definition of what truth is?

The story of “the truth”

In Athens, during the pompous period of Athenian democracy (around the middle of the fifth century BC), every citizen (ὁ βουλεύμενος, “whoever wants it”) has the right to speak, to formulate a speech. We will talk about iségorie (ἰσηγορία) equality of speech. As is so often the case, this equality is in fact very unequal, since not everyone is equal in eloquence. In Gorgias, Plato opposes the latter to Socrates, questioning the basis and purpose of this discourse, which can be put at the service of the common good, of truth, but also be used for purposes of persuasion. Socrates seeks the truth, and the moral value of the stated opinions, fundamentally opposing philosophy and rhetoric. But for Plato, truth is not everything: the notion of the common good seems to prevail over truth, a lie can be lawful if it is just (in the service of this common good). Greek myths are built on this idea, as Veyne (1983) develops, wondering whether the Greeks believed in their myths. This is not a lie, but fiction, allegory. The word μῦθος certainly gave the word “mythomaniac” (by adding μανια, madness), but this word initially meant the speech, the word, the story. We could almost find the concept of “lying true” proposed by poet Louis Aragon.

By radically opposing Good and Evil, Christianity has changed our conception of truth. It is appropriate to confess, to confess, if one aspires to salvation. Truth becomes sacred (and those who do not live with it will pay with their lives). Ecclesiastical authorities then define what is true, Foucault (1994b) spoke of “pastoral” power. “This form of power is oriented towards salvation (…) it is linked to a production of truth“. The opinion of the people is then guided and controlled by official representatives of the truth (ecclesiastical then state).

However, this power will crumble over time. The multiple words will reappear, and with them, the “Fake News”. Just after the First World War, Marc Bloch noted that “false news is always born of collective representations that pre-date its birth; it is fortuitous only in appearance, or, more precisely, all that is fortuitous in it is the initial incident, absolutely unspecified, that triggers the work of imaginations but this setting in motion takes place only because the imaginations are already prepared and ferment deafly. An event, a bad perception for example that would not go in the direction that the minds of all already lean, could at most form the origin of an individual error, but not of a popular and widespread false news“. We find here an idea translated today under the name of “Fake News”. Recently, some have felt compelled to consider legislation, raising the question of freedom of speech, but also probably a form of mistrust by a certain elite towards a people they think incapable of judgment and discernment. But who can afford to decree what is true and what is not?

Science and Truth

There is a form of truth through authority. Following a (painful) fall while skiing, even if I have vague knowledge of anatomy, I did better to consult a doctor, who has expertise from his studies and practice. If he tells me that I have a fracture, it is not the fact that he claims (with authority) that he is telling the truth, but because it is the conclusion he reaches on the basis of solid reasoning, which other doctors might contest. Not having any skills, I rely on his authority. Just as I trust my lawyer if I need legal advice (but perhaps not my doctor). Faced with an expert, the difficulty is to find what weight, what credit, to give him.

Science, as it is taught, seems to state irrefutable truths. If my pen falls off the table, its speed will increase linearly, until it touches the ground. I would be foolish to refute this reality, which stems from the theory of universal gravitation enunciated by Issac Newton in 1687 (in a much more general form than the fall of a pen, or an apple). But this vision is quite dated: “absolute truth” no longer exists, only agreement within the scientific community prevails. As van de Kerchove (2013) notes, mentioning the work of Karl Popper, facts in science are finally established in the same way as “jury proof” in English law. The main difference is the temporal aspect (a judge may set aside elements considered prescribed by law, even if they are scientifically enlightening) and the fact that justice judges a particular case, whereas science seeks general truths. It is the convergence of beliefs, based on collective discussions bringing a consensus which makes it possible to establish scientific truths.
And scientific knowledge evolves over time, even allowing itself to become blurred! Instead of having a “true” or “false” result, we now have true results with a certain probability. In the 2001 IPCC report, it is described as “likely”, with 2 out of 3 chances, that “human activity has been the main cause of observed warming” since the middle of the 20th century. In 2007, the probability exceeded 90%, reaching 95% (then becoming “extremely probable”) in 2014. We will also remember this episode in July 2012, when CERN announced the discovery of an elementary particle (postulated by Higgs in the 1960s, the famous “Higgs boson”) “with a confidence level of 99.99997%”. Science allows itself doubt, and even better, manages to quantify it with amazing precision.

Because doubt still exists in science. This doubt, sometimes called “Cartesian“, allows science to advance, but also, on occasion, to retreat. This is what Oreskes & Conway (2014) points out, highlighting the strategy of certain industries that have funded research projects denying scientific evidence of the dangerousness of tobacco, DDT (insecticide), the reality of the ozone hole, environmental damage from acid rain… etc.. By confusing, discrediting studies – and the scientists who conducted them – doubt has turned against science, while further strengthening the evidence. By questioning the dangers of smoking, numerous studies have established that on the contrary, no doubt was permitted. But the strategy was to buy time (and in that sense the strategy worked).

Justice and truth

But scientists are not the only ones trying to establish the truth. To resume the debate launched by Dagorn (2018), is the tomato a fruit or a vegetable? The fruit is defined in botany as the result of fertilization of the plant: it is derived from the transformation of the pistil once it is fertilized, and will then carry seeds allowing the plant to reproduce. So the tomato is a fruit. But vegetables have no scientific definition, even if they seem to designate the edible parts of plants. That said, chemists who are interested in cooking seem to have decided, using the flavor of the food. The fruit is a sweet food, while the vegetable would be dirty, bitter, or neutral. But if science does not seem to want to impose truth on the subject, justice has examined the question several times. In the United States, at the end of the 19th century, a tax existed on vegetables, but not on fruits. In 1887, John Nix sued New York Harbour treasurer Edward Hedden for taxing his tomato imports (recounted in Sterbenz (2013)). The United States Supreme Court ruled against him in 1893 (unanimously) explaining that the Customs Act referred to the common meaning of the terms “fruit” and “vegetable”, and not to the technical jargon of botanists. But this American vision opposes that adopted in Europe, since a 1988 directive of the Council of the European Union classified tomatoes in the category of fruits (just like carrots or rhubarb branches, moreover).

Justice feels invested with a mission to seek the truth. This is what Jean Domat said in 1745 when he stated that “the Laws want something judged to pass for truth”. The presumption of truth attached to a judgment – “res judicata pro veritate habetur” – is thus found several times in the Civil Code. It may, however, be objected that the raison d’être of this principle is essentially to avoid the repetition of trials ad infinitum (otherwise remedies would not exist: a court decision may be challenged, but according to a very specific procedure). The search for the truth then takes place during an investigation, which has become a “way of authenticating the truth, of acquiring things that will be considered true, and of transmitting them“, as Foucault (1994a) notes.

If science can’t decide, sometimes justice is still asked to make decisions. This is what the decisions say about whether the tomato is a fruit (or not) but it is also the essence of the precautionary principle, evoked in Charpentier (2016). And the situation becomes complex when laws that go against a scientific truth. Baruch (2013) thus returns in detail to the episode of the adoption of the Boyer law tending to repress the denial of genocides, at the turn of the years 2011 and 2012 (the debate on the “memorial laws”), and above all the contestation aroused by article 4 of the law of 23 February – known as the Mekachera law – with numerous positions on the “positive role” of French colonisation. MPs wanted to impose a truth (by law) that went against scientific historical knowledge. And how can we forget the condemnation (following a trial) of Galileo in 1633, following the publication of the Dialogue on the Two Great Systems of the World, by those who supported geocentrism against heliocentrism (previously established by Nicolas Copernicus, among others). In a letter written to the Grand Duchess Christine of Lorraine – mentioned by Gingras, Keating and Limoges (1999) – Galileo notes that the court ruled, “forgetting in a certain way that the multiplication of discoveries contributes to the progress of research, to the development and strengthening of sciences and not to their weakening or destruction, and at the same time showing itself more attached to their own opinions than to the truth“.

Is the majority always right?

In a sitting court, for an accused to be found guilty, the law requires that a (strong) majority of the members of the court of assizes decide it. The majority then imposes its law. But the vote is taken after discussion, after consensus has been reached. According to Wikipedia, “consensus characterizes the existence among the members of a group of a general (tacit or manifest), positive and unanimous agreement that can allow a decision or action to be taken together without a prior vote or special deliberation”. And Wikipedia is built on this idea of consensus. The first principle is openness and transparency: everything is open, everyone can contribute by submitting any content, and a record is kept of the history of interventions. It is required to provide proof of any assertion, with a clear and searchable reference (we find here a basic principle of scientific publication). Then follows a discussion phase. The importance taken today by Wikipedia shows that this principle works.

This delegation of governance is found in the majority of cryptocurrencies. To explain how Lamport works, Shostak and Pease (1982) proposed the fable of the Byzantine generals, to illustrate this concept of “gentium consensus” in computing. Several armies are ready to attack the same city, but the only way to synchronize the different armies, to determine whether to attack or retreat, is to circulate a messenger on horseback. Each general then mandates a knight, to carry the message “attack” or “retreat”, but there may be traitors among the generals who attack. The idea is to bring out a global validation, to obtain a general vote, a consensus, starting from the fact that dishonest people are less numerous than honest people. And indeed, in this case, coordination is possible. As with the blockchain (and all smart contracts), validation is by consensus.
The majority rule, the basis of many democratic systems, seems obvious to us. But the notion of “argumentum ad populum” reminds us that a proposition is not true because most believe it. If this rule seems natural to us, in a democracy, to associate the greatest number with decision-making in the city, in daily life, we quickly see that it leads to many dead ends. Imagine an airline pilot, faced with bad weather conditions, having to make the decision to land (or not) in an emergency. Should it allow passengers to vote? We imagine that it will be inappropriate, if not ineffective, because what the pilot wants is an informed majority, rather than a simple majority. In reality, as we can see in some important democratic decisions, following the choice of the majority is above all a way to avoid bearing responsibility for a choice.

The search for consensus is complicated, even impossible if we believe the literature on voting mechanisms and Arrow’s impossibility theorem. Arrow (1951) – inspired by Condorcet’s paradox – shows that there is no indisputable social choice process that allows a hierarchy of preferences for a group to be expressed from the aggregation of preferences. Also, when a consensus is reached, not everyone is satisfied with the outcome. Some even refer to a “dictatorship of the majority“. To quote Manin’s argument (1985), “the adherence of the greatest number reflects the superior strength of one argument over the others“, because argumentation and discussion are important, “this process makes the appearance of reasonable results more likely“. But this search for consensus is necessarily imperfect: “the true source of legitimacy therefore remains unanimity; the majority will is not legitimate in itself, it is legitimate because it is decided to confer on it all the attributes of the unanimous will. (…) The majority principle is a simple necessity of fact, without any intelligible link with the principle of legitimacy; it is only a convenient convention“, as Minor (2010) recalls.

A “post-truth” world?

The fact that science proposes vague truths does not facilitate understanding of the world, and the term “post-truth” has been proposed to describe this world where the borderline between lies and truth, honesty and dishonesty, fiction and “non-fiction” is no longer very clear. The open data movement also proposes to introduce a form of transparency, with raw data, so that everyone can decide on a debate. In the United States, several years ago, American citizens were shocked to discover that many politicians had received (sometimes very) large sums of money from private companies. But companies always had the desire to finance politicians in order to secure possible support, if necessary. Between these two contradictory visions, the compromise was to impose transparency: politicians had to keep track of any sum paid by a third party, and this information had to be made public. But what to do with this information? In France, this type of transparency is now mandatory for doctors. The database transparence-santé makes all the information declared by companies on the links of interest they maintain with players in the health sector (including doctors) accessible. Who took the time to go to the site to see if their doctor had a conflict of interest when he prescribed a medication? For this somewhat idyllic vision forgets that “pure” data does not exist (“row data is an oxymoron” to use the title of the book edited by Lisa Gitelman). We suspect that since the law imposes this transparency, practices have changed. Data (and facts) do not exist without narration. In 1936, a publisher asked Georges Orwell to investigate the workers’ condition in northern England, in a mining town during the Depression. In the spring of 1937, The Road to Wigan Pier appeared, often considered a report. Crick (1990) compared the notes taken in Orwell’s diary with the novel, to find out if he was giving raw sensations (facts) or if he had staged again, thus reconstructing his original vision. As he notes, “the bare style of the documentary is in reality a perfectly deliberate artistic creation“. Leys (1984) goes even further in the analysis “what Orwell’s invisible and so effective art illustrates is that’the truth of the facts’ cannot exist in a pure state. Facts by themselves never form anything but meaningless chaos: only artistic creation can invest them with meaning, giving them form and rhythm (…) Literally, truth must be invented“.

References

Arrow, K. (1951). Social Choice and Individual Values. Wiley.

Baruch, M-O. (2013). Des lois indignes ? Les historiens, la politique et le droit. Tallandier

Bloch, M. (1921) Réflexions d’un historien sur les fausses nouvelles de la guerre. Revue de synthèse historique, 33. https://bit.ly/2FC6GwZ

Charpentier, A. (2016). Les dérives du principe de précaution. Risques, 108.

Crick, B. (1990) Georges Orwell: Une Vie. Balland.

Dagorn, G. (2018). Aubergine, tomate, carotte… Savez-vous vraiment distinguer fruits et légumes ? lemonde.fr https://lemde.fr/2rkc7vt

Domat, J. (1745) Les lois civiles dans leur ordre naturel. https://bit.ly/2jrlNke

Foucault, M. (1994a) La vérité et les formes juridiques, in « Dits et écrits » tome II texte n°139, Gallimard.

Foucault, M. (1994b) Le sujet et le pouvoir, in « Dits et écrits » tome IV texte n°306, Gallimard.

Gingras, Y., Keating, P. & Limoges, C. (1999) Du scribe au savant : Les Porteurs du savoir de l’Antiquité à la révolution industrielle, Boréal.

Gitelman, L. (2013). Raw Data Is an Oxymoron. MIT Press.

Lamport, L., Shostak, R. & Pease, M. (1982) The Byzantine Generals Problem. ACM Transactions on Programming Languages and Systems, vol. 4, no 3,‎ juillet 1982.

Leys, S. (1984) Orwell, ou, L’horreur de la politique. Plon.

Manin, B. (1985). Volonté générale ou délibération. Le débat.

Meyer, P. (2011). Liespotting.  Saint Martin’s Griffin.

Mineur, D. (2010). Les justifications de la règle de majorité en démocratie moderne. Raisons Politiques, 39, 127—149.

Oreskes, N. & Conway, E.M. (2014). Les marchands de doute : Ou comment une poignée de scientifiques ont masqué la vérité sur des enjeux de société tels que le tabagisme et le réchauffement climatique. Editions le Pommier.

Popper, K. (1973). La logique de la découverte scientifique. Payot.

Sterbenz, C. (2013). The Supreme Court Says The Tomato Is A Vegetable — Not A Fruit. Business Insider,‎ 30 décembre 2013. https://read.bi/2I93gHn

van de Kerchove, M. (2013) Vérité judiciaire et para-judiciaire en matière pénale : quelle vérité ?. Droit et Societe, 84, 411-432.

Veyne, P.  (1983) Les Grecs ont-ils cru à leurs mythes ? 
Essai sur l’imagination

 

The ethics of modelling in a world where normality no longer exists

(this article was originaly writen in French – part one and two – and published in Risques)

The mechanism for covering natural disasters, in France, was created to compensate “direct uninsurable material damage caused by the abnormal intensity of a natural agent” (article L. 125-1 paragraph 3 of the Insurance Code). Still on the legal level, the Court of Cassation formulated, in November 1986, a principle according to which “no one must cause others an abnormal neighbourhood disturbance”. And in order to be entitled to compensation following pre-trial detention, it is necessary for the plaintiff to prove that the detention caused him “manifestly abnormal and particularly serious harm” (Article 149 of the Code of Civil Procedure). But what does this “abnormality” in all these articles mean? According to the dictionary, abnormality is defined as “contrary to the usual order of things” (one could see there an empirical, statistical notion), “contrary to the just order of things” (this notion of “just” probably calls for a normative definition) but also “not in conformity with the model”. Defining a standard is already not simple if we are only interested in the descriptive, empirical aspect, as actuaries can do when they construct a model (especially in large dimensions, where, as we shall see, normality no longer exists), but if we also integrate a dimension of justice and ethics, we wonder if the task is not impossible…

The average man from Quetelet and Galton

In the 19th century, if several astronomers measured the speed of the same celestial object, they obtained (often) several different measurements. In order to know which one to use in their calculations, the idea of using the “averages method” was quickly imposed – as Stahl[2006] recalls, and especially Sheynin[1973] – this average having a greater precision than any other quantity (or would now say statistically). From a set of observations \{x_1,...,x_n\}, we set
\bar x=\frac{(x_1+⋯+x_n)}{n}=\frac{1}{n}\sum_{i=1}^nx_iWe can note that this size is also solution of the optimization problem
\bar x=\text{argmin}\lbrace\sum_{i=1}^n(x_i-m)^2\rbracewhich shows the importance of “least squares”. Adolphe Quételet was, it seems, the first to apply this calculation of averages to human measures, introducing his famous concept of the “average man”. If we define the mean using a quadratic error minimization, we have an interpretation in terms of forecast: the mean size is the size that a randomly drawn person should measure (up to a random – and unpredictable – variation). In 1846, in a letter Adolphe Quételet used the image of the gladiator statue to explain what the average man might be:

Suppose a thousand statues were used to copy the gladiator with all the care imaginable. Your Highness certainly does not think that the thousand copies that will have been made will each reproduce exactly the model, and that by measuring them successively, the thousand measures that I would obtain would be as concordant as if I had taken them all on the statue of the gladiator himself. The first chances of error would be joined by the inaccuracies of the copyists; so that the probable error would perhaps be very great. Despite this, if the copyists have not worked with preconceived ideas, exaggerating or reducing certain proportions according to school prejudices, and if their inaccuracies are only accidental, the thousand measures, grouped in order of magnitude, will still present a remarkable regularity and will follow one another in the order assigned to them by the law of possibility. I see Your Highness smiling; she will no doubt tell me that such assertions will not compromise me, since we will not be willing to try the experiment. And why not? Perhaps I will surprise him by saying that the experience is ready-made. Yes really, more than a thousand copies of a statue have been measured, which I will not guarantee to be that of the gladiator, but which, in any case, is not far from it: these copies were even alive, so that the measures were taken with every possible chance of error: I would add, moreover, that the copies could have been distorted by a host of accidental causes. One must therefore expect, here, to find a very sensitive probable error.

This average man liked a lot at the time, especially within the English eugenicist school, directed by Francis Galton, even if the latter is mainly interested in deviations from this norm (upward deviation and downward deviation). As Bulmer recalls[2004], “the deviations from that average – upwards towards genius, and downwards towards stupidity – must follow the law that governs deviations from all true averages”. Galton’s work was aimed at understanding these deviations. If Florence Nightingale stated that “the average man is God’s will”, Galton was more interested in the hereditary character of the deviation than in the average. But does that mean anything to this average man?

Looking for the “average” person

Rose[2016] presents two examples in her book Tyrany of the NormThe End of Average . The first is drawn from problems encountered by the US military in the 1950s. When designing the cockpits of fighter aircraft, engineers had used the dimensions of more than 4,000 pilots to optimally position the seat relative to the pedals, the joystick, the height of the windscreen, but also the shape of the seat, the helmet, etc. These measurements made it possible to calculate the measurements of the “median” pilot in about ten dimensions. For example, the average pilot size was 179 cm, which allowed the average pilot size to be defined between 175 and 185 cm. While a majority of the pilots were medium in size, none of the 4,000 pilots was “average” in all dimensions. As Daniels[1952] stated, “designing a cockpit for the average pilot was in fact not designing one for any pilot.

The second example is linked to two statues, those of Norma and Normann (historically on display in Cleveland, now in the Harvard Library). The artist Abram Belskie and the obstetrician Robert Latou Dickinson made these statues together in 1943. Their particularity is that no model has been represented. In fact, it was to represent a woman and a man who had the average measurements of the time (from measurements made on thousands of subjects). Once these statues were made, a contest was held to find out who these statues could represent. Several thousand people from Ohio sent their measurements, but none matched those of the statues. Of course, several hundred were the same size. Several hundred had the same chest circumference. But none had all the right measurements. Because as Todd Rose explains, man is not unidimensional: it is on several dimensions that we measure it in several dimensions. And trying to summarize it in a one-dimensional size is far too reductive. This is what he shows in his book on intelligence tests, for example, where the same IQ can be associated with two very different people. It makes no sense to focus on a single indicator when deciding to recruit someone. The concern when working in a multivariate context is that the average loses its meaning. In fact, from a probabilistic point of view, being average can be extraordinary.

The curse of the dimensionality

In fact, this problem is well known to statisticians as the “scourge of the dimension”. Let’s take a simple example: suppose that a quantity of interest follows a normal law N(\mu,\sigma^2), for example weight, height, chest circumference, etc.. One could say that being in the norm is being in an interval [\mu\pm1.5\sigma]. If we have a normal law, this situation occurs in 85% of cases. And the 15% that are not in this range will be seen as “abnormal”. The sizes can be abnormally small, or abnormally large. It is the drawing of figure 1, on the top. We can now look at two dimensions, weight and height, for example. The norm here would be that in both dimensions, we are in the interval [\mu\pm1.5\sigma]. If the quantities are independent, the probability that both quantities are “normal” is 75%, since 0.85^2\sim 0.75

In other words, in dimension two, 75% of the observations are globally normal, and 25% are then abnormal. In dimension 3, we pass to 65 %, that is to say more than a third of abnormal observations (on the bottom on figure 1, the red points being the abnormal points).


Figure 1 Proportion of “average” individuals in dimensions 1, 2 and 3

In dimension five, we go below 50%, in other words, being in the norm in the five dimensions is no longer the case of the majority. And in dimension twenty, those which are normal are rather atypical, with a proportion of the order of 5 %. Thus, in large dimensions, normality is no longer associated with the idea of a majority. This is the problem that actuaries face today when using very large data, in pricing for example: it becomes very difficult to characterize a rate class (by saying what the average insured in that class looks like).

Normality, statistics and standards

From an empirical, descriptive point of view, being within the norm means nothing other than being within the average, not getting too far from that average. We will then tend to define the norm as the frequency of what happens most often, as the attitude most frequently encountered or the preference most regularly expressed. But this normality is not normativity, and “to be in the norm”, to be exemplary, is then a different dimension, which this time no longer relates to a description of reality but to an identification of what it should tend towards. So we move from the register of being to that of being, from “is” to “ought” to use Hume’s terminology[1739]. It is indeed difficult to envisage the model (or normality) without sliding towards the second meaning that can be found in the concept of standard, which in turn has a strictly normative dimension. This vision leads to confusion between norms and laws, even if not all normativity is exhausted by laws. Hume thus notes that, in all moral systems, authors move from statements of fact, that is, statements of the “there is” type, to proposals that include a normative expression, such as “one must”, “one must”. What Hume disputes is the shift from one type of statement to another: for him, these are two types of statements that have nothing to do with each other, and that cannot therefore be logically linked with each other, in particular from an empirical norm to a normative rule. For Hume, an assertion that is not normative cannot give rise to a normative conclusion. Hume’s assertion has given rise to numerous comments and interpretations, particularly because, as it stands, it seems to be an obstacle to any attempt at naturalization of morality – as McIntyre[1959] or Rescher[1990] detail. In this sense, there is a strong distinction between the norm in regularity (normality) and the rule (normativity).

Statistical laws, from micro to macro

The statistical law is about what “is” because it has been observed (for example, “men are taller than dogs”). Human law (divine, or judicial) is what “is” because it has been decreed, and therefore “must be” (“Men are free and equal” or “Man is good”). Finally, the physical law is about what “is” because we can show it (“The planets are attracted to each other”), often within the framework of hypotheses. We see that the three concepts can be linked. For example, Kepler’s law was historically established using observations (and historically fell into the first category), before being demonstrated in the Copernican model (and then moved on to the third). A concept of balance can also be associated with this law, this “norm”. However, as Hilpinen[1971] points out, however, probabilistic laws ask many questions, one need only think of dice throws or expectations: what is meant by “it is normal to wait five minutes for the bus to stop”, or more ethically disturbing, “it is normal for a person remanded in custody to be imprisoned for eighteen months”?

The norm can be seen as a regularity of cases, observed using frequencies (or averages), for example, on the size of individuals, the duration of sleep, in other words the data that constitute the description of individuals. Anthropometric data have thus made it possible to define an average size of individuals in a given population, according to their age; compared to this average size, a difference of 20% more or less determines gigantism or dwarfism. If we think of road accidents, it can be considered abnormal to have a road accident in a given year, at an individual (micro) level, because the majority of drivers do not have an accident. Nevertheless, from the insurer’s (macro) point of view, the norm is that 10% of drivers have an accident. It would therefore be abnormal for no one to have an accident.

Nevertheless, from the insurer’s (macro) point of view, the norm is that 10% of drivers have an accident. It would therefore be abnormal for no one to have an accident. This is the argument found in Durkheim[1897]. From the singular act that is suicide, if it is considered from the point of view of the individual who commits it, Durkheim tries to see it as a social act, then a real regularity, within a given society. From then on, according to Durkheim, suicide became a normal phenomenon. Statistics then make it possible to quantify the tendency to suicide in a given society, as soon as we no longer observe the irregularity that appears in the singularity of an individual story, but a social normality of suicide.

Standard, convention and ethical aspects

If we take an evolutionary view, what is normal is what is most capable of adapting, of responding to needs, of providing a model for the resolution of situations (nature making abnormality disappear), and normality tends towards normativity, and it becomes difficult to distinguish between the two aspects. In fact, David Hume addresses this point in the well-known example of rowers, who get into the same boat to cross a river and row in rhythm (this example is discussed at length in Mackie[1980]). The two rowers gradually adjust their rowing strokes, one in relation to the other, and it is not necessary to obtain an explicit agreement (which would formulate the standard) that they would respect. The law, which consists in imposing a standard can be useful in case of conflict (if one of the rowers refuses to row, or two rowers of very different physical capacities), but very often, it is not necessary to formulate explicitly this standard inherent to their conduct. The external observer will observe a regularity (when the cruising rhythm is reached) that he can model, but this normal observed rhythm is not necessarily imposed by a law. In the case of rowers, we find the notion of balance mentioned previously. To build a model is to extract the signal from the noise (to use Silver’s distinction[2015]), it is to look for a standard, in the statistical sense. But this goes further if a predictive model is constructed, and reality must then conform to the model, as actuaries often hope.

Patrick Blackburn, Maarten de Rijke & Yde Venema, Modal Logic, Cambridge University Press, 2002.

Bulmer M., Francis Galton: Pioneer of Heredity and Biometry. Johns Hopkins University Press, 2004.

Daniels G., “The Average Man”, Air Force Aerospace Medical Research Lab, vol. 53, n° 7, 1952.

Durkheim E., Le suicide, 1897.

Hilpinen R., Deontic Logic: Introductory and Systematic Readings, 1971, Dordrecht, D. Reidel Publishing Company.

Hume D., Traité de la nature humaine. Tome III : de la morale, 1739.

McIntyre D.C., “Hume on ‘Is’ and ‘Ought’”, The Philosophical Review, vol. 68, n° 4, 1959, pp. 451-468, Duke University Press.

Mackie J.L., Hume’s Moral Theory, Routledge & Kegan Paul Books, 1980.

Rescher N., “How Wide Is the Gap Between Facts and Values?”, Philosophy and Phenomenological Research, vol. 50, 1990, pp. 297-319.

Silver N., The Signal and the Noise: Why So Many Predictions Fail – But Some Don’t, Penguin Press, 2015.

Rose T., The End of Average: How We Succeed in a World That Values Sameness, HarperOne, 2016.

Sheynin O., “Mathematical Treatment of Astronomical Observations (A Historical Essay)”. Archive for History of Exact Sciences, vol. 11, 1973, pp. 97-126.

Stahl S., “The Evolution of the Normal Distribution”, Mathematics Magazine, vol. 79, 2006, pp. 96-113.

Excess of precautionary principle

(this article was intially writen in French, and published in Risques)

« Dans le doute, abstiens-toi » (“When in doubt, abstain yourself”) says popular wisdom. The precautionary principle (in German “Vorsorgeprinzip“) arose from the idea that it is appropriate to accept that there is doubt, or (scientific) uncertainty, in the knowledge of risks. A little over 20 years ago, in France, Barnier’s law introduced the precautionary principle into French law for the “risk of serious and irreversible damage to the environment”, commonly known as “environmental risk”. A little bit more than 10 years ago, it was enshrined in the French Constitution, approved by 531 Members, thus expressing a very broad political consensus, probably also social. Today, however, the precautionary principle is mentioned in contexts as diverse as the risk of terrorist acts, but also in civil or criminal law procedures. What are the consequences of this drift in the use of the precautionary principle?

Prudence, prevention, precaution

It is often accepted that precaution distinguishes prevention by the absence of risk identification. Prevention could be associated with protection against identified risks, while the notion of precaution questions possible actions in the face of risks not yet identified. As Ewald, Gollier and de Sadeleer (2009) point out, the precautionary principle in environmental matters involves three imperatives: reducing risks and avoiding emissions even when there are no short-term effects, formulating environmental quality objectives, and defining an ecological approach to environmental management. Therefore, even in the absence of certainty (and whatever the scientific knowledge at the time), the precautionary principle aims at not delaying the adoption of effective and proportionate measures to prevent irreversible damage at an acceptable cost. Other principles can complement the latter, such as the principle of information, or participation, which postulates that every citizen must have access to information relating to his environment.

As Hunyadi (2004) noted, these three notions are closely related, but different,

  • Prudence refers to proven risks, those whose existence is demonstrated or known empirically to such an extent that the frequency of occurrence can be estimated. Probability makes the risk insurable. This category includes alcohol consumption, or playing Russian roulette.
  • Prevention targets proven risks, those whose existence is demonstrated or known empirically without however being able to estimate the frequency of occurrence. Nuclear risk probably falls into this category. Uncertainty is not about the risk, but about its probability of occurrence. The absence of probabilities normally makes the risk uninsurable by the traditional insurance industry.
  • Precaution refers to risks for which neither the magnitude nor the probability of occurrence can be calculated with certainty, based on current knowledge. One example that has been much debated is genetically modified organisms, but we can include all the risks associated with nanotechnologies.

Precaution, prevention and forecasts

In the words of Hohmann (1994), precaution arises from “the will to free oneself from the assimilative approach in order to replace it with an anticipatory approach”. Anticipation and forecasting are then at the core of precaution: the precautionary principle implies anticipating risks, with the dimension of uncertainty that will accompany it. Like insurance. Except that the latter generally assumes that the hazard is beyond the control of agents, whereas precaution is concerned with endogenous risks, which should be anticipated.

And when precaution becomes a legal principle, we can fall into excesses well known by science fiction fans.” I’m placing you under arrest for the future murder of Sarah Marks and Donald Doobin that was to take place today,” police officer John Anderton told the potential murderer in the 1956 Philip K. Dick short story Minority Report. Can one arrest someone preventively, or worse, cautiously, in the name of the precautionary principle?

Yet we are not far from this science fiction scenario when we look at how the fight against terrorism works. In November 2015, as a result of the state of emergency, “administrative” searches were conducted.” The objective is not to be accused of doing nothing when we had information. It is a kind of precautionary principle applied to terrorism,” said a police officer in Libération. Before the summer of 2016, Eric Ciotti, Member of Parliament for Alpes-Maritimesin France, said, with regard to people with “S-type records“, that “these people today must have a precautionary principle, they must be placed in a situation of detention. They can no longer be free, because they constitute a threat” (reported by Le Monde (2016)). Is that really the precautionary principle?

Justice, uncertainty, hazard and precaution

The precautionary principle requires the practice of doubt, which may give the impression of “hyperbolic doubt”, which lawyers sometimes attach to the concept of the inversion of the burden of proof. The adage “guilty until proven innocent” is replacing the age-old legal maxim “innocent until proven guilty”, as van den Belt (2003), or Flückiger (2003), questioning the concept of proof in the test of the precautionary principle, evoked.

Strangely, the words proof and probability derive from the same Latin adjective, probus. Probus ager is the field where seeds germinate and grow. What is probus is then what meets an expectation, produces, nourishes. Applied to man, it will imply goodness, honesty (probity). It is then a positive response to expectation (on the contrary, chance would be associated with the improbable, with a negative response). Probus will give probatio, the proof, later called proba. Approbare then means “prove”, or even “approve”, and the probabilis derivative would mean “approvable”. It is this meaning which seems to have been retained by Cicero when he used probabilia to evoke possible conjectures. What is likely then contains a large psychological part, with an ethical judgment (we will approve), but also a truth judgment (we will prove). As Gaston Bachelard said, “it is through confusion between the psychological domain and the real domain that we incorporate the notion of probability” (Bachelard (1927)). The probability, however complicated the calculation behind the value may be, measures only our expectation.

The right decision in an uncertain world

We are asking the courts to rule on problems. Sometimes to establish a truth that scientists cannot establish (as in the context of environmental risk). But in everyday life, judges make many decisions. And make mistakes. In decision theory, this can be summarized in Table 1. In criminal justice, the judge – or a jury – must decide whether a person is innocent or not. Two types of errors are possible: false negatives (those found innocent) and false positives (those sent to prison).

Table 1: Decision-making mechanism and errors (in French)

In children’s stories, false positives, it’s Pierre who howls at the wolf when there’s nothing (and who ends up tiring everyone, and when the wolf actually arrives, nobody believes it). When it comes to justice, a false positive is an innocent man sent to prison. It is not uncommon for a type of error to be “economically” more interesting. A cost-benefit analysis in marketing, for example, shows that soliciting someone who will refuse a product is generally less expensive than missing a good customer. In other applications, one type of error will be “socially preferable”, as in public health. After a quarantine, we may prefer to convict innocent people than to have a contaminated person who leaves the contained area (and then contaminate the rest of the population). The great difficulty in decision theory is precisely to choose your errors (or rather your error acceptance rates).

The right decision and mistakes

Voltaire wrote in 1747, about Zadig, chosen by the King to become Prime Minister, “it is from him that nations derive this great principle: that it is better to chance to save a guilty than to condemn an innocent”. This principle has long seemed correct (this is the second example in Table 2).

Table 2: Example of decisions rendered 1) Realistic case 2) All innocent 3) All guilty

As Table 2 shows, let us start from a real (or supposedly real) situation, with a judicial system that makes some mistakes: out of the 100 people tried, 10 guilty were acquitted, while 15 innocent people were sent to prison. That is 25% errors overall, even if we can imagine that the two errors are not of the same order. By declaring everyone innocent, 70% mistakes are made, which is obviously too high. But if you find everyone guilty, you make 30% mistakes. To some extent, the risks of the two types of errors are inversely related. Reducing one of them will generally be to the detriment of the other. We must recognize that there is an inevitable compromise in the design of our criminal justice system. In economics, the balance depends on our estimate of the economic (and other) costs associated with each of the two types of error. But in judicial matters, one can imagine that the moral aspect is important.

In a civilized justice system, the risks of error of the first type are minimized to the extent possible, at least that is what is meant by the term “innocent until proven guilty”. There is a price to pay for this cautious and civilized approach, namely that eventually many wrongdoers must be acquitted because of a “lack of sufficient evidence”.

Error and liability

The judge has experience built on a sub-population that is probably not representative of the French population. This selection bias is caused by the fact that the police had to convince a prosecutor to continue the investigations, at least to reach the investigation stage. What could almost legitimize that a judge – or in a way any person gravitating in the world of justice – has such a negative a priori, that in doubt, for fear of committing an error, he made his instinct, built from a biased population. Worse still: if a judge gets into the habit of convicting (based on the fact that there is no smoke without fire), he or she may be convinced that he or she has only been confronted with culprits. Yet it is normal to make mistakes.” Errare humanum est” said Saint Augustine. The danger is that the decision-maker often confuses’fault’ and’error’, and for fear of committing a fault, for which he could be held responsible, he does not dare to decide. The difficulty is admitting her mistakes, and learning from her. For it must be remembered that the error of the second kind is a double error: if there is an innocent man languishing in prison, there is also – probably – a criminal still at large.

Victims at the centre of justice

With the precautionary principle, power makes society the potential victim, and invites us to objectify ourselves as such. After the Second World War, as Rechtmann (2005) showed, psychiatrists’ attention shifted from trauma to victims. And this idea was then imposed on society as a whole: everyone must, in order to exist, express his suffering and arouse compassion. While “victimology” has thus made its entry into the world of psychiatry, at the same time the place of the victim has been strengthened in law. Levy (2004) has shown that today, victims are granted excessive rights, especially when they fall into certain categories (children, victims of sexual violence, acts of terrorism, etc). In this case, the victim’s word is sacredized, the accused’s defense therefore becomes impossible, everyone being unconsciously convinced of his guilt. In La Société des Victimes, Guillaume Erner denounces a new moral order which is being established and confers on the victim an almost sacred status, since it becomes a “secularized version of martyrs and saints”.

Lévy (2004) recalled that psychiatry seems to think that psychological disorders resulting from certain offenses are perfectly compatible with normal personalities. Thus, “it is considered that the absence of any visible sign of trauma not only does not exclude the crime, but in some cases, may constitute an additional indication of its reality. This is Edgar Hoover’s idea, as legend has it: after being tapped, if the wiretaps confirmed suspicions, individuals were classified as “subversive”, whereas if the wiretaps were inconclusive, they were classified as “subversive malicious”.

We are a long way from the time when Voltaire could claim to prefer having a guilty man in nature than having an innocent man in prison, demanding the lowest possible first hope error rate. By placing the victim at the centre of justice, we are now asking for a zero second species error rate. This amounts to denying the presumption of innocence: “guilty until proven innocent”, relying abusively on the sacrosanct “precautionary principle”.

The precautionary principle is also a risk

It is now clear that the precautionary principle has set a new standard for judging responsibility and extended its ethical space. As François Ewald noted, “the one who introduces the risk must foresee it”. By not taking sufficient precaution, in particular abstention, he can be held responsible. In the name of this principle, certain festive events are canceled, as reported by La Voix du Nord and France 3 during the cancellation of (major) sales last September. The precautionary principle frightens decision-makers and imposes an inertia, an unlimited conservative. Perhaps it is time to be more cautious in applying this principle.

Bachelard, G. 1927, Essai sur la connaissance approchée, Vrin.

Erner, G. 2006. La Société des victimes, La Découverte.

Ewald, F. Gollier, C. et de Sadeleer, N. 2009, Le principe de précaution, Que sais-je ?

Flückiger, A. 2003. La preuve juridique à l’épreuve du principe de précaution. Revue Européenne des Sciences Sociales, 41, 107-127.

France 3. 2016. Lille : après la braderie, le semi-marathon et le 10 km annulés http://bit.ly/2dpU8eY

Hunyadi, M. 2004. La logique du raisonnement de précaution. Revue Européenne des Sciences Sociales, 42, 9-33.

La Voix du Nord, 2016. Le principe de précaution appliqué à la lettre à la braderie du centre http://bit.ly/2dVE6tS

Le Monde, 2016. Interner tous les djihadistes présumés « fichés S », le retour d’une proposition inapplicable. 14 juin 2016, http://bit.ly/2c9zHF4

Lévy, T. 2004. Éloge de la barbarie judiciaire, Odile Jacob.

Libération, 2015. Les perquisitions, « un principe de précaution ». 19 novembre 2015, http://bit.ly/2cQfxhY

Rechtmann, R. 2005. « Du traumatisme à la victime », in D. Fassin et P. Bourdelais (dir.), Les Constructions de l’intolérable. Études d’anthropologie et d’histoire sur les frontières de l’espace moral, La Découverte.

Van den Belt, H. 2003. Debating the Precautionary Principle: “Guilty until Proven Innocent” or “Innocent until Proven Guilty”? Plant Physiology, 132(3), 1122–1126.

Voltaire, 1747. Zadig ou la destinée.

 

Machines, procedures and avoiding responsibility

Some people are trying to make us believe that artificial intelligence is a “revolution”. What if it wasn’t? Can we not simply see the logic of a process that goes back at least fifty years ago? Bureaucracy has pushed us to put in place simple procedures in all areas of everyday life, allowing everyone to avoid any responsibility, to no longer have to think and to be smart. Algorithms are scary, we wonder where the “human” is in these decision-making procedures… What if he had already disappeared long ago?

Insurance and bureaucratic procedures

As Crozier (1963) had shown, bureaucracy appears as a rational mode of organization, in which citizens are protected from clientelism and arbitrariness by the establishment of objective rules. Because bureaucracy is not only a hierarchical (and state) administration, it is above all a set of norms, procedures and formalities that encompass all human activities. Insurers, for example, quickly understood the value of these procedures. In the context of road accidents, the settlement of material accidents is made according to the “IRSA Convention” (Agreement on Direct Indemnification of the Insured and Recourse between Motor Insurance Companies) when two vehicles are involved (succeeding the so-called IDA Convention, created in 1968). After a damage assessment by an expert, the insurer establishes the liability of his insured and directly compensates him for the material damage and prejudice suffered. He then turns against the opposing insurer(s) according to the terms of recourse established by the agreement. This convention is based on the use of scales, corresponding to 13 cases of classic accidents: the case 51 for example relates to a collision between two vehicles, one of which was backing up or making a half-turn, and in this case, the responsibility is normally full (100%) for the driver of the vehicle reversing (or turning half-turn). In the case of personal injury accidents, the procedure is less transparent, but the so-called Badinter law proposed to set up a simple mechanism (for the victim but also, finally, for the driver’s insurer), with the aim of “improving the situation of road accident victims and speeding up compensation procedures”. To do this, several scales are used. For example, Partial Permanent Disability (P.P.I.) measures the “reduction in physical, psycho-sensory or intellectual potential that a victim remains with” and translates into a percentage of permanent disability, on a scale from 1 to 100, corresponding to an “indicative scale of functional deficits after sequellaires in common law”. If this scale is officially “indicative”, following it avoids having to justify oneself. The whole assessment of compensation will be based on “medical certificates”, which have become the basic administrative documents, themselves increasingly standardised, and meeting specific forms and standards. In a very bureaucratic logic, these procedures aim to avoid empathy being encouraged. The development of procedural standards also has this objective: to distance the victims, so that neutrality can be exercised, objectivity can be (supposedly) ensured and justice can be effective. Isn’t this form of indifference the basis of everyday insurance? Don’t claims managers want to be as far away from the caller as possible because the roof of his house has caught on fire, or because his wife is in hospital following a traffic accident?

The bureaucratic production of indifference

Bauman (2002) shows that this “production of indifference” often emerges from an extremely banal configuration, characteristic of all modern societies, namely the coupling of the “functional division of labour” and the “substitution of technical responsibility for moral responsibility”. In describing the bureaucracy in Pakistan, Hull (2012) explains that “these procedures are developed not because of a rationalization logic, but because public servants protect themselves by deploying them vigorously and widely. It is not surprising that Adolf Eichmann chose this line of defence at his trial in April 1961. In fact, when Arendt (1966), present during the trial, is reread about Adolf Eichmann’s responsibility in the implementation of the “final solution” (then sent by The New Yorker to Jerusalem to testify), she presents us with a “robotized” character, disubstantialized, having only obeyed orders. Without going back over the historical reality of Eichmann’s role and the staging of the trial, Hannah Arendt’s analysis of the bureaucracy is interesting. The subtitle of the book, the “banality of evil”, is characterized by the inability to be affected by what one does and the refusal to judge, like any bureaucrat analyzing a situation through the prism of a form, becoming a robot, whose responsibility would be called into question by mechanical obedience to orders. The latter would ultimately be “representative of a bureaucratic system, in which each individual is merely a blind cog… mechanically executing orders from respected authority”. Arendt’s thesis (in Cesarani’s words (2010)) is that “Eichmann was telling the truth when he presented himself as a civil servant without passion, as a tiny cog in the vast exterminating machine, and when he claimed that he could very easily have been replaced by someone else. Obeying orders, following a procedure then makes Eichmann guilty, but the question of responsibility remains open (in particular by distinguishing individual responsibility, and collective responsibility). Returning precisely to the question of responsibility a few years later, Arendt (2005) wonders, “how to judge without clinging to standards, preconceived norms and general rules under which to subsume particular cases? ». Bureaucracy can reassure by its rationality, but frighten by the indifference it generates.

Because bureaucracy is nothing new. The ancient scribes were the first bureaucrats, as Wilford (2001) states. More recently, if Karl Marx has looked at the bureaucracy of industry to study the domination of the bourgeoisie and capitalism, Max Weber has shown that the bureaucracy accommodates all forms of power. He writes that “real domination[is exercised] in the maintenance of daily administration”, “bureaucracy is characterized by a much greater impossibility than one has to escape it”. The company is the privileged place for the development of a bureaucracy, “the requirement of calculability and predictability as rigorous as possible promotes the growth of a special layer of administrators and imposes a certain type of structuring on it” (quoted by Claude Lefort). For Max Weber, bureaucracy is not a parasite (as Marx thought) but a fundamental component of capitalism. Subcontracting, outsourcing, just-in-time work are only possible thanks to practices based on greater bureaucracy. All information should be codified as accurately as possible, no approximation should be made in decisions, and the division of tasks should be certified and standardised. Partitioning protects employees from a sense of responsibility. The “silos” have become the “experts’ paradise”. The segmented and sequential form of the work then protects the members of the organization as Dupuy (2011) shows.

The endless search for standards

This production of indifference was studied at length by Michael Herzfeld, who showed the specificity of state bureaucracy as a public power, and concretizing the denial of any difference: “it offers the effective and generalized capacity to reject those who do not fit into pre-established categories and considered normal” as Hibou (2012) notes. Sainati & Schalchi (2007) also notes this by studying the importance of bureaucracy and standards in the security drift of recent years, “each individual citizen is apprehended according to the category of offender to which he or she is supposed to belong. Everyone is necessarily a suspect in having committed, wanting or being able to commit an offence. This policy of social intolerance will complete the transformation of justice (especially criminal justice) into a total bureaucratic system…”.

Normative inflation, which is observed in the world of justice, has also been observed in the world of finance, with the decline of state authorities (central banks, financial market authorities, various regulators) which no longer intervene directly, but through the imposition of increasingly strict administrative rules. These include Basel II-type management rules, but also the different partitions between the various activities (deposit and merchant banks, advisory activities and market activities, for example). Risk management is fundamentally bureaucratic, involving standards, grids and codes that will generate automatic reactions. This reporting gives a very simplified vision of the activity, but this synthesis of information makes it possible to take decisions more quickly. This phase seems essential given the specificities of each branch, almost preventing a global vision of the bank’s activity. This set of rules and procedures also provides “protection”: in the face of (judicial) uncertainty, the best way to defend yourself is to respect procedures and rules. The goal is not to avoid bankruptcy, but to protect oneself in the event of an accusation. Respect for the rules then becomes more important than their purpose. These rules seem to be a political response to the various crises experienced by the banking world. This bureaucratic inflation brings a form of tranquillity and comfort, while creating a form of dilution of responsibilities. As Hibou (2012) notes, “in the name of individual responsibility, everyone must respect the standards, but compliance with the standards is worth failing responsibility in the event of a problem” (recalling the Kerviel affair in passing). This is noted, for example, by Brunson & Jacobsson (2002) when they state that the audit culture is certainly a culture of responsibility, but of individual responsibility. Collective responsibility is all the more diluted as governments delegate their regulatory power to private actors in a vague manner if the standard is adopted, traceability techniques will make it possible to trace back to the individual responsible for the act causing a failure; whereas if the standard is not, no one will be responsible.

And this search for standards is endless. Thus, many opponents of industrial agriculture opposed the standardization of food products, and in response, developed organic consumption standards. The latter were then questioned by local networks, which wanted to support the concept of “eating local”, and to be recognized, adopted new standards. The response to proceedings is an escalation of proceedings. Max Weber said it in 1920, “when those who are subject to bureaucratic control seek to escape the influence of existing bureaucratic apparatus, normally this is only possible by creating a proper organization that will also be subject to bureaucratization.

From man to machine or seeing machines as human beings…

MacDonald has long been committed to ensuring a consistent product throughout the world. Following the logic of the Taylorism method of organization, the company has written a procedure guide explaining the correct steps to take when salting French fries, filling a glass of soda, etc. In call centers, procedures are followed very scrupulously by employees, with call queue management, scenarios displayed on the screen, and the employee only has to unfold it. Simone Weil spoke of a “scientific organisation of work”, where work was dehumanised, reduced to a state of mechanical energy. Taylorism was the expression in factories of this fascination for science, seeing the human being as a machine. But there is nothing new, since in the middle of the 17th century Thomas Hobbes wrote “since life is nothing more than a movement of limbs, the beginning of which is in some way an inner main part, why could we not say that all automata (machines that move themselves, by springs and wheels, like a watch) have an artificial life? ».

Computers were invented to relieve a number of repetitive tasks by unwinding an algorithm implemented by a human being. Hanoi tricks are a very simple, very repetitive game… but solved by an incredibly simple algorithm. This is probably why this “game” is still taught in all computer science and algorithmics courses, because the “game” itself is actually very boring very quickly. Many training courses no longer teach creativity, but sets of procedures to follow. The Box & Jenkins method of forecasting is a long procedure that we simply follow to the letter, mechanically: we park the series, we model it by an autoregressive process, then we validate the hypotheses. And if it doesn’t work, we do it again.

The actuarial profession, as a science, is based on a set of simple procedures. For example, to construct a rate, we start by building a base, using underwriting information, we will look at the number of claims for each policy, and we will use a model to describe this counting variable (typically a Poisson regression). If we wish to do more advanced things, we will use part of the data to build the model, and another part to test the predictions of our model. We will do the same thing with claims costs. The approach is simple: we collect data, we estimate a model, we test the model, possibly we retain the best if we have the choice between several. It’s so simple that a computer can almost do it itself…

Machines everywhere!?

For decades, organizations have tried to put in place procedures to avoid arbitrary (humane?) decision-making. At the same time, engineers have developed increasingly powerful machines to repeat routine tasks over and over again. From this double observation, we cannot be surprised to see the machines more and more present, everywhere. At least this is the thesis defended by Susskind & Susskind (2015) which anticipates many transformations of the majority of professions, going beyond a simple robotization of routine tasks (including for legal professions, as Remus & Levy sees it (2015)).

But we must not be mistaken, if machines replace men, they are not men for all that. For example, responsibility always lies with one person: the designer of the machine, its operator – who has some technical knowledge – or the user – who often has none. Abiteboul (2016) goes even further by asking the underlying ethical question, namely “can a computer system be assigned a responsibility” (and joining Hannah Arendt’s questions). But beyond responsibility, one can argue that the machines have no intention. They sometimes perform complex tasks, but because they have been programmed to do so. That’s the beauty of engineering: a phone (as smart as it is) is just a set of electronic components that can perform increasingly complex calculations (sometimes it can locate it on a map and offer me a quick route to a restaurant), but the phone wants nothing.

An automatic translator makes it possible to translate a text in a few seconds, but only because it has been programmed for that, whereas if a child learns a language, it is because he understands that it is an essential step to communicate with his parents. If I type a sentence in an unknown language into a translator, I am impressed to get an answer that makes sense. But if I master both languages (even a little), I am on the contrary often disappointed, probably hoping better. These machines are often very predictable, which is both a quality and a defect. Isn’t that what you ask every engineer? The machine must be reliable, obey the finger and the eye. The first difference between man and machine is that man can disobey. And this is his greatest wealth!

A word that comes up again and again when we practice data science is the word “learning” (we speak of “machine learning”). We are told that the machine tries to reproduce the human walk of the human being when he learns. The child learns to recognize letters, then learns to put them end to end to write words, in a fairly conscious way since he is usually guided by his teacher. He also learns to recognize faces, often unconsciously this time. The machine also learns to recognize handwriting or faces. The machine will make mistakes, but it will also “learn from its mistakes”, and it will improve. Like a human being? It’s not as simple as that. The child will get discouraged several times before being able to read correctly, and he will persevere. We find the “conatus” dear to Spinoza, the effort that everything that actually exists makes, the perseverance that every living being shows. And often, this learning is done in pain. If a machine makes a mistake, recognizing a “5” when it was a “3”, it makes a mistake, and for it it stops there. For the child who hoped to have 5 candies and has only 3, he will really feel the mistake. What about this person who thought he had an important appointment at 3:00, and who arrives two hours late?

To pretend that a telephone can be “smart” is probably indicative of what we think intelligence is. But machines are far from being able to replace human beings. They don’t want to, and fortunately, as long as they’re not programmed to, that’s not going to happen.

References

Abiteboul, Serge 2016. Informaticiens, tous coupables ? Le Monde, 1er septembre 2016

Arendt, Hannah 1966. Eichmann à Jérusalem : Rapport sur la banalité du mal. Folio Histoire.

Arendt, Hannah 2005. Responsabilité et jugement. 2005.

Bauman, Zygmunt 2002. Modernité et Holocauste. La Fabrique.

Brunson, Niels & Jacobsson, Bengt. . 2002. A World of Standards. Oxford University Press.

Cesarani. David. 2010. Adolf Eichmann .Tallandier.

Crozier, Michel. 1963. Le Phénomène bureaucratique. Seuil.

Dupuy, François. 2011. Lost in Management.: La vie quotidienne des entreprises au XXIe siècle. Seuil.

Herzfeld, Michael. 1992. The Social Production of Indifference. The University of Chicago Press.

Hibou, Isabelle. 2012. La bureaucratisation du monde à l’ère néolibérale, La Découverte.

Hobbes, Thomas. 1651. Leviathan. (version Folio Essais)

Hull, Matthew. 2012. Government of Paper The Materiality of Bureaucracy in Urban Pakistan. University of California Press.

Lefort, Claude. 1979. Éléments d’une critique de la bureaucratie, Paris, Gallimard.

Remus, Dana & Levy, Frank Can Robots Be Lawyers? Computers, Lawyers, and the Practice of Law. Working Paper

Sainati, Gilles & Schalchli, Ulrich. 2007. La décadence sécuritaire. La Fabrique.

Susskind Richard & Susskind Dana. 2015. The Future of the Professions: How Technology Will Transform the Work of Human Experts. Oxford University Press.

Weber, Max. 1921. La domination légale à direction administrative bureaucratique. Paru dans Économie et Société.

Weil, Simone 1999. L’Enracinement, Œuvres, Quarto Gallimard.

Wilford, John 2011. Greek Tablet May Shed Light on Early Bureaucratic Practices. New York Times, 4 Avril 2011

i One may wonder whether the situationists were right when they criticized the Fordist (bureaucratic) society, in which the certainty of not dying of hunger had been exchanged for the risk of dying of boredom.

 

Can predictive models be fair?

In Nosedive the first episode of season 3 of the television series Black Mirror, we discover the dystopia of a society governed by a “personal rating”, a score, a score ranging from 0 to 5. In this world, each person rates the others, the best rated having access to better services (priority in services, better rates, better prices, etc). Will this tendency to construct scores in all sorts of fields (historically on credits but today on criminal, even civic aspects in some countries) not lead to a world that would be an endless popularity contest? And how would it be compatible with social justice, a priori desirable?

Credit scores and social networks

A credit score is, from an actuarial point of view, a quantity proportional to the probability of not honouring its commitments as a creditor. It may also be able to pay the due dates for three consecutive months, or just be late. In real life, as always, it’s a little more complicated. In the United States or Great Britain, it is not uncommon for students to go into debt for decades in order to have the opportunity to follow the courses that interest them (even if the motivation is mainly to obtain a degree at the end of the course). But above all, as soon as they reach the age of 18, credit rating companies will monitor all their movements. Often without their knowledge. And if one day, a consumer credit or mortgage is refused, the reasons are never motivated. Is it a delay in paying rent? Forgotten library fines? An unpaid water bill, years old?

Credit rating companies in the United States, but also in China, are beginning to explore the use of social media data to improve credit scores. Can’t counting the number of times a user uses the word “wasted” in what they post online reveal information about debt repayment? This is at least what the American credit analyst FICO claims: “If you look at how many times a person says’wasted’ in their profile, it has some value in predicting whether they’re going to repay their debt (…) It’s not much, but it’s more than zero” (quoted in McLannahan (2015)). In China, peer-to-peer lender Jubao revealed that he was more likely to give “bonuses” to borrowers if they were Facebook friends with celebrities, as Botsman (2017) tells us.

For the moment, credit rating companies still use the data they know well (utility bills and credit cards), but they imagine that a lot of interesting information must be accessible (in one way or another) on social networks. But data are still scarce, and difficult to analyze. What about the sarcastic or humorous component in a tweet using the word “wasted”? As is often the case, the difficulty is that truly relevant data are difficult to obtain. If it is possible to have information on the payment of rent when a tenant goes through an agency, what to do for transactions between two individuals? And if that were possible, how would you handle the roommate case? Not getting credit because a former roommate didn’t pay on time becomes disturbing. All the more so if it is perhaps about a cellular telephone bill claimed abusively by the telephone company, whereas the subscription had been cancelled.

But the big “malus” in the credit score is often the fact of never having had a credit card. One might think that a person who did not need a credit card (and was satisfied with a debit card, allowing him to buy from a merchant, like most bank cards in France) is a prudent person, who does not need credit for daily expenses. But for credit institutions, this person is not reliable because we don’t know him. And it is up to it to prove that it is (we return to the recurrent practice of reversing the burden of proof mentioned in Charpentier(2016)). This is strangely what happens today when you want to enter the American soil without having a Facebook page.

In a world of widespread surveillance

What if credit institutions aren’t the only ones interested in our lives? What would a world be if, in addition to knowing if I pay my bills on time, some people wanted to know about my networks of friends, which newspapers I read, whether I prefer to buy whole milk or semi-skimmed milk? When we visit the Stasi Museum in Berlin, we discover that this world existed, that 1 person out of 63 was an agent (or indicator) of the Stasi (counting the occasional indicators, the proportion can reach one person out of 6). The museum describes a total panoptism, each being observed permanently, as described by Foucault (1975). But doesn’t this nightmare correspond to today’s world of permanent surveillance, more or less consented. Surveillance via cellular phones (geolocation for the most common function, but sometimes also audio recordings without the user’s knowledge by certain applications), via connected objects, but also surveillance cameras coupled with increasingly powerful facial recognition algorithms. At the end of 2017, 170 million cameras were installed in China, and the 300 million mark should be reached by 2020. During an experiment attempted by the BBC[1], it took 7 minutes to find the journalist John Sudworth walking in the streets.

The danger is that you never know who’s in control. More and more private security companies have partnered with governments. Email providers read our messages to detect spam, but also to resell certain information. For example, in the Privacy Policy attached to Gmail’s Terms of Use (Google) we read “Our automated systems analyze your content (including email) to provide you with custom product features, such as (…) custom advertising. Insurers are increasingly considering the installation of GPS boxes in cars, but through external service providers. Beyond the ownership of data (mentioned in Charpentier & Suire (2016)) we can wonder about their resale, and their use. Knowing that someone regularly visits a blood transfusion centre is potentially interesting information, especially coupled with others.

Since 2014, the Chinese government has been working on an evaluation system for its own citizens, scheduled to be implemented in 2020, as Trujillo (2017) tells us. This “social credit system” aims to create a “citizen score” (to use the expression of Galeon & Bergan (2017)), in order to predict and prevent potential dangers, normalizing individual behaviour through panoptic devices (e.g. video surveillance), inducing self-defence and self-control reflexes. As Foucault (1975) said, it is a question of “ensuring that surveillance is permanent in its effects, even if it is discontinuous in its action; that the perfection of power tends to make the topicality of its exercise useless” (even today, it is more and more continuous in its action). Some of these scores are used by police to find out where to patrol to reduce crime, such as PredPol. But when we look more closely, the predictions say, in substance, that the crimes will take place (in majority) in the (historically) most criminogenic areas of the city. The boundary between banality and tautology is narrow. And the real danger is that scores often transform probabilities into near-certainties, and suspicion becomes proof, as Supiot (2015) noted.

Predictive justice and actuarial methods

In June 2010, a report from the Academy of Medicine called for “improving the practice of expert sex offender dangerousness by teaching and disseminating actuarial methods. These “actuarial methods” are quite simply scoring techniques, “profiling” as defined in the European regulation on personal data of 27 April 2016 (RGDP). Angèle Christin was interested in algorithms that estimate the probability of recidivism in the American criminal justice system. As she has shown, these techniques raise many questions, particularly discriminatory biases, the opacity that makes recourse difficult, and especially the difficulty of understanding what is actually calculated. In the State of Virginia, a score between 1 and 10 is returned, an agreement taken over by Compas (Correctional Offender Management Profiling Alternative Sanctions) which also offers a colour code that predicts the risk of violent recidivism. It is then a decision-making tool, a machine that cannot place a person in detention alone (Christin et al. (2015)).

The conclusions of a predictive score depend on two key elements: the model used, and the data. In the majority of cases in the United States, model codes remain opaque (and therefore impossible to attack), and few have seen the data used to calibrate these models. But one can ask oneself if the court decisions are not also relatively opaque? Judges must certainly give reasons for their decisions, which makes them open to criticism and attack, but if the process were so transparent, shouldn’t the outcome of a (human) trial then be more predictable? Finally, the different biases are quite simple to understand. Suppose being rich means having a good lawyer, and having a good lawyer means not having certain convictions. In this case, a wealth variable (the type of vehicle owned for example) will be positively related to not being guilty (convicted coupagle), and will lower the dangerousness score. The other danger in selection biases is that they are sometimes complex to understand, even paradoxical. A classic example is shown in Figure 1. During World War II, engineers and statisticians were asked how to reinforce bombers who were facing enemy fire.

Figure 1: Damaged locations of returned aircraft (source: McGeddon 2016)

Statistician Abraham Wald began collecting data on impacts in the cabin, as reported by Mangel & Samaniego (1984). To everyone’s surprise, he recommended shielding the areas of the aircraft that showed the least damage. Indeed, the aircraft used in the sample had a significant bias: only returned aircraft were taken into account. If they were able to return with holes at the tips of the wings, it is because these parts are sufficiently solid. And since no aircraft returned with holes in the propeller engines, these were the parts that needed to be reinforced.

Another danger is where causal relationships are reversed. What about this doctor who prescribes a powerful neuroleptic to a patient under investigation, lest justice reproach him for not having seen the dangerousness of his patient, and conversely, justice relies on this prescription to prove that the patient is dangerous? A poorly designed algorithm could misunderstand the meaning of causal relationships.

But predictive models in judicial matters are not only on the side of judges. In the event of a road traffic accident, the Badinter Act (of 5 July 1985) provides for a “right to compensation” for any victim of a traffic accident involving a land motor vehicle. When the driver’s insurance company offers compensation, the victim makes a quick cost/benefit analysis to find out if he goes to court. If it does not formally construct a predictive model, it tries to see, from some elements to its knowledge, the costs of asking a judge to decide on the amount of compensation, and its (potential) benefits.

Another important point is that lawyers call these “predictive” models “actuarial” models. The first function of actuaries was to discount, to calculate the value of time. And judicial time often has disastrous consequences. How would a human decision, imperfect, taken after 5 years of procedure be “better” than an automatic decision taken in 15 days by a machine? Many people who have known proceedings of several years, resulting in a dismissal, dream of accelerated procedures. Because “lost time” has a value, actuaries know it well.

What then of this efficiency of algorithmic models? Justice must be effective, but this constraint must not make us forget the central objective, which is to render justice. What happens if efficiency becomes an objective, not to say the main objective? This is the question posed by predictive models: what is the objective that we are trying to maximize? And how is it formulated in a simple way?

Decision support, or justification for decision making?

In the United States, many judges have been accused of motivating a judgment using decision support tools, which leaves some doubt as to the real function of these tools. The original idea was to help. Recently, several systems put in place in the past years have been questioned. For example, in Australia, the STMP (Suspect Targeting Management Plan) proposed to identify whether or not pre-adolescents should be monitored. This model is similar to any actuarial model, i.e. a risk assessment and prediction tool, focusing either on repeat offenders or on those suspected of committing a future crime. However, a recent report showed that its use had “no observable impact on crime prevention” [2]. At the same time in the United States, Compas (Correctional Offender Management Profiling Alternative Sanctions) has been criticized in Dressel & Farid (2017) : “Advocates of these systems argue that data and advanced automated learning make these analyses more accurate and less biased than those of humans. However, we show that the widely used Compas risk assessment software is no more accurate or fair than predictions made by people with little or no criminal justice expertise. By questioning people recruited on the Internet, without legal skills, it was a question of predicting whether or not people would commit another crime within the next two years. Compas was wrong in 34.8% of cases, and Internet users in 33% of cases. That said, one may wonder here what “to be wrong” means. In this case, recidivism is not measured here, but conviction for recidivism. What if the models (or the people) hadn’t been wrong, but the judges, on the other hand, had?

Predict and make mistakes

And if one of the worries did not come in what one asks a predictive tool? To predict is (basically) to establish a probability for a future fact. As was pointed out in a debate on polls and elections, can we say that we are wrong if we announce that an event can happen with a 5% chance, and that it actually happens? To know if a forecasting technique is good, you need to collect a forecast set, and compare them to observations. This is what meteorologists have been doing for about fifteen years, and which has been formalised by Gneiting et al. (2007). Their idea is that a set of predictive distributions is obtained by a \{\hat F_t,\hat F_{t+1},..,\hat F_{t+h}\} model and it is appropriate to compare these distributions to \{y_t,y_{t+1},..,y_{t+h}\} – and not \{\hat y_t,\hat y_{t+1},..,\hat y_{t+h}\}. It is then necessary to introduce a distance between the predictive distributions, and the observations. In a physical system, it is possible to imagine understanding the different causal relationships, and thus to predict. But in human relations (and justice is a perfect example), nothing is as simple, as automatic as the laws of fluid mechanics that make it possible to model meteorological phenomena.

Références

Binet, Jacques-Louis, 2010, La prévention médicale de la récidive chez les délinquants sexuels. Académie de Médecine.

Botsman, Rachel. 2017. Who Can You Trust?: How Technology Brought Us Together – and Why It Could Drive Us Apart. Portfolio Penguin

Charpentier, Arthur & Suire, Raphaël 2016. Données et santé: valeurs, acteurs et santé. Risques, 107

Charpentier, Arthur. 2016. Les dérives du principe de précaution. Risques. 108

Christin, Agnèle, Rosenblat, Alex & Boyd, Danah 2015. Courts and Predictive Algorithms. Datacivilrights

Dressel, Julie & Farid, Hany 2018. The accuracy, fairness, and limits of predicting recidivism. Science Adavances

Foucault, Michel 1975 Surveiller et punir, naissance de la prison. Gallimard

Galeon, Dom & Bergan, Brad 2017. China’s “Social Credit System” Will Rate How Valuable You Are as a Human. Futurism

Gneiting, Balabdaoui & Raftery 2007. Probabilistic forecasts, calibration and sharpness. JRRS-B, 69, 243–268.

Mangel, Marc & Samaniego, Francisco 1984.  Abraham Wald’s work on aircraft survivability , Journal of the American Statistical Association, vol. 79, no 386,‎ 259–267

McLannahan, 2015 Being ‘wasted’ on Facebook may damage your credit score (Octobre 2015, Financial Times)

Supiot, Alain 2015. La gouvernance par les nombres : cours au Collège de France, 2012-2014. Fayard.

Trujillo, Elsa 2017. La Chine met en place un système de notation de ses citoyens pour 2020. Le Figaro, décembre 2017

[1] In « In Your Face: China’s all-seeing state » http://www.bbc.com/news/av/world-asia-china-42248056/in-your-face-china-s-all-seeing-state

[2] https://www.numerama.com/politique/300907-un-algorithme-teste-par-la-police-pour-anticiper-les-crimes-des-jeunes-inquiete-laustralie.html

 

 

Les machines, les procédures, et la fuite de la responsabilité

On essaye de nous faire croire que l’intelligence artificielle est une « révolution ». Et s’il n’en était rien ? Ne peut-on pas voir tout simplement la logique d’un processus qui remonte au moins aux cinquante dernières années ? La bureaucratie nous a poussés à mettre en place dans tous les domaines de la vie de tous les jours des procédures simples, permettant à tout-à-chacun de se dégager de toute responsabilité, de ne plus avoir à faire preuve d’intelligence. Les algorithmes font peur, on se demande où se trouve l’ « humain » dans ces procédures décisionnelles… Et s’il avait déjà disparu depuis bien longtemps ?

Assurance et procédures bureaucratiques

Comme l’avait montré Crozier (1963), la bureaucratie apparaît comme un mode d’organisation rationnel, dans lequel les administrés sont protégés du clientélisme et de l’arbitraire par la mise en place de règles objectives. Car la bureaucratie n’est pas uniquement une administration hiérarchisée (et étatique), c’est surtout un ensemble de normes, de procédures et de formalités qui englobent toutes les activités humaines. Les assureurs, par exemple, ont rapidement compris l’intérêt de ces procédures. Dans le contexte des accidents de la route, le règlement des accidents matériels se fait selon la « Convention IRSA » (Convention d’Indemnisation directe de l’assuré et de Recours entre Sociétés d’Assurance automobile) lorsque deux véhicules sont impliqués (succédant à la convention dite IDA, créée en 1968). Après une évaluation des dommages réalisée par un expert, l’assureur établit lui-même la responsabilité de son assuré et l’indemnise directement des dommages matériels et préjudices subis. Il se retourne ensuite contre le ou les assureur(s) adverse(s) selon les modalités de recours établies par la convention. Cette convention repose sur l’utilisation de barèmes, correspondant à 13 cas d’accidents classiques : le cas 51 par exemple est relatif à une collision entre deux véhicules, dont l’un reculait ou effectuait un demi-tour, et dans ce cas, la responsabilité est normalement entière (100%) pour le conducteur du véhicule effectuant une marche arrière (ou un demi-tour). Dans le cas des accidents corporels, la procédure est moins transparente, mais la loi dite Badinter a proposé de mettre en place un mécanisme simple (pour la victime mais aussi, finalement, pour l’assureur du conducteur), avec comme objectif « d’améliorer la situation des victimes d’accidents de la circulation et d’accélérer les procédures d’indemnisation ». Pour ce faire, plusieurs barèmes sont utilisés. Par exemple, l’Incapacité Permanente Partielle (I.P.P.) mesure la « réduction de potentiel physique, psycho-sensoriel ou intellectuel dont reste atteinte une victime » et se traduit par un pourcentage d’incapacité permanente, selon une échelle de 1 à 100, correspondant à un « barème indicatif des déficits fonctionnels séquellaires en droit commun ». Si ce barème est officiellement « indicatif » , le suivre permet d’éviter d’avoir à se justifier. Toute l’évaluation de l’indemnisation va reposer sur des « certificats médicaux », devenus les pièces administratives fondamentales, eux-mêmes de plus en plus normalisés, et répondant à des formes, et des normes spécifiques. Dans une logique très bureaucratique, ces procédures entendent éviter que l’empathie ne soit favorisée. Le développement de normes procédurales a aussi cet objectif : mettre à distance les victimes, pour qu’une neutralité puisse s’exercer, que l’objectivité puisse être (prétendument) assurée et la justice être effective. Cette forme d’indifférence n’est-elle pas la base du quotidien de l’assurance ? Les gestionnaires de sinistres ne souhaitent-ils pas avoir le maximum de distance avec la personne qui appelle car le toit de sa maison a pris feu, ou parce que sa femme est à l’hôpital suite à un accident de la route ?

La production bureaucratique de l’indifférence

Bauman (2002) montre que cette « production de l’indifférence » émerge souvent d’une configuration extrêmement banale, caractéristique de toutes les sociétés modernes, à savoir le couplage de la « division fonctionnelle du travail » et la « substitution de la responsabilité technique à la responsabilité morale ». En décrivant la bureaucratie au Pakistan, Hull (2012) explique que « ces procédures sont élaborées non pas à cause d’une logique de rationalisation, mais parce que les fonctionnaires se protègent en les déployant vigoureusement et largement ». Ce n’est pas étonnant qu’Adolf Eichmann ait choisi cette ligne de défense, lors de son procès, en avril 1961. En fait, quand on relit Arendt (1966), présente lors du procès quant à la responsabilité d’Adolf Eichmann dans la mise en œuvre de la « solution finale » (envoyée alors par The New Yorker à Jérusalem pour témoigner), elle nous présente un personnage « robotisé », désubstantialisé, n’ayant fait qu’obéir aux ordres. Sans revenir sur la réalité historique du rôle d’Eichmann et la mise en scène du procès, l’analyse d’Hannah Arendt de la bureaucratie est intéressante. Le sous-titre du livre, la « banalité du mal », se caractérise par l’incapacité d’être affecté par ce que l’on fait et le refus de juger, comme tout bureaucrate analysant une situation au travers du prisme d’un formulaire, devenant un robot, dont la responsabilité serait remise en cause par une obéissance mécanique aux ordres. Ce dernier serait finalement « représentatif d’un système […] bureaucratique, dans lequel chaque individu n’est qu’un rouage aveugle […] exécutant mécaniquement des ordres venus de l’autorité respectée ». La thèse d’Arendt (pour reprendre les mots de Cesarani (2010)) est en effet « qu’Eichmann disait la vérité lorsqu’il se présentait comme un fonctionnaire dénué de passion, comme un infime rouage dans la vaste machine exterminatrice, et lorsqu’il affirma qu’il aurait très facilement pu être remplacé par quelqu’un d’autre ». Obéir aux ordres, suivre une procédure rend alors Eichmann coupable, mais la question de la responsabilité reste ouverte (en particulier en distinguant la responsabilité individuelle, et la responsabilité collective). Revenant justement sur la question de la responsabilité quelques années plus tard, Arendt (2005) s’interroge, « comment juger sans se cramponner à des standards, à des normes préconçues et à des règles générales sous lesquelles subsumer les cas particuliers ? ». La bureaucratie peut rassurer par sa rationalité, mais effrayer par l’indifférence qu’elle engendre.

Car la bureaucratie n’a rien de nouveau. Les scribes de l’antiquité étaient les premiers bureaucrates, comme l’affirme Wilford (2001). Plus récemment, si Karl Marx s’est penché sur la bureaucratie de l’industrie pour étudier la domination de la bourgeoisie et du capitalisme, Max Weber a montré que la bureaucratie s’accommode de toute forme de pouvoir. Il écrit ainsi que « la véritable domination [s’exerce] dans le maintien de l’administration au quotidien », « la bureaucratie se caractérise par l’impossibilité beaucoup plus grande que l’on a d’y échapper ». L’entreprise est le lieu privilégié du développement d’une bureaucratie, « l’exigence d’une calculabilité et d’une prévisibilité aussi rigoureuse que possible favorise l’essor d’une couche spéciale d’administrateurs et impose à celle-ci un certain type de structuration » (cité par Claude Lefort). Pour Max Weber, la bureaucratie n’est pas un parasite (comme le pensait Marx) mais une composante fondamentale du capitalisme. La sous-traitance, l’externalisation, le travail à flux tendu ne sont possibles que grâce à des pratiques basées sur une bureaucratie plus importante. Il convient de codifier toutes les informations aussi finement que possible, refuser toute approximation dans les décisions, en certifiant et en normalisant, détaillant la répartition des tâches. Le cloisonnement protège les collaborateurs du sentiment de responsabilité. Les « silos » sont devenus les « paradis des experts ». La forme segmentée et séquentielle du travail protège alors les membres de l’organisation comme le montre Dupuy (2011).

La recherche sans fin de normes

Cette production de l’indifférence a été longuement étudiée par Michael Herzfeld, qui montré la spécificité de la bureaucratie d’état en tant que puissance publique, et concrétisant le déni de toute différence : « elle offre la capacité effective et généralisée de rejeter ceux qui ne rentrent pas dans les catégories préétablies et considérées comme normale » comme le note Hibou (2012). C’est aussi ce que note Sainati & Schalchi (2007) en étudiant l’importance de la bureaucratie et des normes dans la dérive sécuritaire des dernières années, « chaque individu-citoyen est appréhendé en fonction de la catégorie délinquante à laquelle il est censé appartenir. Chacun est nécessairement suspect d’avoir commis, de vouloir ou de pouvoir commettre une infraction. Cette politique d’intolérance sociale va achever de transformer la justice (surtout la justice pénale) en système bureaucratique total… ».

L’inflation normative, qui s’observe dans le monde de la justice, aussi été observée dans monde de la finance, avec le recul des instances étatiques (banques centrales, autorité des marchés financiers, régulateurs divers) qui n’interviennent plus directement, mais au travers l’imposition de règles administratives de plus en plus strictes. On pensera aux règles de gestion de type Bâle II, mais aussi les différentes cloisons qui s’érigent entre les diverses activités (banque de dépôt et banque d’affaire, activités de conseil et activités de marché, par exemple). La gestion des risques est fondamentalement bureaucratique, passant par des normes, des grilles, des codes qui vont engendrer des réactions automatiques. Ce reporting donne une vision très simplifiée de l’activité, mais cette synthétisation de l’information permet de prendre des décisions plus rapidement. Cette phase semble indispensable compte tenu des spécificités de chacune des branches, empêchant presque d’avoir une vision globale sur l’activité de la banque. Cet ensemble de règles et de procédures permet aussi de « se protéger » : face à l’incertitude (judiciaire), la meilleure manière de se défendre est de respecter des procédures et des règles. Le but n’est pas d’éviter une faillite, mais de se protéger en cas d’accusation. Le respect des règles devient alors plus important que leur finalité. Ces règles semblent être une réponse politique aux différentes crises traversées par le monde bancaire. Cette inflation bureaucratique apporte une forme de tranquillité et de confort, tout en créant une forme de dilution des responsabilités. Comme le note Hibou (2012), « au nom de la responsabilité individuelle, chacun se doit de respecter les normes, mais le respect des normes vaut comme défaussent des responsabilité en cas de problème » (rappelant au passage l’affaire Kerviel). C’est ce que note par exemple Brunson & Jacobsson (2002) lorsqu’ils affirment que la culture de l’audit est certes une culture de la responsabilité, mais d’une responsabilité individuelle. La responsabilité collective est d’autant plus diluée que les gouvernements délèguent leur pouvoir de régulation aux acteurs privés de façon floue si la norme est adoptée, les techniques de traçabilité permettront de remonter jusqu’à l’individu responsable de l’acte à l’origine d’une défaillance; tandis que si la norme ne n’est pas, personne ne sera responsable.

Et cette recherche de normes est sans fin. Ainsi, nombre d’opposants à l’agriculture industrielle se sont opposé à la normalisation des produits alimentaires, et en réponse, ont développé des normes de consommation biologique. Ces dernières ont alors été remises en question par les réseaux locaux, qui ont souhaité soutenir le concept de « manger local », et pour être reconnu, ont adopté de nouvelles normes. La réponse à des procédures est une surenchère de procédures. Max Weber le disait en 1920, « quand ceux qui sont soumis au contrôle bureaucratique cherchent à échapper à l’influence des appareils bureaucratiques existants, normalement cela n’est possible qu’en créant une organisation propre qui sera également sujette à la bureaucratisation ».

De l’homme à la machine ou voir les machines comme des êtres humains…

MacDonald a longtemps été soucieuse d’assurer la permanence d’un produit homogène partout dans le monde. Dans la logique du mode d’organisation communément appelé Taylorisme, l’entreprise a écrit un guide de procédures, expliquant les bons gestes à faire pour saler les frites, remplir un verre de soda, etc. Dans les centres d’appels, des procédures sont suivies très scrupuleusement par les employés, avec une gestion des files d’appel, les scénarios qui s’affichant sur l’écran, et l’employé n’ayant plus qu’à le dérouler. Simone Weil évoquait une « organisation scientifique du travail », où le travail était déshumanisé, réduit à l’état d’énergie mécanique. Le Taylorisme a été l’expression dans les usines de cette fascination pour la science, voyant l’être humain comme une machine. Mais il n’y a rien de nouveau, puisqu’au milieu du XVIIème siècle Thomas Hobbes écrivait « étant donné que la vie n’est rien d’autre qu’un mouvement de membres, dont le commencement est en quelque partie principale intérieure, pourquoi ne pourrions-nous pas dire que tous les automates (des engins qui se meuvent eux-mêmes, par des ressorts et des roues, comme une montre) ont une vie artificielle? ».

Les ordinateurs ont été inventés pour soulager d’un certain nombre de tâches répétitives en déroulant un algorithme mis en œuvre par un être humain. Les tours de Hanoï sont un jeu très simple, très répétitif… mais se résolvant par un algorithme incroyablement simple. C’est probablement pour ça que ce « jeu » est encore enseigné dans tous les cours d’informatiques et d’algorithmiques, car le « jeu » en tant que tel est en fait rapidement très ennuyeuxi. Dans bon nombre de formations, on n’enseigne plus la créativité, mais des ensembles de procédures à suivre. La méthode dite de Box & Jenkins pour faire des prévision est une longue procédure qu’on se contente de suivre à la lettre, mécaniquement : on stationnarise la série, on la modéliser par un processus autorégressif, puis on valide les hypothèses. Et si ça ne marche pas, on recommence.

L’actuariat, en tant que sciences, repose sur un ensemble de procédures simples. Par exemple pour construire un tarif, on commence par constituer une base, en utilisant les informations de souscription, on va regarder le nombre de sinistres de chaque police, et on va utiliser un modèle pour décrire cette variable de comptage (classiquement une régression de Poisson). Si on souhaite faire des choses plus avancées, on va utiliser une partie des données pour construire le modèle, et une autre pour tester les prédictions de notre modèle. On fera la même chose sur les coûts de sinistres. La démarche est simple : on collecte des données, on estime un modèle, on teste le modèle, éventuellement on retient le meilleur si on a le choix entre plusieurs. C’est tellement simple qu’un ordinateur pour presque le faire tout seul…

Des machines partout !?

Depuis des dizaines d’années, les organisations essayent de mettre en place des procédures permettant d’éviter toute part d’arbitraire (d’humanité ?) dans une prise de décision. En parallèle les ingénieurs ont développés des machines de plus en plus performantes pour répéter inlassablement des tâches routinières. A partir de ce double constat, on ne peut pas s’étonner de voir les machines de plus en plus présentes, partout. C’est tout du moins la thèse défendue par Susskind & Susskind (2015) qui anticipe de nombreuses transformations de la majorité des professions, allant au delà d’une simple robotisation des tâches routinière (y compris pour des professions juridiques, comme le voit Remus & Levy (2015)).

Mais il ne faut pas se tromper, si les machines remplacent les hommes, elles ne sont pas des hommes pour autant. Par exemple, la responsabilité revient toujours à une personne : le concepteur de la machine, son opérateur – qui possède quelques connaissances techniques – ou l’utilisateur – qui bien souvent n’en possède aucune. Abiteboul (2016) va encore plus loin en posant la question éthique sous-jacente, à savoir « un système informatique peut-il se voir attribuer une responsabilité » (et rejoignant les questionnements d’Hannah Arendt). Mais au delà de la responsabilité, on peut arguer que les machines n’ont aucune intention. Elles accomplissent parfois des tâches complexes, mais parce qu’elles ont été programmées pour le faire. C’est la beauté de l’ingénierie : un téléphone (aussi intelligent soit-il) n’est qu’un ensemble de composants électroniques pouvant effectuer des calculs de plus en plus complexes (parfois il peut le localiser sur une carte et me proposer un chemin rapide pour rejoindre un restaurant), mais le téléphone ne veut rien. Un traducteur automatique permet de traduire un texte en quelques secondes, mais seulement parce qu’il a été programmé pour ça, alors que si un enfant apprend une langue, c’est parce qu’il comprend que c’est une étape indispensable pour communiquer avec ses parents. Si je tape une phrase dans une langue inconnue dans un traducteur, je suis impressionné d’obtenir une réponse qui ait du sens. Mais si je maîtrise (un tant soit peu) les deux langues, je suis au contraire souvent déçu, espérant probablement mieux. Ces machines sont souvent très prévisibles, ce qui est à la fois une qualité et un défaut. N’est-ce pas ce qu’on demande à tout ingénieur ? La machine doit être fiable, obéir au doigt et à l’œil. La première différence entre l’homme et la machine est que l’homme peut désobéir. Et c’est sa plus grande richesse !

Un mot qui revient sans cesse quand on pratique la science des données est le mot « apprentissage » (on parle de “machine learning“). On nous explique que la machine tente de reproduire la démarche humaine de l’être humain lorsqu’il apprend. L’enfant apprend à reconnaître les lettres, puis apprend à les mettre bout à bout pour écrire des mots, de manière assez consciente puisqu’il est guidé le plus souvent par son instituteur. Il apprend aussi à reconnaître de visages, de manière souvent inconsciente cette fois. La machine apprend aussi à reconnaître des écritures manuscrites, ou des visages. La machine va faire des erreurs, mais elle va aussi « apprendre de ses erreurs », et elle va s’améliorer. Comme un être humain ? Ce n’est pas aussi simple que ça. L’enfant va se décourager plusieurs fois avant de savoir lire correctement, et il va persévérer. On retrouve le « conatus » cher à Spinoza, cet effort que fait toute chose qui existe effectivement, cette persévérance dont fait preuve tout être vivant. Et souvent, cet apprentissage se fait dans la douleur. Si une machine se trompe, reconnaissant un “5” alors qu’il s’agissait d’un “3”, elle commet une erreur, et pour elle ça s’arrête là. Pour l’enfant qui espérait avoir 5 bonbons et qui n’en a que 3, il ressentira réellement l’erreur. Que dire de cette personne qui pensait avoir un rendez-vous important à 15 heures, et qui arrive deux heures en retard ?

Penser qu’un téléphone puisse être intelligent est probablement révélateur de ce qu’on pense être l’intelligence. Mais les machines sont très loin de pouvoir remplacer les êtres humains. Elles n’en ont pas l’envie, et heureusement, tant qu’elles ne seront pas programmées à le faire, cela ne risque pas d’arriver.

References

Abiteboul, Serge 2016. Informaticiens, tous coupables ? Le Monde, 1er septembre 2016

Arendt, Hannah 1966. Eichmann à Jérusalem : Rapport sur la banalité du mal. Folio Histoire.

Arendt, Hannah 2005. Responsabilité et jugement. 2005.

Bauman, Zygmunt 2002. Modernité et Holocauste. La Fabrique.

Brunson, Niels & Jacobsson, Bengt. . 2002. A World of Standards. Oxford University Press.

Cesarani. David. 2010. Adolf Eichmann .Tallandier.

Crozier, Michel. 1963. Le Phénomène bureaucratique. Seuil.

Dupuy, François. 2011. Lost in Management.: La vie quotidienne des entreprises au XXIe siècle. Seuil.

Herzfeld, Michael. 1992. The Social Production of Indifference. The University of Chicago Press.

Hibou, Isabelle. 2012. La bureaucratisation du monde à l’ère néolibérale, La Découverte.

Hobbes, Thomas. 1651. Leviathan. (version Folio Essais)

Hull, Matthew. 2012. Government of Paper The Materiality of Bureaucracy in Urban Pakistan. University of California Press.

Lefort, Claude. 1979. Éléments d’une critique de la bureaucratie, Paris, Gallimard.

Remus, Dana & Levy, Frank Can Robots Be Lawyers? Computers, Lawyers, and the Practice of Law. Working Paper

Sainati, Gilles & Schalchli, Ulrich. 2007. La décadence sécuritaire. La Fabrique.

Susskind Richard & Susskind Dana. 2015. The Future of the Professions: How Technology Will Transform the Work of Human Experts. Oxford University Press.

Weber, Max. 1921. La domination légale à direction administrative bureaucratique. Paru dans Économie et Société.

Weil, Simone 1999. L’Enracinement, Œuvres, Quarto Gallimard.

Wilford, John 2011. Greek Tablet May Shed Light on Early Bureaucratic Practices. New York Times, 4 Avril 2011

i On peut d’ailleurs se demander si les situationnistes n’avaient pas raison lorsqu’ils critiquaient la société fordiste (bureaucratique), dans laquelle la certitude de ne pas mourir de faim avait été échangé contre le risque de mourir d’ennui.

Les modèles prédictifs peuvent-il être justes ?

Dans Nosedive (traduit par le titre Chute Libre en France), le premier épisode de la saison 3 de la série télévisée Black Mirror, on découvre la dystopie d’une une société régie par une « cote personnelle », une note, un score allant de 0 à 5. Dans ce monde, chaque personne note les autres, les mieux notés ayant accès à de meilleurs services (priorité dans les services, meilleurs taux, meilleurs prix, etc). Cette tendance à construire des scores dans toutes sortes de domaines (historiquement sur les crédits mais aujourd’hui sur des aspects criminels, voire civiques dans certains pays) ne va-t-elle pas déboucher sur un monde qui serait un concours de popularité sans fin ? Et comment serait-elle conciliable avec une justice sociale, a priori souhaitable ?

Les scores de crédit et les réseaux sociaux

Un score de crédit est, d’un point de vue actuariel, une grandeur proportionnelle à la probabilité de ne pas honorer ses engagements en tant que créditeur. Ça peut être de plus pouvoir payer les échéances trois mois consécutifs, ou juste d’avoir un retard. Dans la vraie vie, comme toujours, c’est un peu plus compliqué. Aux Etats-Unis ou en Grande Bretagne, il n’est pas rare que les étudiants s’endettent sur des dizaines d’années pour avoir l’opportunité de suivre les cours qui les intéressent (même si la motivation est surtout d’obtenir un diplôme en fin de parcours). Mais surtout, dès qu’ils atteignent d’âge de 18 ans, des sociétés de notation de crédit vont surveiller tous leurs déplacements. Souvent à leur insu. Et si un jour, un crédit consommation ou hypothécaire est refusé, les raisons ne sont jamais motivées. Est-ce un retard dans un paiement de loyer ? Des amendes de bibliothèques oubliées ? Une facture d’eau impayée, vieille de plusieurs années ?

Les sociétés de notation de crédit aux États-Unis, mais aussi en Chine, commencent à étudier la possibilité d’utiliser des données provenant de médias sociaux pour améliorer le score de crédit. Compter le nombre de fois où un utilisateur utilise le mot « gaspillé » (« wasted » en anglais) dans ce qu’il poste en ligne ne peut-il pas révéler une information quant au remboursement de dettes ? C’est en tout cas ce que prétend l’analyste de crédit américain FICO: « If you look at how many times a person says ‘wasted’ in their profile, it has some value in predicting whether they’re going to repay their debt (…) It’s not much, but it’s more than zero » (cité dans McLannahan (2015)). En Chine, le prêteur peer-to-peer Jubao a révélé qu’il était plus susceptible de donner des « bonus » aux emprunteurs s’ils étaient des amis Facebook avec des célébrités, tel que le raconte Botsman (2017).

Pour l’instant, les sociétés de notation de crédit utilisent encore les données qu’elles connaissent bien (factures de services publics et cartes de crédit), mais elles imaginent que bien des informations intéressantes doivent être accessibles (d’une manière ou une autre) sur les réseaux sociaux. Mais les données sont encore rares, et difficiles à analyser. Quid de la composante sarcastique ou humoristique dans un tweet utilisant le mot « wasted » ? Comme souvent, la difficulté est que les données réellement pertinentes sont difficiles à obtenir. S’il est possible d’avoir des informations sur le payement du loyer quand un locataire passe par une agence, que faire pour les transactions entre deux particuliers ? Et si c’était possible, comment traiter le cas de colocataires ? Ne pas obtenir de crédit parce qu’un ancien colocataire n’a pas payé dans les temps devient dérangeant. D’autant plus s’il s’agit peut-être d’une facture de téléphone cellulaire réclamée abusivement par la compagnie de téléphonie, alors que l’abonnement avait été résilié.

Mais le gros « malus » dans le score de crédit est bien souvent le fait de ne jamais avoir eu de carte de crédit. On pourrait penser qu’une personne qui n’a pas eu besoin d’une carte de crédit (et se contentait d’une carte de débit, permettant d’acheter chez un commerçant, comme la majorité des cartes bancaires en France) est le propre d’une personne prudente, qui n’a pas besoin de crédit pour des dépenses quotidiennes. Mais pour les établissements de crédit, cette personne n’est pas fiable car on ne la connait pas. Et c’est à elle de prouver qu’elle l’est (on revient à la pratique récurrente d’inversion de la charge de la preuve évoqué dans Charpentier(2016)). C’est étrangement ce qui se passe aujourd’hui quand on veut entrer sur le sol américain sans avoir de page Facebook.

Dans un monde de surveillance généralisée

Et si les établissements de crédit n’étaient pas les seuls intéressés par notre vie ? Que serait un monde si, en plus de savoir si je paye mes factures à temps, certains cherchaient à connaître mes réseaux d’amis, à savoir quels journaux je lis, si je préfère acheter du lait entier ou du lait demi-écrémé ? Quand on visite le musée de la Stasi à Berlin, on découvre ce monde a existé, que 1 personne sur 63 était agent (ou indicateur) de la Stasi (en comptant les indicateurs occasionnels, la proportion peut atteindre une personne sur 6). Le musée décrit un panoptisme total, chacun étant observé en permanence, comme le décrit Foucault (1975). Mais ce cauchemar ne correspond-il pas à monde actuel, de surveillance permanente, plus ou moins consentie. Surveillance via les téléphones cellulaires (géolocalisation pour la fonction la plus courante, mais parfois aussi des enregistrements audio à l’insu de l’utilisateur par certaines applications), via les objets connectés, mais aussi les caméras de surveillance couplées à des algorithmes de reconnaissance faciale de plus en plus performant. Fin 2017, en Chine 170 millions de caméra étaient installées, et le cap des 300 millions devrait être atteint d’ici 2020. Lors d’une expérience tentée par la BBC[1], il a fallu 7 minutes pour retrouver le journaliste John Sudworth qui se promenait dans les rues.

Le danger est que l’on ne sait jamais trop qui contrôle. De plus en plus de compagnies privées de sécurité se sont associées aux gouvernements. Les fournisseurs de messageries électroniques lisent nos messages pour détecter du spam, mais aussi pour revendre certaines informations. Par exemple, dans les règles de confidentialité annexées aux conditions générales d’utilisation de Gmail (Google) on lit « Nos systèmes automatisés analysent vos contenus (y compris les e-mails) afin de vous proposer des fonctionnalités personnalisées sur les produits, telles que (…) des publicités sur mesure ». Les assureurs envisagent de plus de plus l’installation de boitiers GPS dans les voitures, mais en passant par des prestataires externes. Au-delà de la propriété des données (évoqué dans Charpentier & Suire (2016)) on peut s’interroger sur leur revente, et leur utilisation. Savoir que quelqu’un se rend régulièrement dans un centre de transfusion sanguine est une information potentiellement intéressante, surtout couplée à d’autres.

Depuis 2014, le gouvernement chinois travaille sur un système d’évaluation de ses propres citoyens, programmé pour être mis en place en 2020, comme le raconte Trujillo (2017). Ce « système de crédit social » vise à créer un « score citoyen » (pour reprendre l’expression de Galeon & Bergan (2017)), afin de prédire, et prévenir, les dangers potentiels, normalisant les conduites individuelles par des dispositifs panoptiques (par exemple la vidésurveillance), induisant des réflexes d’autodéfense et d’autocontrôle.  Comme le disait Foucault (1975), il s’agit de « faire que la surveillance soit permanente dans ses effets, même si elle est discontinue dans son action; que la perfection du pouvoir tende à rendre inutile l’actualité de son exercice » (même souvent, aujourd’hui, elle est en plus continue dans son action). Certains de ces scores sont utilisés par la police pour savoir où patrouiller pour faire baisser la criminalité, comme PredPol. Mais quand on y regarde de plus près, les prédictions disent, en substance, que les crimes auront lieu (en majorité) dans les zones (historiquement) les plus criminogènes de la ville. La frontière entre la banalité et la tautologie est étroite. Et le réel danger est que bien souvent, les scores transforment les probabilités en quasi-certitudes, et le soupçon devient une preuve, comme le notait Supiot (2015).

Justice prédictive et méthodes actuarielles

En juin 2010, un rapport de l’Académie de médecine préconisait d”« améliorer la pratique des expertises de dangerosité des criminels sexuels en enseignant et en diffusant les méthodes actuarielles ». Ces « méthodes actuarielles » sont tout simplement les techniques de scoring, de « profilage » tel que le défini le règlement européen relatif aux données personnelles du 27 avril 2016 (RGDP). Angèle Christin s’est intéressée aux algorithmes qui estiment la probabilité de récidive dans la justice pénale américaine. Comme elle l’a montré, ces techniques posent nombre de questions, en particulier des biais discriminatoires, l’opacité qui rend difficile les recours, et surtout la difficulté de comprendre ce qui est réellement calculé. Dans l’État de Virginie, un score entre 1 et 10 est renvoyé, convention reprise par Compas (Correctional Offender Management Profiling Alternative Sanctions ) qui offre en plus un code couleur qui prédit le risque de récidive violent. Il s’agit alors d’un outil d’aide à la décision, une machine ne pouvant placer une personne en détention seule (Christin et al. (2015)).

Les conclusions d’un score prédictif dépendent de deux éléments clés : le modèle utilisé, et les données. Dans la majorité des cas aux Etats Unis, les codes des modèles restent opaques (et donc impossible à attaquer), et rares sont ceux qui ont vu les données utilisées pour calibrer ces modèles. Mais on peut se demander si les décisions de justice ne sont pas eux aussi relativement opaques ? Certes, les juges doivent motiver leurs décisions, ce qui les rend critiquables et attaquables, mais si le processus était si transparent, les issues d’un procès (humains) ne devraient-elles pas être alors davantage prévisibles ? Enfin, les différents biais sont assez simples à comprendre. Supposons qu’être riche permet d’avoir un bon avocat, et avoir un bon avocat permet de ne pas avoir certaines condamnations. Dans ce cas, une variable liée à la richesse (le type de véhicule possédé par exemple) sera liée positivement avec le fait de ne pas être coupable (reconnu coupagle), et fera baisser le score de dangerosité. L’autre danger dans les biais de sélection est qu’ils sont parfois complexes à comprendre, voire paradoxaux. Un exemple classique est celui illustré sur la Figure 1. Pendant la seconde guerre mondiale, il a été demandé à des ingénieurs et des statisticiens comment renforcer les bombardiers qui faisaient face au feu ennemi.

Figure1 : Endroits endommagés des avions revenus (source : McGeddon 2016)

Le statisticien Abraham Wald a commencé à collecter des données sur les impacts dans la carlingue, comme le raconte Mangel & Samaniego (1984). A la surprise générale, il a recommandé de blinder les endroits des appareils qui présentaient le moins de dommages. En effet, les avions utilisés dans l’échantillon présentait un biais important : seuls les avions revenus ont été pris en compte. S’ils ont pu revenir avec des trous au bout des ailes, c’est que ces parties sont suffisamment solides. Et comme aucun avion n’est revenu avec des trous au niveau des moteurs des hélices, ce sont ces parties qu’il convenait de renforcer.

Un autre danger est celui où les relations causales sont inversées. Que penser de ce médecin qui prescrit un puissant neuroleptique à un patient mis en examen, de peur que la justice lui reproche de ne pas avoir vu la dangerosité de son patient, et qu’inversement, la justice s’appuie sur cette prescription pour prouver que le patient est dangereux ? Un algorithme mal conçu pourrait comprendre de travers le sens des relations causales.

Mais les modèles prédictifs en matière judiciaire ne sont pas que du côté des juges. Lors d’un accident corporel sur la route, la loi Badinter  (du 5 juillet 1985) prévoit un « droit à indemnisation » pour toute victime d’un accident de la circulation dans lequel est impliqué un véhicule terrestre à moteur. Lorsque la compagnie d’assurance du conducteur propose une indemnité, la victime fait une rapide analyse coût/bénéfice pour savoir s’il va au tribunal. Si elle ne construit pas formellement un modèle prédictif, elle tente de voir, à partir de quelques éléments à sa connaissance, les coûts de demander à un juge de trancher sur le montant de l’indemnité, et ses bénéfices (potentiels).

Autre point important, les juristes appellent ces modèles « prédictifs » des modèles « actuariels ». Or la première fonction des actuaires était d’actualiser, de calculer la valeur du temps. Et le temps judiciaire a des conséquences souvent désastreuses. En quoi une décision humaine, imparfaite, prise au bout de 5 ans de procédure serait « meilleure » qu’une décision automatique prise en 15 jours par une machine ? Nombre de personnes qui ont connu des procédures de plusieurs années, aboutissant à un non-lieu, rêvent de procédures accélérées. Car le « temps perdu » a une valeur, les actuaires le savent bien.

Que penser alors de cette efficacité des modèles algorithmiques ? La justice se doit d’être efficace, mais cette contrainte ne doit pas faire oublier l’objectif central qui est celui de rendre la justice. Que se passe-t-il si l’efficacité devient un objectif, pour ne pas dire le principal objectif ? Car c’est bien la question que posent les modèles prédictifs : quel est l’objectif que l’on cherche à maximiser ? Et comment le formule-t-on de manière simple ?

Aide à la décision, ou justification d’une prise de décision

Aux Etats-Unis, nombre de juges se sont vu reproché de motiver un jugement à l’aide d’outils d’aide à la décision, ce qui laisse planer un doute sur la fonction réelle de ces outils. L’idée était initialement d’apporter une aide. Récemment, plusieurs systèmes mis en place dans les années passées ont été questionnés. Par exemple en Australie, le STMP (Suspect Targeting Management Plan) proposait d’identifier si des préadolescents doivent être surveillés, ou pas. Ce modèle ressemble à s’y méprendre à n’importe quel modèle actuariel, c’est à dire un outil d’évaluation et prédiction des risques, en se concentrant soit sur les récidivistes, soit sur les personnes suspectées de commettre un futur crime. Or un rapport récent montrait que son utilisation n’a eu « aucun impact observable sur la prévention du crime »[2]. Parallèlement aux Etats-Unis, l’outil Compas (Correctional Offender Management Profiling Alternative Sanctions) a été critiqué dans Dressel & Farid (2017) : « Les défenseurs de ces systèmes soutiennent que les données et l’apprentissage automatique avancé rendent ces analyses plus précises et moins biaisées que celles des humains. Cependant, nous montrons que le logiciel d’évaluation des risques Compas, largement utilisé, n’est pas plus précis ou juste que des prédictions faites par des personnes qui ont peu ou pas du tout d’expertise en matière de justice pénale ». En questionnant des personnes recrutées sur Internet, sans compétences en droit, il s’agissait de prévoir si des personnes allaient, ou pas commettre un autre crime dans les deux ans à venir. Compas s’est trompé dans 34.8% des cas, et les internautes dans 33% des cas. Cela dit, on peut se demander ici ce que “se tromper” signifie. En l’occurrence, on ne mesure pas ici la récidive des personnes, mais la condamnation pour récidive des personnes. Et si les modèles (ou les gens) ne s’étaient pas trompés, mais que les juges, en revanche, oui ?

Prévoir, et se tromper

Et si un des soucis ne venait pas dans ce que l’on demande à un outil prédictif ? Prévoir, c’est (fondamentalement) établir une probabilité pour un fait futur. Comme cela avait été rappelé dans un débat sur les sondages et les élections, est-ce qu’on peut dire qu’on se trompe si on annonce qu’un événement peut se produire avec 5% de chances, et qu’il se produit effectivement ? Pour savoir si une technique de prévision est bonne, il faut collecter un ensemble de prévision, et les comparer aux observations. C’est ce que font les météorologues depuis une quinzaine d’années, et qui a été formalisé par Gneiting et al. (2007). Leur idée est qu’un ensemble de distributions prédictives est obtenu par un modèle \{\hat F_t,\hat F_{t+1},..,\hat F_{t+h}\} et il convient de comparer ces distributions aux observations \{y_t,y_{t+1},..,y_{t+h}\} – et non pas \{\hat y_t,\hat y_{t+1},..,\hat y_{t+h}\}. Il faut alors introduire une distance entre les distributions prédictives, et les observations. Dans un système physique, il est possible d’imaginer comprendre les différentes relations causales, et donc de prévoir. Mais dans les relations humaines (et la justice en est un exemple parfait), rien n’est aussi simple, aussi automatique que les lois de mécanique des fluides qui permettent de modéliser des phénomènes météorologiques.

Références

Binet, Jacques-Louis, 2010, La prévention médicale de la récidive chez les délinquants sexuels. Académie de Médecine.

Botsman, Rachel. 2017. Who Can You Trust?: How Technology Brought Us Together – and Why It Could Drive Us Apart. Portfolio Penguin

Charpentier, Arthur & Suire, Raphaël 2016. Données et santé: valeurs, acteurs et santé. Risques, 107

Charpentier, Arthur. 2016. Les dérives du principe de précaution. Risques. 108

Christin, Agnèle, Rosenblat, Alex & Boyd, Danah 2015. Courts and Predictive Algorithms. Datacivilrights

Dressel, Julie & Farid, Hany 2018. The accuracy, fairness, and limits of predicting recidivism. Science Adavances

Foucault, Michel 1975 Surveiller et punir, naissance de la prison. Gallimard

Galeon, Dom & Bergan, Brad 2017. China’s “Social Credit System” Will Rate How Valuable You Are as a Human. Futurism

Gneiting, Balabdaoui & Raftery 2007. Probabilistic forecasts, calibration and sharpness. JRRS-B, 69, 243–268.

Mangel, Marc & Samaniego, Francisco 1984.  Abraham Wald’s work on aircraft survivability , Journal of the American Statistical Association, vol. 79, no 386,‎ 259–267

McLannahan, 2015 Being ‘wasted’ on Facebook may damage your credit score (Octobre 2015, Financial Times)

Supiot, Alain 2015. La gouvernance par les nombres : cours au Collège de France, 2012-2014. Fayard.

Trujillo, Elsa 2017. La Chine met en place un système de notation de ses citoyens pour 2020. Le Figaro, décembre 2017

[1] Décrit dans « In Your Face: China’s all-seeing state » http://www.bbc.com/news/av/world-asia-china-42248056/in-your-face-china-s-all-seeing-state

[2] https://www.numerama.com/politique/300907-un-algorithme-teste-par-la-police-pour-anticiper-les-crimes-des-jeunes-inquiete-laustralie.html

Les marchés prédictifs comme technique de prévision

Les dernières élections présidentielles ont remis en avant l’importance des soudages, utilisés comme outils de prévision, même si les sondeurs s’en défendent. Comme l’ont dit Niels Bohr et Pierre Dac, « la prévision est difficile surtout lorsqu’elle concerne l’avenir », et des solutions alternatives ont été envisagées. Comme c’est la mode, le « big data » a été mentionné (deviner les intentions de vote à partir des tweets ou des informations publiées sur une page Facebook), mais les marchés prédictifs (et les sites de paris) ont aussi été largement utilisés. Mais est-il si simple d’utiliser les prix (ou les cotes) sur ces marchés prédictifs pour en déduire des probabilités ? Et peut-on vraiment les utiliser ?

Sur quoi parie-t-on ?

Comme le rappelle Rhode & Strumpf (2008) utiliser les paris pour connaître les croyances et donc les probabilités qu’un évènement se réalise n’est pas nouveau. Par exemple lors des élections papales au Vatican. En 1549, Matteo Dandolo c(ambassadeur de Vénitie) notait (raconté dans Baumgartner (2003)) que « it is therefore more than clear that the merchants are very well informed about the state of the poll, and that the Cardinals’ attendants in Conclave (i conclavisti) go partners with them in the wagers, which thus causes many tens of thousands of crowns to change hands ». Et les marchés de paris lors des élections ont été populaires aux Etats-Unis, jusqu’à la seconde guerre mondiale. Rhode & Strumpf (2008) avance plusieurs raisons pour la perte d’intérêt au cours de la seconde moitié du XXème siècle : les améliorations des techniques de sondages et la légalisation des paris sur chevaux (avec pour conséquence la disparition du marché illégal des paris).

Plus récemment, avec le développement des sites et donc d’un marché des paris, on a vu apparaître des paris (contrats vendus sur le marché en ligne intrade.com, liquidé en 2015) sur la survenance de tremblement de terre de magnitude dévastatrice (plus de 9 sur l’échelle de Richter), le vainqueur de la cérémonie des Oscars, la diminution de la couverture de la glace en Arctique entre deux années, ou encore l’observation du boson de Higgs. Polgreen et al. (2007) évoquent des paris sur la survenance d’épidémies de grippe. Un autre exemple – que l’on va détailler un peu – est celui du passage d’une loi sur l’énergie (et l’instauration de mesures contraignantes de limitation des émissions de gaz à effet de serre) aux Etats-Unis. Le titre permettant de toucher 1USD en cas d’adoption du projet de loi a été lancé en mai 2009. Le 26 juin 2009, la Chambre des Représentants a adopté (à une courte majorité) le projet de loi (avec pour objectif de réduire de 17 % d’ici à 2020 par rapport à 2005 et de 80 % d’ici à 2050 les émissions de CO2). A ce moment, le titre était échangé pour 50¢, comme le montre le Graphique 1. Il restait à faire approuver la loi par le Sénat. Six mois plus tard, en signant l’accord de la conférence de Copenhague en décembre 2009, les Etats-Unis s’étaient davantage engagés, et un an plus tard (début 2011), le Sénat serait renouvelé lors des élections de mi-mandat. Le gouvernement de Barack Obama espérait faire approuver la session “lame duck” du congrès, les élections de mi-mandat devant probablement renforcer la majorité Républicaine. Mais le jeudi 22 juillet, le chef de file Démocrate au Sénat Harry Reid a annoncé le retrait du projet de loi, faute de majorité pour l’approuver. Ce jour-là, le titre s’échangeait pour 10¢.

Figure 1 : Evolution du prix du passage du contrat sur le passage du ‘American Clean Energy and Security Act’ devant le Sénat (2009-2010)

Source : auteur, données Meng (2017)

Voir un prix comme une probabilité

Avant toutes choses, rappelons qu’une propriété fondamentale des probabilités est la somme des probabilités d’un évènement et de son complémentaire doivent sommer à un. C’est assez logique si les probabilités sont vues comme des « fréquences », correspondant au nombre de cas favorables sur le nombre de cas possibles. Cette interprétation devient plus délicate quand on imagine le cas de variables aléatoires continues, et un passage par la théorie de la mesure s’impose (en particulier pour admettre qu’un « évènement de probabilité nulle » puisse malgré tout survenir). Mais historiquement, d’autres définitions des probabilités avaient été proposées, en particulier par Jacques Bernoulli, qui avait introduit une notion de « probabilité morale » (comme le rappelle Johnson (2017)) que l’on verra réapparaître dans les travaux de de Finetti sous le nom de « probabilité subjective », ou à la même époque, dans les travaux de Frank Ramsey. Pour ce dernier, une probabilité mesure un degré de croyance – « a degree of belief », qui pouvait se mesurer au travers de paris – « through betting odds » – et les prix que les joueurs sont disposés à payer donnent une information quant à ces croyances. Il devient alors possible de déduire des probabilités à partir de prix.

L’idée n’était pas nouvelle, puisqu’elle avait été émise par dans Van Rekeningh in Spelen van Gelucken publié par Christiaan Huyghens en 1655 (en latin sous le titre ‘De Ratiociniis in Aleæ Ludo‘), et utilisée quelques années plus tard, en 1671 par Wilhelmina de Witt dans le contexte d’annuités. Le prix d’un contrat versant une rente jusqu’au décès pouvant être vu à comme une moyenne pondérée d’annuités (à maturité fixe), en observant les prix des différents contrats d’assurance, on pouvait extraire des probabilités interprétées comme des probabilités de survie. Ces mesures de probabilités n’étaient plus construites à partir de fréquences observées, mais construites à partir de prix historiques observés. On retrouvera cette idée en mathématique financière presque trois siècles plus tard, avec le théorème fondamental de valorisation, et les prix d’Arrow-Debreu. Cette littérature est riche et abondante (on peut renvoyer à Charpentier (2014)), mais il existe également des résultats moins connus, sur la création d’un consensus à partir de probabilités, et les applications pour les paris.

Travaillant sur le marché de pari hippique, Eisenberg & Gale (1959) ont obtenu des résultats relativement généraux, qui peuvent se formaliser ainsi : considérons un individu i\in\{1,2,\cdots,I\} qui a la possibilité de parier sur un cheval j\in\{1,2,\cdots,J\} lors d’une course. Chaque joueur possède une somme totale b_i (que l’on normalise de telle sorte que b_1+b_2+\cdots+b_I=1, et qu’il place la somme \beta_{i,j} sur le cheval . Ces montants vérifient la contrainte \beta_{i,1}+\cdots+\beta_{i,J}=b_i , et on note \pi_j la somme total placée sur le cheval j, de telle sorte que \beta_{1,j}+\cdots+\beta_{I,j}=\pi_j. Compte tenu de la contrainte de budget, notons que \pi_1+\cdots+\pi_J=1, de telle sorte que les montants \pi_j peuvent être interprétés comme des probabilités. Supposons maintenant que chaque joueur ait des croyances (que chaque cheval gagne) matérialisées par un vecteur de probabilités \mathbf{p}_i=(p_{i,1},\cdots,p_{i,J}). Eisenberg Gale (1959) définissent alors une situation d’équilibre, dès lors que si \beta_{i,j}>0 alors on doit avoir

p_{i,j}=\pi_j \cdot \max_s\left\{\frac{p_{i,s}}{\pi_s} \right\}" Il montre qu’un tel équilibre existe, et qu’il est unique. On retrouve ici un résultat connu en mathématique financières sous le nom de loi du prix unique, même si les croyances ne sont pas explicitement mentionnées. Et c’est ce résultat qui permet d’interpréter les prix sur un marché prédictif comme des probabilités.

En s’inspirant du modèle de Eisenberg Gale (1959), Manski (2005) obtient une interprétation sur un marché prédictif. Dans ces marchés, on ne peut pas parier sur un cheval dans une course, mais sur la survenance d’un évènement. Considérons un contrat offrant 1$ si un évènement A survient (élection d’un nouveau pape, départ d’un pays de la zone euro, etc), proposé au prix \pi_A. S’il existe un contrat sur l’évènement complémentaire \bar A (on va supposer ici que c’est le cas), il devrait être proposé au prix \pi_{\bar A}=1-\pi_A, sinon un arbitrage serait possible[i]. Considérons maintenant un agent i croyant avec probabilité [lap_i>\pi_A, cette personne a intérêt à investir tout son argent pour acheter son titre, sinon, il a intérêt à investir dans l’autre titre, associé à \bar A. Au niveau agrégé la demande pour les titres de type A et \bar A sera respectivement

\frac{1}{\pi_A}\sum_i b_i P(p_i>\pi_A) et
<br /> \frac{1}{\pi_{\bar A}}\sum_i b_i P[p_i<\pi_A] et on aura un équilibre si \sum_i b_i=\frac{1}{\pi_A}\sum_i b_iP[p_i>\pi_A]=\frac{1}{\pi_{\bar A}}\sum_i b_iP[p_i<\pi_A]Si on suppose que les croyances (p_i) et les richesses (b_i) sont indépendantes, on peut interpréter les prix \pi_A et \pi_{\bar A} comme des probabilités, \pi_{A}=P[p_i>\pi_A] et \pi_{\bar A}=P[p_i<\pi_A]
Wolfers & Zitzewitz (2007) propose une interprétation différente, plus économique, dans le contexte d’agents ayant une utilité logarithmique.

Marché et pari en ligne

La situation que nous venons de décrire est celle d’un marché parfait, où un équilibre se fait entre les parieurs, et cet équilibre donne des prix interprétables comme des probabilités de gain (on parle éventuellement de « pari mutuel »). Mais la pratique des paris en ligne est souvent différente, car les prix sont proposés par un bookmaker. Comme le nom l’indique, ces personnes – à la base – enregistrent les paiements, mais en pratique, ce sont aussi eux qui fixent les prix. Par exemple lors des dernières élections présidentielles en France, plusieurs sites proposaient de parier sur l’issue du second tour.

Tableau 1 : côtes lors des élections présidentielles de 2017

côtes (sites de paris en ligne) Intention de votes (instituts de sondage)
bet365 comeon betsafe FT Bloomberg BBC
Macron 1/8 1/8 1/7 64% 60.5% 61%
Le Pen 5/1 9/2 9/2 36% 39.5% 39%

Source : http://www.onlinebettingsites.com/2017-french-election/ (données fin avril 2017)

Comme le montre le Tableau 1, les côtes offertes par les bookmakers sont différentes entre les sites de paris. Une cote de 1/8 signifie qu’en pariant 8€, mon gain net sera de 1€ si le candidat l’emporte le jour de l’élection (et je perds ma mise si le candidat perd). La « probabilité » associée est ici \pi_{A}=8/9\sim88.89\% pour E. Macron (mon gain brut étant de 9/8€ pour 1€ misé) et \pi_{\bar A}=1/6\sim16.67\%. Le soucis – on retrouve ici la discussion initié par Jacques Bernoulli – est que ces « probabilités » ne somment pas à 1, puisque 8/9+1/6\sim1.055\%. La différence vient du fait qu’il ne s’agit pas un « juste » prix, le bookmaker s’assurant un rendement certain (de l’ordre de 5,5% de la mise initiale, quel que soit le site choisi). Les vraies probabilités induites par ces cotes sont ici respectivement \pi_A=16/19\sim 84.2\% et \pi_{\bar A}=3/19\sim 15.8\%. Les sites de paris en ligne donneraient une probabilité de gain pour Emmanuel Macron de 84%, alors que les sondages indiquent une intention de vote de 62%, pour les instituts de sondage.

A-t-on réellement une probabilité, ou une fourchette ?

On le voit, les grandeurs données ne sont pas identiques, l’une indiquant une croyance sur une probabilité de gagner, et l’autre une proportion de votes que devrait avoir un candidat. Dans le modèle de Manski, les probabilités induites par la moyenne des croyances et les prix coïncident si on suppose que les agents ont une utilité logarithmique. Comme le montre Wolfers & Zitzewitz (2006), si on suppose que les agents ont une aversion au risque, ça ne sera plus le cas. En particulier, l’article suggère de considérer des bornes pour \pi_A de la forme [\pi_{A}^2,2\pi_A-\pi_A^2, représentées sur la Figure 2, où est appelé « prix de marché » pour reprendre une notation proche de la Figure 1.

Figure 2 : Bornes sur les croyances moyennes

Faut-il utiliser les prédictions des marchés prédictifs ?

On l’a vu lors de la dernière élection en France, beaucoup s’interrogent sur la place pris par les sondages, en particulier en notant qu’il ne s’agissait pas d’une photographie neutre, mais que les électeurs pouvaient choisir leur candidat précisément à la lecture des sondages (la fameuse théorie du « vote utile » en particulier). Le danger à utiliser les marchés prédictifs comme outils de prévision est que ces dangers sont manipulables, comme l’a montré Schröder (2008). Un autre danger – et cela a été noté lors de la dernière élection présidentielle aux Etats-Unis – les côtes sur les sites en ligne de pari reflètent les croyances d’une certaine « élite » (disons les personnes souvent relativement éduquées, et la classe supérieure, suivant la politique), contrairement aux sondages, qui sont supposés être conduits sur un échantillon représentatif des électeurs, et sont supposer refléter les choix du « peuple » (et non pas une opinion ou une croyance). Si les parieurs tiennent comptent de ces sondages, les prix reflètent leurs croyances. Une dernière critique que l’on peut faire est que la majorité des marchés prédictifs représentent des volumes de transactions très faibles.

Les sondages traditionnels font face aujourd’hui à une défiance croissante. Il devient difficile de constituer un échantillon représentatif, le taux de non-réponse atteint des proportions jamais atteint (et nul ne sait si cette non-réponse est corrélée avec des choix électoraux). Et la confusion règne, entre les sondages classiques, et les « sondages en lignes » hébergés sur divers sites d’information. Mais pour reprendre l’anecdote raconté par Scott Armstrong dans Knowledge@Wharton en 2004, si dans une réunion du conseil exécutif d’une grande entreprise on demande à tous les participants de faire des prévisions quant aux résultats pour l’année prochaine, ou si on demande aux participants de parier sur les résultats de l’année prochaine, quels prévisions seront les plus crédibles ?

Références

Arrow, K.J. & Debreu, G. Existence of an equilibrium for a competitive economy, Econometrica, vol. 22,‎ 1954

Baumgartner, F. Behind locked doors: a history of papal elections. 2003

Charpentier, A. L’efficience des marchés : hypothèse de modèle ou fait stylisé ? Risques, 96. 2014

Frank, E., Verbeek, E. & Nüesch, S. Inter-Market Arbitrage in Betting. Economica, 2012.

Johnson, T. Ethics in Quantitative Finance: a pragmatic theory of markets. Wiley, 2017.

Knowledge@Wharton, How Credible Are Polls? Is There a Better Way to Predict Outcomes in Politics and Business, 3 Novembre 2004,

Manski, C.F. Interpreting the Predictions of Prediction Markets. Working Paper 10359, 2004

Meng, K.C. Using a Free Permit Rule to Forecast the Marginal Abatement Cost of Proposed Climate Policy. American Economic Review vol 107, 2017

Polgreen. Use of Prediction Markets to Forecast Infectious Disease Activity. Healthcare Epidemiology, 2007

Ramsey, F.P. Truth and probability, dans The Foundations of Mathematics and other Logical Essays, 1931 .

Rhode, P.W. & Strumpf, K. (2008) Historical Election Betting Markets: an International Perspective.

Schröder, J. Manipulations in Prediction Markets. Universitätsverlag Karlsruhe, 2009.

The Economist, The Future of Futurology, 15 Novembre 2007

Wolfers, J. & Zitzewitz, E. Interpreting Prediction Market Prices as Probabilities. Working Paper 12200, 2006

Wood, T. Do betting markets outperform election polls? Hardly. The Washington Post, Août 2016

[i] Comme l’a montré Franck et al. (2012), comme il existe aujourd’hui plusieurs sites de paris (plusieurs marchés), il peut exister des arbitrages entre les marchés, rarement au sein d’un marché.

La guerre des étoiles : distinguer le signal du bruit

La grande difficulté dans la modélisation et la construction de modèles prédictifs est de réussir à distinguer le signal et le bruit (pour reprendre le titre du classique de Nate Silver). La réponse statistique est la notion de significativité, et la recherche des ‘étoiles’ dans les sorties de régression. Avec l’explosion du nombre de données, il est devenu crucial de faire cette distinction, de savoir quelles sont les interactions qui sont significatives.

Approches historiques de cette notion de « significativité »

Le débat sur la significativité est ancien, même si sa formulation s’est faite historiquement dans des termes assez vagues. Par exemple, dès 1710, le médecin et mathématicien John Arbuthnot s’était interrogé sur le ratio du nombre de naissance de garçons et de filles, se demandant si la différence était « statistiquement significative ». Pour être plus précis, en utilisant des statistiques sur près de 90 ans, il avait noté “There seems no more probable Cause to be assigned in Physics for this Equality of the Births, than that in our ’first Parents Seed there were at first formed an equal Number of both Sexes.John Arbuthnot pose le premier la question en terme probabilistes. Un siècle plus tard, Pierre-Simon de Laplace a présenté ce que l’on peut interpréter comme un « test de significativité », (là encore avec notre terminologie actuelle). Il avait en effet noté, en prenant des mesures sur des baromètres que les observations à 9 heures du matin et 4 heures de l’après-midi était différentes. Significativement différentes. Et là encore posé la question en terme probabiliste, en se demandant s’il est « extrêmement probable » qu’il y ait une différence entre les deux mesures. Il avait alors introduit, le premier, un test de comparaison entre des valeurs moyennes : ayant noté que la différence excédait plusieurs écart-types, ce qu’il jugeait alors significativement important, il en conclue que les séries sont significativement différentes. En 1885, Francis Edgeworth avait repris ces idées, en comparant la taille des criminels, et la taille des gens ordinaires. Mais il faudra attendre les travaux de William Gosset (plus connu sous le nom Student), de Karl Pearson et surtout de Ronald Fisher pour avoir une définition plus rigoureuse de la significativité.

La notion de significativité est cruciale dans la construction de modèles prédictifs. En assurance automobile, l’âge du conducteur est une variable « significative » quand il s’agit d’expliquer la fréquence de sinistres. Formellement, cela signifie que l’âge et la fréquence de sinistre sont corrélées, et que cette corrélation, notée R, est « significativement non-nulle ». En 1921, Ronald Fisher, en proposant la construction d’un intervalle de confiance, propose ainsi un test de significativité. Comme il l’écrit, « from these values, we obtain the difference 0.0471 ± [0.0142] which might well be regarded as significant ». Sur la Figure 1, la figure de droite correspond au cas où la valeur est significativement non nulle (car l’intervalle de confiance à 95% ne contient pas 0) alors que la figure de gauche correspond au cas où la valeur est non-significative (car l’intervalle de confiance à 95% contient 0). Ronald Fisher passera alors plusieurs années à formaliser et expliquer cette idée de significativité statistique.

Figure 1 : distribution théorique de l’estimateur de la corrélation, R, et intervalle de confiance.

Tests, prise de décision et erreurs

Une des contributions majeures de la statistique des années 1920 a été de formaliser la prise de décision. La Figure 2 montre ainsi le mécanisme binaire de la prise de décision, et les deux types d’erreur : rejeter à tort une hypothèse, ou accepter à tort une hypothèse.

Figure 2 : schéma de la prise de décision.

Déclarer qu’une variable, ou une différence, est significative peut conduire à deux types d’erreur : la déclarer comme non-significative, alors qu’elle l’était (prendre un signal pour du bruit) ; et la déclarer comme significative, alors qu’elle ne l’était (prendre du bruit pour un signal). Quand on construit un test, on va essayer de contrôler la probabilité de commettre de telles erreurs.

Mais de faibles taux d’erreur ne veulent pas forcément dire qu’un test est efficace, et le principal danger des tests médicaux est lié à une mauvaise interprétation de ces taux d’erreur. Supposons qu’une maladie touche une personne sur mille, dans une population (selon le test, i.e. 1 personne sur 1000 est ‘positive’). Supposons aussi qu’il soit relative « efficace » au sens où 90% des cas ‘positifs’ sont effectivement atteints, et le test est négatif dans 99% des cas quand est n’est pas touché par la maladie. Ces chiffres sont bien au-dessus de la plupart des principaux tests couramment utilisés. Si le test est effectué sur 10000 personnes, le test sera positif sur 10 personnes (en moyenne), parmi lesquelles 9 sont effectivement malade, mais 1 est saine. A côté, le test sera négatif pour 9990 personnes. Et parmi ces 9990 négatifs, 9890 sont effectivement saines, et une centaine est pourtant malade. Donc au final, sur les 109 personnes malades, 9 ont été détectées, mais 100 sont passés inaperçues, soit un peu plus de 90% des malades ! Ce test supposé efficace ne l’est peut-être pas tant que ça.

Figure 3 : calculs des taux d’erreurs

Le concept de « p-value » et le mythe des 5%

Le concept de p-value est lié justement à l’erreur de rejeter, à tort une hypothèse. Si Ronald Fisher en parle abondement, il faut toutefois attribuer la paternité du concept à son collègue, Karl Pearson. Ce dernier, pour définir la notion de « significativité », utilise la formulation suivante : «  P=.1227 or the odds are now only 8 to 1 against a system of deviations as improbable as or more improbable than this one ». Pour reprendre l’exemple de la corrélation, Pearson nous dit qu’il y a une chance sur 8 pour obtenir une valeur aussi improbable. Comme l’illustre la Figure 4, la p-value est la probabilité d’avoir une statistique aussi grande ou aussi petite que celle obtenue sur l’échantillon, si effectivement la corrélation était nulle. Ou encore p=P{|R| > r | H0],

Figure 4 : distribution théorique de l’estimateur de la corrélation sous l’hypothèse où cette dernière serait nulle et probabilité que |R| dépasse la valeur empirique, observée.

Sur la figure de gauche, la p-value correspondant à l’aire rouge est de l’ordre de 10% alors que sur la figure de droite l’aire est de 0.1%. En fait, si la p-value est inférieur à 5%, alors 0 n’est pas dans l’intervalle de confiance à 95% de l’estimateur de corrélation. Donner la p-value est alors suffisant pour juger de la significativité d’une statistique.

C’est dans le chapitre 4 de son livre que Ronald Fisher pose les bases de la pratique (toujours en vigueur aujourd’hui) des tests statistiques : « if p is between 10% and 90% there is certainly no reason to suspect the hypothesis tested. If it is below 2% it is strongly indicated that the hypothesis fails to account for the whole of facts ». Autrement dit, avec une p-value supérieure à 10%, on peut accepter notre hypothèse (souvent que la variable n’est pas significative) et avec une p-value inférieure à 2%, on va la rejeter (la variable sera alors significative, si on fait un test de nullité d’une corrélation). Mais entre les deux ? Ronald Fisher clôt sans vraiment s’en rendre compte le débat, en affirmant « we whall not often be astray if we draw a conventional line at 5% ». Le choix – aujourd’hui dogmatique – d’un seuil à 5% repose sur l’idée de rejeter à tort une hypothèse avec une chance sur 20, ou bien correspond au fait de s’éloigner de 2 écart-types de la moyenne d’une loi normale centrée-réduite (ce qui arrive avec une chance sur 22).

Cette règle des 5% – une chance sur 20 – est encore en vigueur aujourd’hui. C’est elle que l’on utilise dans tous les modèles économétrique, en regardant les « étoiles » associées à chaque des variables explicatives (3 étoiles si la p-value est inférieure à 0.1%, 1 étoile si elle est inférieure à 5%, et rien au-delà de 10%). Si la -value est une mesure continue de la distance entre l’hypothèse que l’on cherche à tester et les données, ces étoiles ont instauré des seuils, malheureusement supposé infranchissables. Avec cette méthode, comme le notait Guelman (2015), «it seems impressive to see multiple independent findings that are statistically significant but with enough effort it is possible to find statistical significance anywhere. »

Pour illustrer la difficulté de la prise de décision, Power (2014) prend un exemple tiré de la survie à des séances de chimiothérapie, pour guérir un cancer.

Figure 5: chimiothérapie, données Williams et al. (1987).

Dans un “research hospital” le taux de survie est de 86%, alors qu’il est de 81% dans un “non-research hospital”. Un test du chi-deux, mesurant l’indépendance entre le choix de l’hôpital et la survie, donne une statistique de test de 0.5635, correspondant à une p-value de 45.29%. Autrement dit, on devrait être indifférent à l’endroit où on va se faire traiter, puisque l’hôpital est non significativement corrélé à la survie. Mais lorsque la vie est en jeu, est-on prêt à dire qu’une différence de 5 points (86% vs. 81%) n’est pas “statistiquement significative” ? Même avec une p-value proche de 50% !

Le problème des tests multiples

Si cette méthode pour juger de la significativité d’une variable dans un modèle prédictif a eu beaucoup de succès, il convient d’insister sur ses limites quand on se retrouver face à des données massives. Si on cherche à expliquer une variable (comme la sinistralité) par 100 variables, possiblement indépendantes de notre variable d’intérêt, l’analyse précédant devrait nous pousser à retenir 5 variables comme « significativement » corrélées avec la sinistralité.

Figure 6 : Exemple de séries significativement (très) corrélées, données Vigen (2015)

Le problème des tests multiples est d’autant plus important en imagerie médicale. Sur la Figure 7, 100 échantillons Gaussiens sont simulés, de moyenne nulle, et on teste la nullité des moyennes (seules les p-values sont présentées). Imaginons des tests sur des pixels d’une image d’IRM par exemple. Sur une image obtenue sur un individu sain, si des tests sont effectués, pixel par pixel, 10% des points présenteront une p-value inférieure à 10%, 5% une p-value inférieure à 5%, etc.

Figure 7 : 100 tests de nullité de moyenne, sur 100 échantillons simulés (de moyenne nulle).

En l’occurrence, la vision Bayésienne de la prise de décision (décrite dans Greenland & Poole (2013)) peut s’avérer plus juste, en plus d’offrir une interprétation plus claire.

Les alternatives pour juger de la significativité

Les p-values sont un outil important, central, dans la construction de modèles prédictifs. Et la pratique des tests est souvent un exercice intéressant : si la p-value est petite, on se sent conforté dans l’idée que la variable est significative. Mais si elle est grande (disons excède 10%), on ose parfois se dire qu’on n’a pas eu de chance… Dans certains cas, on peut même s’offrir la chance de faire le test sur un autre échantillon et – avec un peu de chance – la p-value sera plus faible.

Comme le note Briggs (2013), les p-value “encourage magical thinking […] they focus attention on the unobservable“. Même avec un regard critique, l’utilisation des p-value est dangereuse. Et l’utiliser de manière automatique, dans un algorithme d’apprentissage, l’est encore plus. Sans bon sens, on verra des variables extrinsèques exotiques utilisées dans les modèles prédictifs (pour reprendre la terminologie de Cass & Shell (1983). A quand un assureur qui utiliserait la pointure de pieds, les résultats au brevet des collèges ou la couleur de la boite à lettres dans son tarif d’assurance auto ?

Références

Arbuthnot, J. (1710). An argument for Divine Providence, taken from the constant regularity observed in the births of both sexes. Royal Society’s Philosophical Transactions.

Berkson, J. (1942). Tests of significance considered as evidence, Hoover, K.D. & Siegle.

Briggs, W. (2013) Everything Wrong With P-Values Under One Roof. http://wmbriggs.com/…

Cass, D. & Shell, K. (1983). Do Sunspots Matter?. Journal of Political Economy 91 (21): 193–228.

Fisher, R. (1925). Statistical Methods for Research Workers. Oliver & Boyd.

Greenland S. & Poole C. (2013). Living with P values: resurrecting a Bayesian perspective on frequentist statistics. Epidemiology, 24: 62-8.

Guelman, A. (2015). P-values and statistical practice. andrewgelman.com/…

Hall, P. and Selinger, B. (1986). Statistical significance: balancing evidence against doubt. Australian & New Zealand Journal of Statistics, 28.

Powers, P.R. (2014). Acts of God and Man Ruminations on Risk and Insurance. ColumbiaUniversity Press.

Silver, N. (2012) The Signal and the Noise: Why So Many Predictions Fail — but Some Don’t, Penguin Press

Vigen, T (2015). Spurious Correlations http://tylervigen.com/…

Mutualisation et Segmentation en Assurance

L’article Segmentation et Mutualisation, les deux faces d’une même pièce, coécrit avec Michel Denuit et Romuald Elie paraîtra dans les jours à venir, dans un numéro autour du big data en assurance, avec des articles de Patrick Thourot, sur la tarification du pay as you drive, de Lucie Taleyson, sur la tarification dans les assurances collectives, et tout plein d’articles passionnants, signés François-Xavier Hay ou encore Arnaud Chaput.

L’article (disponible en pdf) présente l’impact de la segmentation dans un environnement concurrentiel. Il d’un exemple simple, pour ne pas dire simpliste. Il sera perfectionné avec le pricing game organisé mi novembre. A suivre donc…

De la difficulté de faire des prévisions (quand on a peu de données)

Depuis plusieurs mois, on observe un engouement (probablement légitime) pour le big data. Si beaucoup peut être fait pour utiliser les volumes énormes de données à la disposition des assureurs, il convient de garder en mémoire que dans beaucoup de cas, les données sont rares et que la technologie ne devrait pas pouvoir changer grand chose. Le manque de données (fiables) crée une variabilité importante.

  • Loi des grands nombres, approximations et statistique asymptotique

Tout comme les assureurs, les statisticiens aiment les gros volumes de données. Pour les assureurs, les gros portefeuilles sont considérés comme moins incertains, et pour les mêmes raisons, les statisticiens disposent, avec des grosses bases de données, d’estimateurs moins volatiles (on parle d’ailleurs du risque associé à un estimateur). Supposons que l’on suive un portefeuille de 1047 assurés, pendant un an, et que 159 ait réclamé un sinistre auprès de la compagnie. La probabilité qu’un assuré ait un sinistre est

Si on admet que l’ont dispose d’assez d’observations, on peut utiliser une approximation Gaussienne du taux de réclamation, et obtenir un intervalle de confiance à 95%, de telle sorte qu’il y a 95 chances sur 100 que le taux de réclamation appartienne à l’intervalle1

On utilise ici l’approximation2 de la loi binomiale (le nombre de personnes qui réclame suit une loi binomiale) par une loi Gaussienne, comme sur la Figure ci-dessous,

Avec cette approximation, on peut valoriser des contrats de réassurance. On peut ainsi approcher les probabilités d’avoir des dérives de la sinistralité dans notre portefeuille. Dans cet exemple, on notera que la probabilité d’avoir un taux de réclamation excédant 20% est de l’ordre de 0.0014%.

  • Prédire des “cygnes noirs”

Supposons qu’un assureur décide de vendre à des collectivités locales des contrats d’assurance en cas de marée noire. Dans un modèle actuariel standard, la prime à payer devrait être , où  est la probabilité qu’une marée noire survienne par kilomètre de côte,  la longueur de la côte de la région assurée, et  le montant de l’indemnité versée. Après 5 ans d’expérience, l’assureur souhaite faire le bilan de son produit. Sauf qu’aucune marée noire n’a été observée. Que peut-il dire sur son tarif ?

Cet exemple (à peine) fictif est a rapprocher d’une question posée dans les années 1950 à l’actuaire L.H. Longley-Cook: est-il possible de prédire (ou d’estimer) la probabilité d’observer, une année donnée, une collision en plein vol, entre deux avions ? Il n’y avait jamais eu de (grave) collision d’avions commerciaux lorsque la question avait été posée. Et sans aucune expérience passée, les statisticiens ne savaient trop quoi répondre. Pourtant, Longley-Cook avait prédit ” anything from 0 to 4 […] collisions over the next ten years“, comme le raconte McGrayne (2012). Deux ans plus tard, 128 personnes perdirent la vie au dessus de Grand Canyon lors d’une telle collision, et quatre an plus tard, ce sont 133 personnes qui périrent au dessus de New York.

  • La réponse Bayésienne

L’idée de Longley-Cook était d’utiliser des techniques bayésienne en actuariat. Comme le notait Liu et al. (1996)Statistical methods with a Bayesian flavor […] have long been used in the insurance industry”. Dans Charpentier (2007), nous avions vu l’apport des techniques de crédibilité et les liens avec la statistique bayésienne. Et comme le raconte McGrayne (2012), Arthur Bailey a joué un rôle essentiel, précisément en proposant des techniques dans le cas d’évènements (très) rares.

[Arthur] Bailey spent his first year in New York [in 1918] trying to prove to himself that ‘all of the fancy actuarial [Bayesian] procedures of the casualty business were mathematically unsound.’ After a year of intense mental struggle, however, he realized to his consternation that actuarial sledgehammering worked. He even preferred it to the elegance of frequentism. He positively liked formulae that described ‘actual data . . . I realized that the hard-shelled underwriters were recognizing certain facts of life neglected by the statistical theorists.’ He wanted to give more weight to a large volume of data than to the frequentists small sample; doing so felt surprisingly ’logical and reasonable.’ He concluded that only a ‘suicidal’ actuary would use Fishers method of maximum likelihood, which assigned a zero probability to nonevents. Since many businesses file no insurance claims at all, Fishers method would produce premiums too low to cover future losses.

Pour rappel, le théorème de Bayes permet d’écrire

Si on suppose disposer d’un échantillon d’observations  de loi , où, classiquement  est vu comme un paramètre inconnu que l’on cherche à estimer. Ici, on va supposer qu’il s’agit d’une variable aléatoire dont on va pouvoir obtenir une distribution (dite à posteriori) compte tenu des observations dont on dispose. On écrit alors

où le premier terme est une loi a priori que l’on se donne sur le paramètre , et le second est la vraisemblance de l’échantillon.

Afin d’illustrer un peu, reprenons notre exemple initial, où on dispose de 5 assurés, et qu’aucun n’ai réclamé de sinistre. Que peut-on dire sur la probabilité qu’un assuré ait un sinistre. Avec les approches classiques, la probabilité estimée serait nulle. Ce qui est gênant pour calculer ensuite une prime convenable. La réponse Bayésienne consiste à suppose que la probabilité de réclamer un sinistre est une variable aléatoire, dont on peut calculer la loi a posteriori, compte tenu du fait que l’on observé – pour l’instant – cinq observations nulle. En utilisant la relation précédente, la densité a posteriori est ici

où le second terme est la probabilité d’avoir cinq fois 0 avec une loi de Bernoulli, ce qui vaut , et où le premier terme est une loi que l’on se donne, a priori pour .

Une loi qui pourrait sembler naturelle serait la loi uniforme, pouvant être perçu comme non informative. Dans ce cas, la densité de , a posteriori, est proportionnelle à . Comme le montre la Figure ci-dessous, on a ici beaucoup de chance que  prenne une valeur proche de 0 (ce qui a du sens, car on n’a jamais observé de réclamation, jusqu’à présent). A priori, il a avait 95 chances sur 100 que la probabilité soit inférieure à 95% (c’est l’idée de la loi uniforme comme loi a priori). Après cinq expériences sans sinistre, a posteriori, il y a 95 chances sur 100 que la probabilité de réclamer soit inférieure à 40%. Si nous avions observé dix fois la valeur nulle, il y aurait, a posteriori, 95 chances sur 100 que la probabilité de ne pas réclamer soit inférieure à 25%.

La Figure ci-dessous montre la déformation de la loi a posteriori, au fur et à mesure de la mise à jour, avec la loi a priori à gauche, puis a posteriori sachant qu’une observation est arrivée (nulle), puis une seconde, puis une troisième, etc.

Sur la figure ci-dessous, il s’agit à nouveau de la déformation de la loi a posteriori, avec une loi a priori différente (en l’occurrence, la loi dite non-informative de Jeffreys)

  • Les outils statistiques pour le small data

De même que le big data pose des problèmes aux techniques statistiques classiques, et permet de découvrir les techniques d’apprentissage, le small data pose des problèmes à laquelle la statistique classique n’apporte aucune réponse. Les actuaires redécouvrent les techniques bayésiennes, mais aussi d’autres outils qui permettent malgré tout d’apporter des réponses quantitatives pertinentes. Pour quantifier l’incertitude lors du calcul des provisions pour sinistres à payer, les actuaires utilisent des techniques de rééchantillonage (bootstrap) depuis une vingtaine d’années (rappelé dans Charpentier, Devineau & Nessi (2010)) pour tenir compte du peu de données dans les triangles de liquidation. Si le big data ouvre des perspectives fascinantes à explorer pour les actuaires (en particulier en souscription), il convient de garder en mémoire que dans beaucoup de cas, les actuaires doivent quantifier des risques avec très peu de données. L’avenir n’est aucunement au big data ! L’avenir est au contraire dans la connaissance de techniques permettant de traiter à la fois des gros volumes de données, mais aussi de faire face à un insuffisance de données.

1 Dans le cas des événements (très) rares, l’approximation par une loi de Poisson sera nettement meilleure, mais ici, la probabilité est de l’ordre de 15%, ce qui est trop élevé.

2 On retrouve ici les intervalles de confiance mentionnés désormais dans les sondages.