Category Archives: Publications

Mapping cities

a French version of this article is online at

Issue 53 of Insee Analyses Ile-de-France provides an analysis of “a social mosaic specific to Paris“, with the map in Figure 1.

Figure 1 : INSEE, Insee Analyses 53, 2017

This map is a priori familiar to many people, in the sense that we quickly recognize the city represented, we know how to quickly find different elements, and we know how to read the information presented, almost instinctively. In urban history, the way we saw, and how we represented the maps, has often been the basis of urban planning. Changing representation has made it possible to change the structure of cities. We will take up here the two major historical turning points, mentioned in Söderström (1996), based on two recent works: the representation of Rome at the beginning of the Renaissance, and the first iconographic plans, described in Maier (2015), and the “social” or “health” maps of London of Victorian civil servants, described in Vaughan (2018). In particular, the latter are the ancestors of zoning maps, which are widely used in urban planning, but also correspond to the majority of maps produced by statisticians and economists (the INSEE map is an example). And some maps from the last century have nothing to envy to the maps produced today, in the era of big data.

Rome, Leon Battista Alberti and Leonardo Bufalini, and the unchanging motives

Choay (1980) emphasizes the fundamental role in the history of urban planning of Alberti’s De Re Aedificatoria (presented in manuscript form to Pope Nicholas V in 1452, but published only in 1485). The Alberti Treaty is indeed the first text to consider construction (Alberti prefers the term “construction” – ædificatoria – to cover both architecture and urban planning) in terms of an autonomous domain to which the rational method must be applied. The history of representation sees a turning point with the Renaissance, with figurative forms to represent urban space. We will leave the medieval aesthetic with the rediscovery of perspective, which will produce a rationalization of what can be seen, even if it often induces a partial vision of the object. In his treatise, Leon Battista Alberti proposes a scientific method governing the art of building the house, but also the entire city. But it is in Descriptio urbis Romae, probably written at the same time, that he deepened the idea of urban planning, taking the particular example of Rome.

In his book, Alberti does not propose any map of Rome, but a list of instructions to be followed to create one, with the coordinate tables of several important elements of the city, natural, but also artificial. The list includes the ramparts, the river (the Tiber), the city gates, more than thirty public buildings, including the Capitol, which for Alberti is the reference point of the urban plan. He proposed to represent the city by using a disc divided into 48 portions, and by using the distance to the Capitol (in addition to a compass) to place any building. All calculations are detailed in Ludi Matematici Descriptio, using triangulation techniques. In 1450, Alberti invented the geometric plan, corresponding to what we would today call the plan of a city, even if the circular shape may surprise at first sight (see Figure 2), and does not correspond to the ichnographic plan that we all use today (obtained by horizontal and geometrical projection on a plan).

Figure 2 : reconstruction of Alberti’s map in Descriptio urbis Romae, by Luigi Vagnetti in Lo studio di Roma negli scritti albertiani (1974). Source: Maier (2015).

Its plan corresponds to the emergence of a new mode of representation, very geometric. But it was not until Leonardo Bufalini’s plan in 1531 that the first ichnographic plan arrived (it would be unfair to forget Imola’s plan drawn in 1503 by Leonardo da Vinci). If Alberti’s plan indicated the coordinates of a building, Bufalini decided to incorporate the ground plan of the buildings into his city plan.

Figure 3 : carte de Bufalini, Roma, 1551, British Library Londres. Source : Maier (2015).

But if Alberti’s plan has had such an impact, it is also because it came at the time when Pope Nicholas V launched a plan to rebuild Rome, covering an entire district, from Castel Sant’Angelo to the Vatican. This is probably the first urban planning on this scale, proposing to use the urban form as an instrument of social engineering. Alberti’s representation helped this project, with a scientific vision of the map, no longer depending on the artist’s artistic skills, or to inscribe the map in a story that would give it meaning. This urban map is self-sufficient, containing the terms of its own meaning. In Latour’s (1989) terminology, these representations that can be detached from the place (or object) they represent, “while remaining immutable so that they can be moved in all directions without further distortion, loss or corruption” correspond to immutable motives. Alberti’s map is one of the first examples of these immutable mobiles. It juxtaposes the natural and the human construction, the profane and the sacred, placing measurement and position as the only values.

These plans see the urban space as a whole, not offering a single point of view, such as Jacopo Filippo Foresti’s more classic maps (for the time), for example (see Figure 4). It is possible to take Foresti’s point of view to see his map. Alberti’s map exists only as an abstract object.

Figure 4 : view of Rome by Jacopo Filippo Foresti, 1490. Source: Maier (2015).

If Leonardo Bufalini’s map revolutionized urban mapping, and if the iconographic plan is the dominant representation today, these maps have long remained marginal, because they were exclusively reserved for administrative, military or administrative purposes. The map of Foresti has not completely disappeared: it can be found in tourist maps, for example, which are not very concerned about proportions, simply seeking to stage monuments or to indicate itineraries. We then contrast an often local, horizontal vision (on a human scale) with a vision sometimes called zenithal which proposes to conceive objects in abstract terms. It is the latter that makes it possible to represent the city in the form of different neighbourhoods, with different levels of wealth for example, resulting in geometric plans for social statistics in Victorian times, making it possible to be the subject of census, measurement and comparison.

Also noteworthy is the 1748 map of Rome created by Giambattista Nolli. Previously, Leonardo Bufalini proposed to take the point of view of an eagle, flying over the city. Nolli established the now common practice of representing entire cities from above without a single focal point, each block being considered as if the cartographer were directly above it.

Figure 5 : Giambattista Nolli’s map of Rome, 1748. Source: Sylvain Mottet.

London, Thomas More and Charles Booth, and the zoning maps

At the end of the 19th century (from 1870 onwards) Germany saw the first “social maps”, born in the context of an increasingly dense urban population, high social tensions and deteriorating health conditions. German planners proposed a vision of the innovative city as a living organism that needed to be made to function more efficiently. In 1876, Reinhard Baumeister in Stadterweiterungen in technischer, baupolizeilicher und wirtschaftlicher Beziehung and especially Josef Stübben in Der Städtebau, in 1890, proposed the first urban planning manuals. Thus, towards the end of the first chapter, Baumeister proposes to use an urban expansion plan, a master plan to organize the future urban space. For him, it was a question of ensuring the stability and proper functioning of a city designed as a living organism to deal with the problems it faces: overcrowding in certain districts, traffic and hygiene problems, social unrest, etc. To do this, he suggests specializing the city’s sectors in functional and social terms – what we will later call a “zoning plan” (or Bauzonenplan) – and ensuring the sustainability of this specialization. However, he warns against an overly rigid and inflexible master plan: urban development cannot be planned with too much precision, and it is therefore counterproductive to want to freeze it in a totally predetermined framework. Its plan aims to provide general guidelines necessary for the cohesion of the urban organization. In particular, he notes that the more guidelines there are, the more they will have to be the subject of local plans with a limited time horizon.

While the zoning plan was not originally conceived as part of the management plan, it quickly became the key document, its clearest and most effective part. The objective was to understand, at a glance, the whole city as part of an administrative project. It is not only a question of having an overall vision of the city (which the iconographic plan already allowed) but also of using colour codes that facilitate the total regulation of this city. In particular, this zoning plan made it possible to predict several years or even decades in advance what the morphological and functional characteristics of a given area would be. In particular, it allowed investors to anticipate the future of an area and guarantee a certain return on their investments.

This vision proposed by Baumeister thus made it possible to see better, for example, that the most bourgeois areas were often located in the west of the cities. This position is simply because these areas are often healthier from a health point of view: the smoke and smog produced by cities are dispersed in the upper layers of the atmosphere, and when the wind comes from the west (which happens most often in most European cities) the smoke and smog are transported eastwards and towards the lower layers of the atmosphere. From this observation, it becomes natural to build factories in the east and houses in the west. Baumeister’s work was not only theoretical: he worked on the development of the city of Frankfurt in 1891, then Berlin, Cologne, Essen, etc. In Frankfurt, he thus proposed the idea of concentric zones, which was later taken up by many economists. Figure 6 shows this form of a city, in an article published in 1925 by Ernest Burgess (who would later become one of the founders of the Chicago school). At the beginning of the First World War, all German cities had a zoning plan. And in the following years, it was the United States that adopted the concept, with New York in 1916, and more than 500 cities in 1926. In that year, zoning was officially institutionalized, with the approval of the Supreme Court. In 1933, it was the Athens Charter that recognized zoning as the main and central task of urban planning.

Figure 6 : the concentric city, Burgess (1925). Source : Vaugha (2018)

But in parallel with German development, where civil servants imagine the instruments of contemporary urban planning, social planning in England takes place in a context of strong social tensions. The impoverishment of a large part of the population, the many very precarious housing units, the disastrous sanitary conditions and the increase in crime in large cities have made urban development management an extremely sensitive and political subject. It is not surprising to see Patrick Geddes’ work published in Edinburgh, a biologist by training (the city is seen as a living organism) and an anarchist activist, he thought of the image and cartography as a central tool in the fight against poverty. He developed and advocated the use of statistics and mapping in land use planning and urban development, probably more than anyone else at that time. But history will remember Charles Booth’s work in London from 1886 onwards.

Charles Booth, who began as a merchant and shipowner, devoted himself fully to the first social surveys at the end of the 19th century, based on a precise taxonomy of social categories. He was the first to produce social maps covering the entire urban space. His investigations focused first on the East End, London’s most deprived neighbourhood, before spreading throughout the city over more than 17 years. Its objective was to provide a scientific study of the living conditions of the London population in order to put an end to the images of deprived neighbourhoods. As he said in 1902, his objective was to establish “the numerical relation which poverty, misery and depravity bear to regular earnings and comparative comfort, and to describe the general conditions under which each class lives”.

Booth’s approach was based on the creation of a statistical classification of social categories, ranging from A (the lower class) to H (the upper middle class). It has therefore created, on the basis of the notes taken in the field by the inspectors, a taxonomy that distinguishes the different sectors of the social spectrum. He estimated the number of “poor” (classes A-D) at 300,000 people in the East End and 1,300,000 for the city as a whole, almost a third of the total population at the time. The impact of the figures on the public was enormous and was reinforced by the poverty maps that were included in the results volumes dealing first with the East End and then, a few years later, with the entire city, as illustrated in Figure 7.

Figure 7 : Charles Booth Map Descriptive of London Poverty, in 1898. Source : Vaughan (2018). See also

The map makes it possible to move from a social logic to a spatial logic: a particular class is translated into cartographic terms, becomes a building, a block of houses, a street, an entire urban area. The social map therefore made it possible to think of the city in terms of homogeneous spatial units. This reasoning is essential for urban planning: it could not develop in the context of the complexity of the discourse, distinguishing between the different inhabitants of the same building. This social vision of mapping, with its focus on slums and poor neighbourhoods, should be brought closer to a health objective.

That said, thinking about urban development in terms of health interventions to heal society from its ills is not new. In 1516, Thomas More founded one of the main forms of urban planning theory, starting with a diagnosis of the disease and then proposing a definitive solution through a total restructuring of the urban form. During the 18th century, the translation of this principle consisted in isolating particular intervention areas (characterized by their insalubrity) and removing them, sweeping away the urban past. The solution adopted at the end of the 19th century was rather to work from what already existed, and to find the most effective solutions to manage the probable future changes in the urban context.

At the end of the 19th century, we also moved from “descriptive statistics” to “prescriptive statistics”, to use Ogien’s terms (2013). We no longer simply evaluate the number of smallpox patients, we begin to make the choice to vaccinate (or not) a specific population, and therefore to set up a mandatory preventive intervention (at the time the vaccine still killed about 1 person out of 300).

The homme moyen (average man) by Adolphe Quetelet will launch moral statistics, with the search for people becoming the norm, the average. Diseases are also beginning to be linked to population density, poor ventilation and humidity. “Dirty, unhealthy, infectious, corrupt or simply stinking are the categories that make it possible to think what we now call pollution” in the words of Fureix and Jarrige (2015). We then move from the social map to the “moral map”, a city thought up by hygienists. Moral geography, which until then had been the subject of partial and unsystematized observations, finds in the map a (graphical) space that synthesizes and organizes it. The social map gave the globalizing vision necessary for the existence of urban planning, and for the precise location of the sites necessary for the targeted and rational functioning of its therapeutic action. In mind is Dr. John Snow’s 1854 map of the cholera epidemic, presented (and updated) in Figure 8. At the time, the dominant theory was the theory of miasmas, claiming that diseases such as plague or cholera spread in the form of bad air. In 1854, with the help of the Reverend Henry Whitehead, by interviewing local residents, he established the geographical distribution of cases, and identified the source of the epidemic: a public water pump on Broad Street. While microbial research has not scientifically established the danger of the water pump, the mapping study of the spread of the epidemic has been sufficient to convince the authorities to close it.

Figure 8 : John Snow On the Mode of Communication of Cholera, in 1855. Source :

However, as Vaughan (2018) points out, similar works can be found throughout England at the same time, such as Edwin Chadwick’s Sanitary Map of the Town of Leeds, shown in Figure 9. On this map, Chadwick identifies two groups of dwellings: working class houses and shops, workhouses and artisans’ houses. Colour dots, indicating contagious diseases, only seem to proliferate in poor neighbourhoods. In particular, the map noted that the patients did not live in contiguous areas, but that they are scattered around the map, while being located in poor neighbourhoods.

Figure 9 : Edwin Chadwick, Sanitary Map of the Town of Leeds, 1842. Source : Vaughan (2018) et

The maps had considerable public health impacts, and the zoning, formalized by Charles Booth, was the basis for spatial statistics, as it developed throughout the 20th century.

If the cartography of the city is now complex and rich, it should be noted that economists have taken a long time to leave the “linear city” model, introduced in Hotelling (1929), which has been refined over time, as shown in Figure 10, pitting the residential part (RD – residential district) against the business centre (BD – business district). But that’s another story….

Figure 10 : the different forms of the linear city. Source : Fujita & Thisse (1997).


Booth, Charles (1902) Life and Labour in London. 17 volumes.

Burgess, Ernest (1925). The Growth of the City:An Introduction to a  Research Project.

Choay, Françoise (1980). La règle et le modèle, Paris, Seuil.

Fujita, Masahisa et Thisse, Jacques-Francois. (1997), Économie géographique, Problèmes anciens et nouvelles perspectives. Annales d’Économie et de Statistique, 45, 37-87.

Fureix, Emmanuel et Jarrige, François. (2015), La modernité désenchantée : relire l’histoire du XIXe siècle français, Paris, La Découverte.

Hotelling, Harold (1929). Stability in Competition. The Economic Journal, 39, 41-57.

Latour, Bruno (1989). La science en action. Paris, La Découverte.

Maier, Jessica (2015). Rome, measured and imagined. The University of Chicago Press.

Ogien, Albert (2013). Désacraliser le chiffre dans l’évaluation du secteur public, Versailles, Éditions Quæ,

Söderström, Ola (1996) Paper cities : visual thinking in urban planning. Ecumene, 3, 249-281.

Vaughan, Laura (2018) Mapping Society: The Spatial Dimensions of Social Cartography. UCL Press.

(Petite) histoire du hasard et de la simulation

Entendre « il y a 10% de chances de pluie aujourd’hui » ou « le test médical a une valeur prédictive positive de 75% » montre que les probabilités sont aujourd’hui partout[i]. Une probabilité est une grandeur difficile à appréhender, mais incontournable quand on cherche à théoriser et mesurer le hasard. Et si la théorie mathématique est finalement arrivée très tard, comme le rappelle Hacking (2006), cela n’a pas empêché l’assurance de se développer assez tôt, et d’avoir les premières tables (actuarielles) de mortalité avant même que la « probabilité de décès » ou « l’espérance de vie » n’ait de fondement mathématique. Et de la même manière, de nombreuses techniques ont été inventées pour « générer du hasard », avant l’explosion des méthodes dites de Monte Carlo, en parallèle avec le développement de l’informatique (et du fait qu’une machine pouvait générer du hasard). Continue reading (Petite) histoire du hasard et de la simulation

Démographie historique à l’aide de données généalogiques participatives

Voilà plusieurs mois qu’avec Ewen Gallic on travaille sur des données généalogiques. Le premier papier, Étude de la démographie française du XIXe siècle à partir de données collaboratives de généalogie est fini. Il s’agit d’une note métodologique, décrisant comment on a reconstitué les arbres de ces 2,45 millions de personnes (701 millions d’enregistrements dans lesquels il a fallu faire du ménage), correspondant aux descendants sur 3 générations de personnes nées en France, entre 1800 et 1804.

Pour illustrer l’apport de ces données riches, on a commencé par étudier la mortaiité au cours du XIXème siècle

et noté que, certes, on sous-estime la mortalité des moins de 20 ans, et des personnes très âgées, mais globalement, nos donnéees sont conformes à ce que nous attendions (peut être moins sur la natalité). On a également commencé à étudier la migration, de génération en génération

(ici la proportion de descendants nés dans le même département que leur aieux). Plein d’autres résultats, à lire dans le papier, en ligne sur hal et beaucoup d’autres résultats sur la page github créée par Ewen.

Les marchés prédictifs comme technique de prévision

Les dernières élections présidentielles ont remis en avant l’importance des soudages, utilisés comme outils de prévision, même si les sondeurs s’en défendent. Comme l’ont dit Niels Bohr et Pierre Dac, « la prévision est difficile surtout lorsqu’elle concerne l’avenir », et des solutions alternatives ont été envisagées. Comme c’est la mode, le « big data » a été mentionné (deviner les intentions de vote à partir des tweets ou des informations publiées sur une page Facebook), mais les marchés prédictifs (et les sites de paris) ont aussi été largement utilisés. Mais est-il si simple d’utiliser les prix (ou les cotes) sur ces marchés prédictifs pour en déduire des probabilités ? Et peut-on vraiment les utiliser ?

Sur quoi parie-t-on ?

Comme le rappelle Rhode & Strumpf (2008) utiliser les paris pour connaître les croyances et donc les probabilités qu’un évènement se réalise n’est pas nouveau. Par exemple lors des élections papales au Vatican. En 1549, Matteo Dandolo c(ambassadeur de Vénitie) notait (raconté dans Baumgartner (2003)) que « it is therefore more than clear that the merchants are very well informed about the state of the poll, and that the Cardinals’ attendants in Conclave (i conclavisti) go partners with them in the wagers, which thus causes many tens of thousands of crowns to change hands ». Et les marchés de paris lors des élections ont été populaires aux Etats-Unis, jusqu’à la seconde guerre mondiale. Rhode & Strumpf (2008) avance plusieurs raisons pour la perte d’intérêt au cours de la seconde moitié du XXème siècle : les améliorations des techniques de sondages et la légalisation des paris sur chevaux (avec pour conséquence la disparition du marché illégal des paris).

Plus récemment, avec le développement des sites et donc d’un marché des paris, on a vu apparaître des paris (contrats vendus sur le marché en ligne, liquidé en 2015) sur la survenance de tremblement de terre de magnitude dévastatrice (plus de 9 sur l’échelle de Richter), le vainqueur de la cérémonie des Oscars, la diminution de la couverture de la glace en Arctique entre deux années, ou encore l’observation du boson de Higgs. Polgreen et al. (2007) évoquent des paris sur la survenance d’épidémies de grippe. Un autre exemple – que l’on va détailler un peu – est celui du passage d’une loi sur l’énergie (et l’instauration de mesures contraignantes de limitation des émissions de gaz à effet de serre) aux Etats-Unis. Le titre permettant de toucher 1USD en cas d’adoption du projet de loi a été lancé en mai 2009. Le 26 juin 2009, la Chambre des Représentants a adopté (à une courte majorité) le projet de loi (avec pour objectif de réduire de 17 % d’ici à 2020 par rapport à 2005 et de 80 % d’ici à 2050 les émissions de CO2). A ce moment, le titre était échangé pour 50¢, comme le montre le Graphique 1. Il restait à faire approuver la loi par le Sénat. Six mois plus tard, en signant l’accord de la conférence de Copenhague en décembre 2009, les Etats-Unis s’étaient davantage engagés, et un an plus tard (début 2011), le Sénat serait renouvelé lors des élections de mi-mandat. Le gouvernement de Barack Obama espérait faire approuver la session “lame duck” du congrès, les élections de mi-mandat devant probablement renforcer la majorité Républicaine. Mais le jeudi 22 juillet, le chef de file Démocrate au Sénat Harry Reid a annoncé le retrait du projet de loi, faute de majorité pour l’approuver. Ce jour-là, le titre s’échangeait pour 10¢.

Figure 1 : Evolution du prix du passage du contrat sur le passage du ‘American Clean Energy and Security Act’ devant le Sénat (2009-2010)

Source : auteur, données Meng (2017)

Voir un prix comme une probabilité

Avant toutes choses, rappelons qu’une propriété fondamentale des probabilités est la somme des probabilités d’un évènement et de son complémentaire doivent sommer à un. C’est assez logique si les probabilités sont vues comme des « fréquences », correspondant au nombre de cas favorables sur le nombre de cas possibles. Cette interprétation devient plus délicate quand on imagine le cas de variables aléatoires continues, et un passage par la théorie de la mesure s’impose (en particulier pour admettre qu’un « évènement de probabilité nulle » puisse malgré tout survenir). Mais historiquement, d’autres définitions des probabilités avaient été proposées, en particulier par Jacques Bernoulli, qui avait introduit une notion de « probabilité morale » (comme le rappelle Johnson (2017)) que l’on verra réapparaître dans les travaux de de Finetti sous le nom de « probabilité subjective », ou à la même époque, dans les travaux de Frank Ramsey. Pour ce dernier, une probabilité mesure un degré de croyance – « a degree of belief », qui pouvait se mesurer au travers de paris – « through betting odds » – et les prix que les joueurs sont disposés à payer donnent une information quant à ces croyances. Il devient alors possible de déduire des probabilités à partir de prix.

L’idée n’était pas nouvelle, puisqu’elle avait été émise par dans Van Rekeningh in Spelen van Gelucken publié par Christiaan Huyghens en 1655 (en latin sous le titre ‘De Ratiociniis in Aleæ Ludo‘), et utilisée quelques années plus tard, en 1671 par Wilhelmina de Witt dans le contexte d’annuités. Le prix d’un contrat versant une rente jusqu’au décès pouvant être vu à comme une moyenne pondérée d’annuités (à maturité fixe), en observant les prix des différents contrats d’assurance, on pouvait extraire des probabilités interprétées comme des probabilités de survie. Ces mesures de probabilités n’étaient plus construites à partir de fréquences observées, mais construites à partir de prix historiques observés. On retrouvera cette idée en mathématique financière presque trois siècles plus tard, avec le théorème fondamental de valorisation, et les prix d’Arrow-Debreu. Cette littérature est riche et abondante (on peut renvoyer à Charpentier (2014)), mais il existe également des résultats moins connus, sur la création d’un consensus à partir de probabilités, et les applications pour les paris.

Travaillant sur le marché de pari hippique, Eisenberg & Gale (1959) ont obtenu des résultats relativement généraux, qui peuvent se formaliser ainsi : considérons un individu i\in\{1,2,\cdots,I\} qui a la possibilité de parier sur un cheval j\in\{1,2,\cdots,J\} lors d’une course. Chaque joueur possède une somme totale b_i (que l’on normalise de telle sorte que b_1+b_2+\cdots+b_I=1, et qu’il place la somme \beta_{i,j} sur le cheval . Ces montants vérifient la contrainte \beta_{i,1}+\cdots+\beta_{i,J}=b_i , et on note \pi_j la somme total placée sur le cheval j, de telle sorte que \beta_{1,j}+\cdots+\beta_{I,j}=\pi_j. Compte tenu de la contrainte de budget, notons que \pi_1+\cdots+\pi_J=1, de telle sorte que les montants \pi_j peuvent être interprétés comme des probabilités. Supposons maintenant que chaque joueur ait des croyances (que chaque cheval gagne) matérialisées par un vecteur de probabilités \mathbf{p}_i=(p_{i,1},\cdots,p_{i,J}). Eisenberg Gale (1959) définissent alors une situation d’équilibre, dès lors que si \beta_{i,j}>0 alors on doit avoir

p_{i,j}=\pi_j \cdot \max_s\left\{\frac{p_{i,s}}{\pi_s} \right\}" Il montre qu’un tel équilibre existe, et qu’il est unique. On retrouve ici un résultat connu en mathématique financières sous le nom de loi du prix unique, même si les croyances ne sont pas explicitement mentionnées. Et c’est ce résultat qui permet d’interpréter les prix sur un marché prédictif comme des probabilités.

En s’inspirant du modèle de Eisenberg Gale (1959), Manski (2005) obtient une interprétation sur un marché prédictif. Dans ces marchés, on ne peut pas parier sur un cheval dans une course, mais sur la survenance d’un évènement. Considérons un contrat offrant 1$ si un évènement A survient (élection d’un nouveau pape, départ d’un pays de la zone euro, etc), proposé au prix \pi_A. S’il existe un contrat sur l’évènement complémentaire \bar A (on va supposer ici que c’est le cas), il devrait être proposé au prix \pi_{\bar A}=1-\pi_A, sinon un arbitrage serait possible[i]. Considérons maintenant un agent i croyant avec probabilité [lap_i>\pi_A, cette personne a intérêt à investir tout son argent pour acheter son titre, sinon, il a intérêt à investir dans l’autre titre, associé à \bar A. Au niveau agrégé la demande pour les titres de type A et \bar A sera respectivement

\frac{1}{\pi_A}\sum_i b_i P(p_i>\pi_A) et
<br /> \frac{1}{\pi_{\bar A}}\sum_i b_i P[p_i<\pi_A] et on aura un équilibre si \sum_i b_i=\frac{1}{\pi_A}\sum_i b_iP[p_i>\pi_A]=\frac{1}{\pi_{\bar A}}\sum_i b_iP[p_i<\pi_A]Si on suppose que les croyances (p_i) et les richesses (b_i) sont indépendantes, on peut interpréter les prix \pi_A et \pi_{\bar A} comme des probabilités, \pi_{A}=P[p_i>\pi_A] et \pi_{\bar A}=P[p_i<\pi_A] si les agents sont homogènes. Wolfers & Zitzewitz (2007) propose une interprétation différente, plus économique, dans le contexte d’agents ayant une utilité logarithmique.

Marché et pari en ligne

La situation que nous venons de décrire est celle d’un marché parfait, où un équilibre se fait entre les parieurs, et cet équilibre donne des prix interprétables comme des probabilités de gain (on parle éventuellement de « pari mutuel »). Mais la pratique des paris en ligne est souvent différente, car les prix sont proposés par un bookmaker. Comme le nom l’indique, ces personnes – à la base – enregistrent les paiements, mais en pratique, ce sont aussi eux qui fixent les prix. Par exemple lors des dernières élections présidentielles en France, plusieurs sites proposaient de parier sur l’issue du second tour.

Tableau 1 : côtes lors des élections présidentielles de 2017

côtes (sites de paris en ligne) Intention de votes (instituts de sondage)
bet365 comeon betsafe FT Bloomberg BBC
Macron 1/8 1/8 1/7 64% 60.5% 61%
Le Pen 5/1 9/2 9/2 36% 39.5% 39%

Source : (données fin avril 2017)

Comme le montre le Tableau 1, les côtes offertes par les bookmakers sont différentes entre les sites de paris. Une cote de 1/8 signifie qu’en pariant 8€, mon gain net sera de 1€ si le candidat l’emporte le jour de l’élection (et je perds ma mise si le candidat perd). La « probabilité » associée est ici \pi_{A}=8/9\sim88.89\% pour E. Macron (mon gain brut étant de 9/8€ pour 1€ misé) et \pi_{\bar A}=1/6\sim16.67\%. Le soucis – on retrouve ici la discussion initié par Jacques Bernoulli – est que ces « probabilités » ne somment pas à 1, puisque 8/9+1/6\sim1.055\%. La différence vient du fait qu’il ne s’agit pas un « juste » prix, le bookmaker s’assurant un rendement certain (de l’ordre de 5,5% de la mise initiale, quel que soit le site choisi). Les vraies probabilités induites par ces cotes sont ici respectivement \pi_A=16/19\sim 84.2\% et \pi_{\bar A}=3/19\sim 15.8\%. Les sites de paris en ligne donneraient une probabilité de gain pour Emmanuel Macron de 84%, alors que les sondages indiquent une intention de vote de 62%, pour les instituts de sondage.

A-t-on réellement une probabilité, ou une fourchette ?

On le voit, les grandeurs données ne sont pas identiques, l’une indiquant une croyance sur une probabilité de gagner, et l’autre une proportion de votes que devrait avoir un candidat. Dans le modèle de Manski, les probabilités induites par la moyenne des croyances et les prix coïncident si on suppose que les agents ont une utilité logarithmique. Comme le montre Wolfers & Zitzewitz (2006), si on suppose que les agents ont une aversion au risque, ça ne sera plus le cas. En particulier, l’article suggère de considérer des bornes pour \pi_A de la forme [\pi_{A}^2,2\pi_A-\pi_A^2, représentées sur la Figure 2, où est appelé « prix de marché » pour reprendre une notation proche de la Figure 1.

Figure 2 : Bornes sur les croyances moyennes

Faut-il utiliser les prédictions des marchés prédictifs ?

On l’a vu lors de la dernière élection en France, beaucoup s’interrogent sur la place pris par les sondages, en particulier en notant qu’il ne s’agissait pas d’une photographie neutre, mais que les électeurs pouvaient choisir leur candidat précisément à la lecture des sondages (la fameuse théorie du « vote utile » en particulier). Le danger à utiliser les marchés prédictifs comme outils de prévision est que ces dangers sont manipulables, comme l’a montré Schröder (2008). Un autre danger – et cela a été noté lors de la dernière élection présidentielle aux Etats-Unis – les côtes sur les sites en ligne de pari reflètent les croyances d’une certaine « élite » (disons les personnes souvent relativement éduquées, et la classe supérieure, suivant la politique), contrairement aux sondages, qui sont supposés être conduits sur un échantillon représentatif des électeurs, et sont supposer refléter les choix du « peuple » (et non pas une opinion ou une croyance). Si les parieurs tiennent comptent de ces sondages, les prix reflètent leurs croyances. Une dernière critique que l’on peut faire est que la majorité des marchés prédictifs représentent des volumes de transactions très faibles.

Les sondages traditionnels font face aujourd’hui à une défiance croissante. Il devient difficile de constituer un échantillon représentatif, le taux de non-réponse atteint des proportions jamais atteint (et nul ne sait si cette non-réponse est corrélée avec des choix électoraux). Et la confusion règne, entre les sondages classiques, et les « sondages en lignes » hébergés sur divers sites d’information. Mais pour reprendre l’anecdote raconté par Scott Armstrong dans Knowledge@Wharton en 2004, si dans une réunion du conseil exécutif d’une grande entreprise on demande à tous les participants de faire des prévisions quant aux résultats pour l’année prochaine, ou si on demande aux participants de parier sur les résultats de l’année prochaine, quels prévisions seront les plus crédibles ?


Arrow, K.J. & Debreu, G. Existence of an equilibrium for a competitive economy, Econometrica, vol. 22,‎ 1954

Baumgartner, F. Behind locked doors: a history of papal elections. 2003

Charpentier, A. L’efficience des marchés : hypothèse de modèle ou fait stylisé ? Risques, 96. 2014

Frank, E., Verbeek, E. & Nüesch, S. Inter-Market Arbitrage in Betting. Economica, 2012.

Johnson, T. Ethics in Quantitative Finance: a pragmatic theory of markets. Wiley, 2017.

Knowledge@Wharton, How Credible Are Polls? Is There a Better Way to Predict Outcomes in Politics and Business, 3 Novembre 2004,

Manski, C.F. Interpreting the Predictions of Prediction Markets. Working Paper 10359, 2004

Meng, K.C. Using a Free Permit Rule to Forecast the Marginal Abatement Cost of Proposed Climate Policy. American Economic Review vol 107, 2017

Polgreen. Use of Prediction Markets to Forecast Infectious Disease Activity. Healthcare Epidemiology, 2007

Ramsey, F.P. Truth and probability, dans The Foundations of Mathematics and other Logical Essays, 1931 .

Rhode, P.W. & Strumpf, K. (2008) Historical Election Betting Markets: an International Perspective.

Schröder, J. Manipulations in Prediction Markets. Universitätsverlag Karlsruhe, 2009.

The Economist, The Future of Futurology, 15 Novembre 2007

Wolfers, J. & Zitzewitz, E. Interpreting Prediction Market Prices as Probabilities. Working Paper 12200, 2006

Wood, T. Do betting markets outperform election polls? Hardly. The Washington Post, Août 2016

[i] Comme l’a montré Franck et al. (2012), comme il existe aujourd’hui plusieurs sites de paris (plusieurs marchés), il peut exister des arbitrages entre les marchés, rarement au sein d’un marché.

Genre et tarification assurantielle: corrélation ou causalité?

L’article La tarification par genre en assurance, corrélation ou causalité ?, coécrit avec Katrien Antonio, devrait paraître dans les jours à venir dans Risques.

La segmentation en matière d’assurance évoque la classification qu’un assureur opère, selon différents critères, en vue de fixer la cotisation, de telle sorte qu’elle reflète, du mieux possible, le risque représenté par chaque assuré. On parlera ainsi de « segmentation tarifaire ». Et classiquement, les modèles économétriques de régression permettent de capturer les variables les plus corrélées avec la fréquence des sinistres, ou leur coût. Mais, comme le notait Davet [2015], « si la corrélation globale entre âge et coût du risque santé est indéniable, les relations de causalité sont moins simples qu’il n’y paraît ». La corrélation, pourtant importante, entre sinistralité et genre en assurance automobile ne peut plus être évoquée pour créer une discrimination tarifaire depuis décembre 2012*. Mais comme nous allons le voir, les objets connectés permettent de récupérer les vraies variables tarifaires (causales) dont le genre n’était alors qu’un proxy.

L’article reprend plusieurs de éléments Unraveling the Predictive Power of Telematics Data in Car Insurance Pricing, de Roel Verbelen, Katrien Antonio et Gerda Claeskens.

Quantile and Expectile Regression for random effects model

Our joint paper with Amadou Diogo Barry and Karim Oualkacha is now available on

Quantile and expectile regression models pertain to the estimation of unknown quantiles/expectiles of the cumulative distribution function of a dependent variable as a function of a set of covariates and a vector of regression coefficients. Both approaches make no assumption on the shape of the distribution of the response variable, allowing for investigation of a comprehensive class of covariate effects. This paper fits both quantile and expectile regression models within a random effects framework for dependent/panel data. It provides asymptotic properties of the underlying model parameter estimators and suggests appropriate estimators of their variances-covariances matrices. The performance of the proposed estimators is evaluated through exhaustive simulation studies and the proposed methodology is illustrated using real data. The simulation results show that expectile regression is comparable to quantile regression, easily computable and has relevant statistical properties. In conclusion, expectiles are to the mean what quantiles are to the median, and they should be used and interpreted as quantilized mean.

Les dérives du principe de précaution

« Dans le doute, abstiens-toi » dit la sagesse populaire. Le principe de précaution (en allemand Vorsorgeprinzip) est né de l’idée qu’il convient d’accepter qu’il existe un doute, ou une incertitude (scientifique), dans la connaissance des risques. Il y a un peu plus de 20 ans, la loi Barnier introduisait le principe de précaution dans le droit français, pour le « risque de dommages graves et irréversibles à l’environnement », communément appelés “risque environnemental”. Il y a un peu plus de 10 ans, il a été inscrit dans la Constitution, approuvé par 531 députés, exprimant ainsi un très large consensus politique, probablement aussi social. Mais aujourd’hui, le principe de précaution est évoqué dans des contextes tout aussi divers que le risque d’actes de terrorisme, mais aussi des procédures de droit civil, ou pénal. Quelles sont les conséquences de cette dérive de l’utilisation du principe de précaution ?

Continue reading Les dérives du principe de précaution

Optimal Claiming Strategies in Bonus Malus Systems and Implied Markov Chains

With Arthur David and Romuald Elie, we just wrote a short paper on bonus malus, and optimal strategies to claim a loss (or not)

In this paper, we investigate the impact of the claim reporting strategy of drivers, within a bonus malus system. We exhibit the induced modification of the corresponding class level transition matrix and derive the optimal reporting strategy for rational drivers. The hunger for bonuses induces optimal thresholds under which, drivers do not claim their losses. A numerical algorithm is provided for computing such thresholds and realistic numerical applications are discussed.

The paper is now online on and

Note that we do not discuss here legal issues here (in some contracts, it is compulsory to claim all losses, even small ones), but economic incentives and mathematical issues. Some popular journals in France did mention that issue, of non claims small losses (see but in those standard computations (see below), it is based on some naive model that we improve in our paper,

Questions autour du mécanisme Cat Nat, en France

Il y a quelques semaines, Thierry Gouby de la Tribune de l’Assurance me contactait pour me poser quelques questions sur le mécanisme cat nat. J’ai commencé à regrouper mes idées, et comme j’avais un texte 6 fois trop long, par rapport à ce qui m’était demandé, je me suis dit que je pourrais mettre en ligne les éléments qui ne resteront pas, dans la restitution finale…

Est-on en mesure aujourd’hui en France d’évaluer techniquement et avec précision les zones inondables ou les zones de sécheresse ?

Les inondations désignent un ensemble assez vaste de périls, allant d’un ruissellement à un débordement d’un cours d’eau, à une remontée de nappe phréatiques , voire une rupture de barrage (si cette dernière est causée par un phénomène naturel). Depuis quelques années, l’évaluation préliminaire des risques d’inondation (EPRI) a permis d’identifier 122 territoires à risques d’inondation important (TRI). Une cartographie fine des risques a été effectuée sur chacun des territoires, afin de prendre des actions – localement – permettant d’anticiper et de réduire l’impact des inondations, dans l’esprit de la stratégie nationale de gestion des risques d’inondation (SNGRI). Entre 1998 et 2013, près d’un million et demi de sinistres ont été indemnisés au titre du risque inondation, pour un coût total de 17 milliards d’euros. Comme le montre la carte ci-dessous, les TRI sont répartis de la manière suivante

Le terme “sécheresse” désigne un risque un peu particulier, car il concerne le phénomène de subsidence. Dans le cadre du régime dit cat nat, il s’agit d’un risque de tassements différentiels des argiles (les sols argileux peuvent gonfler ou se tasser selon leur teneur en eau, et ces variations peuvent engendrer des dégâts importants aux constructions). On parlera de sécheresse géotechnique. Il ne fait généralement pas de victimes. Entre 1998 et 2013, 600 mille sinistres ont été indemnisé, pour un coût proche de 8 milliards d’euros. Mais la sécheresse peut être associée à des épisodes de canicules, qui en plus d’engendrer davantage de sécheresses géotechniques (pouvant occasionner des déplacements du sol de plusieurs centimètres) peut provoquer une surmortalité, des pertes agricoles conséquentes, mais aussi des incendies de forêt. Des mesures peuvent être prises en compte de manière préventive, afin de réduire les effets des sécheresse géotechnique, comme assurer un ancrage plus profond des fondations, désolidariser autant que possible des bâtiments, ou s’assurer que les drains d’évacuation passe loin des habitations. La répartition des régions risquées peut se visualiser sur la figure suivante

A-t-on assez de données ou d’historiques chiffrés pour prédire avec justesse le risque de tempêtes par exemple ?

Enfin, le risque tempête est un risque qui ne relève pas du régime cat nat, en France métropolitaine, mais depuis une quinzaine d’années, le législateur a rendu la garantie tempête obligatoire pour l’ensemble des contrats de dommage aux biens. Le risque tempête est souvent considéré comme non spatialisé, au sens où toute la France métropolitaine peut être uniformément touché (même si les régions littorales ont un risque souvent plus important, comme la pointe Finistère). Les tempêtes de 1999 ont toutefois soulevé beaucoup de questions (69 départements ont été déclarés en état de catastrophe naturelle, mais au titre des glissements de terrains, des inondations).

La quantification du risque de type tempête (mais la méthodologie est la même pour les autres types de risques) repose sur deux éléments importants: la modélisation du phénomène naturel sous-jacent, et un modèle de vulnérabilité, permettant de passer de l’événement à une estimation du coût des dommages.

En matière des catastrophes naturelles, plusieurs types de données sont souvent utilisées : des données fines, mais sur une courte période de temps (observations journalières de niveau de fleuves par exemple), des traces historiques de catastrophes passées (rares, irrégulièrement espacées dans le temps, et probablement non exhaustives), ainsi que des catalogues d’événements associés aux scénarios de conditions climatiques pour un horizon temporel plus ou moins lointain (tels que proposés par le GIEC).

Dans le cas du risque tempête la circulation atmosphérique en Atlantique Nord est de mieux en mieux modélisée, et des données très fines peuvent être obtenues. Si la combinaison de modèle numérique de circulation combiné avec des modèles statistiques de vitesse de vent (sur un historique d’une cinquantaine d’années) permettent d’avoir des générations d’événements avec des vents moyens sur des périodes de 10 minutes, la grande difficulté reste d’avoir des modèles pour les vitesses de rafales. Cusack (2013) avait ainsi analysé les liens entre 101 années d’observations de vitesse de vent aux Pays Bas, et les dommages associés au risque tempête.

Concernant les tempêtes historiques, il a été possible d’extrapoler les trajectoires de tempêtes les plus destructrices, y compris des tempêtes qui se sont produites voilà plus d’une centaine d’années. En Mars 1876, une tempête avait par exemple traversé l’Europe, avec une trajectoire très proche de celle de Lothar, en décembre 1999,

ou celle de janvier 1884 qui n’est pas sans rappeler Daria, qui est passé au nord de l’Europe en janvier 1990,

semblent aujourd’hui bien connu par les météorologues, et les assureurs, ce qui semble effectivement confirmer l’assurabilité de ce risque, même si à l’échelle des tempêtes, la France reste un petit territoire pour assurer une parfaite mutualisation du risque. Mais beaucoup ont souligné les caractéristiques imprévisibles des conséquences des tempêtes, car, par exemple, si les tempêtes de décembre 1999 avaient eu lieu lors d’une journée de travail, le nombre de victimes aurait probablement été beaucoup plus important. On notera que depuis, les mécanismes d’alerte ont été amélioré, mais les expériences ont montré que le plus souvent, les bâtiments qui n’ont pas résisté aux tempêtes présentaient, le plus souvent, des défauts de conception ou d’entretien.

La hausse de la fréquence et de la gravité des CatNat, dans l’hexagone comme dans le monde, remet-elle aujourd’hui en cause l’assurabilité des risques climatiques ?

Les catastrophes naturelles sont définis (légalement) comme des “dommages matériels directs non assurables ayant eu pour cause déterminante l’intensité anormale d’un agent naturel”. Autrement dit, ces risques étaient, dans la loi de 1982, considéré comme “non assurables”, d’où le mécanisme un peu particulier qui permet, malgré tout, sa couverture. C’est probablement la présence de l’état, comme assureur en dernier ressort, qui permet effectivement qu’un mécanisme de type assurantiel fonctionne.

Les tempêtes, en revanche, ont été exclues du système cat nat car elles sont – a priori – non spatialisée, et peuvent donc être mutualisées.

Le changement climatique pourrait engendrer des versements, au titre des catastrophes naturelles 2 fois plus élevés qu’aujourd’hui, selon l’estimation faite par la FFSA en 2009. Les catastrophes naturelles seront normalement plus fréquentes. Une sécheresse de l’ampleur de celle de 2003 devrait avoir une période de retour d’une dizaine d’année, et non plus d’une vingtaine d’année. Mais pour la plupart des autres risques (inondation mais aussi tempêtes) la fréquence des événements majeurs ne devrait pas augmenter significativement dans les années à venir. Pour la plupart des risques climatiques, cette étude (confirmée par la CCR) a montré que le quart de la hausse était du à la aléa seul (c’est à dire la fréquence et la gravité de l’événement climatique), et trois quart à un effet de la vulnérabilité (correspond au coût assurantiel).

Un mécanisme d’indemnisation partagé entre assureurs et intervention de l’Etat est-il la bonne solution ? Les assureurs et réassureurs sont-ils finalement à l’abri avec ce système ? D’autres mécanismes sont-ils plus performants ?

Le système français est équilibré, en absence de catastrophe majeure. Mais la crainte d’une inondation majeure à Paris (du type de celle de 1910) ou d’une tempête hivernale (de la puissance de celles de 1990 ou de 1999, mal anticipée) relance régulièrement le débat sur la viabilité du mécanisme.

Le mécanisme français est assez simple, avec trois interactions principales

  1. assurés-assureurs: un contrat d’assurance (obligatoire) assez standard, à ceci près que les compagnies d’assurance ne peuvent fixer librement le montant des primes et des cotisations
  2. assureurs-réassureur: une compagnie de réassurance publique qui propose des traités de réassurance à tous les assureurs (la Caisse Centrale de Réassurance, CCR)
  3. réassureur-état: l’état intervient en tant qu’assureur en dernier ressort, en apportant sa garantie illimitée à la CCR.

Ce système hybride mêlant assurance privée et publique est basé sur une offre d’assurance privée, encadrée par les pouvoirs publics, avec un mécanisme de réassurance public, ou semi-public. On retrouve ce mécanisme général au Japon, et dans certains états américains (Californie, Floride et Texas). La France a toutefois un système plus complet car plusieurs risques sont couverts (sécheresse, mouvement de terrain, lave torrentielle, submersion marine, avalanche, séisme).

Les autres mécanismes sont assez simples,

  • la couverture est facultative, et repose intégralement sur des compagnies d’assurances privées (on peut penser à la Grande Bretagne, l’Irlande ou la Pologne)
  • un mécanisme hybride, combinant un marché concurentiel d’assurance, et des aides publiques, souvent via un fond (comme le Fond Inondation Tempête au Danemark, ou le National Flood Insurance Program aux Etats-Unis) dans le cas où l’intervention publique est programmée ex-ante, ou avec une intervention ex-post (comme en Allemagne, ou en Australie)
  • un dispositif public, obligatoire, et monopolistique d’assurance des catastrophes naturelles (comme en Espagne)
  • aucune prévention ex-ante du risque de catastrophe naturelle, mais le plus souvent, des interventions publiques (ponctuelles) ex-post (comme en Corée, en Italie, ou en Suède)

Le fait que le mode de calcul des primes soit imposé repose sur un principe de solidarité entre les assurés, quel que soit leur niveau d’exposition aux événements naturels. Plus spécifiquement, il s’agit d’un taux uniforme pour la surprime associée à la couverture du risque cat nat, par exemple 12% pour un contrat multirisque habitation et 6% pour un contrat d’assurance d’un véhicule terrestre. Afin d’inciter à la prévention, une modulation des franchises a été introduite il y a une quizaine d’années: les franchises sont plus élevées dans les communes qui ne se sont pas doté d’un plan de prévention des risques naturels (PPRN) alors que la commune a fait l’objet, par le passé, de plusieurs arrêtés cat nat. Aussi, pour une commune non dotée d’un PPRN contre l’inondation, la franchise est doublé au troisième arrêté cat nat (triplé au quatrième, etc). Ces PPRN complètent les plans locaux d’urbanisme (PLU) qui permettent de refuser (ou d’accepter sous condition) un permis de construire en zone inondable, par exemple. Notons que la prime uniforme est une caractéristique qui se retrouve, pas exemple pour le National Flood Insurance Program aux Etats-Unis. Mais contrairement à la France qui utilise les franchises pour tenir compte de plans de préventions, aux Etat-Unis, si un commune (traduction rapide de local communities) entre dans le Community Rating System, elle obtient une note tenant compte des plans de préventions mis en place, et une réduction de prime peut alors être obtenue.

Mais ces plans restent locaux, et dans le cas du risque d’inondation, ce sont souvent les actions de prévention en amont, au niveau des bassins versants, qui ont le plus d’impact sur la réduction du risque.

Mais si le mécanisme n’est pas propre à la France, c’est probablement la définition d’un sinistre relevant du mécanisme cat nat qui rend le mécanisme typiquement français. C’est aujourd’hui la publication d’un arrêté interministériel, reconnaissant l’état de catastrophe naturelle qui fait foi. Cette définition va à l’encontre du fonctionnement même de l’assurance, où les périls sont rarement “non-dénommés”. Afin de prévoir les risques (et les quantifier actuariellement) il convient qu’ils soient identifié aussi clairement que possible. La notion d’“intensité anormale d’un agent naturel” semble s’opposer à une intensité “normale”. Les inondations récurrentes n’ont alors pas vocation à être indemnisées au titre du mécanisme cat nat. Il ne s’agit pas d’agir sur la franchise, mais bien d’exclure un risque. Un autre élément propre à la France est probablement la couverture du risque sécheresse, unique en Europe. Il ne serait pas absurde de penser que ce risque ne relève pas du mécanisme cat nat, mais pourrait être associé à l’assurance décennale du constructeur du bâtiment, les premières années. Ce mécanisme pourrait être suffisamment incitatif pour que les constructeurs tiennent compte davantage des spécificités du sol.


Macro vs. Micro Methods in Non-Life Claims Reserving (an Econometric Perspective)

With Mathieu Pigeon, we finalized a short paper on  ‘macro’ vs. ‘micro’ methods in claims reserving. The paper is now online on arxiv

Traditionally, actuaries have used run-off triangles to estimate reserve (“macro” models, on agregated data). But it is possible to model payments related to individual claims. If those models provide similar estimations, we investigate uncertainty related to reserves, with “macro” and “micro” models. We study theoretical properties of econometric models (Gaussian, Poisson and quasi-Poisson) on individual data, and clustered data. Finally, application on claims reserving are considered.

Central Limit Theorem

The central limit theorem is a fundamental theorem of statistics. It prescribes that the sum of a sufficiently large number of independent and identically distributed random variables approximately follows a normal distribution.

History of the Central Limit Theorem

The term “central limit theorem” most likely traces back to Georg Pólya. As he recapitulated at the beginning of a paper published in 1920, it was “generally known that the appearance of the Gaussian probability density \exp(-x^2) in a great many situations “can be explained by one and the same limit theorem” which plays “a central role in probability theory”. Laplace had discovered the essentials of this fundamental theorem in 1810, and with the designation “central limit theorem of probability theory” which was even emphasized in the paper’s title, Pólya gave it the name that has been in general use ever since.

In this paper of 1820, Laplace starts by proving the central limit theorem for some certain probability distributions. He then continues with arbitrary discrete and continuous distributions. But a more general (and rigorous) proof should be attributed to Siméon Denis Poisson. He also intuited that weaker version could easily be derived. As for Laplace, the main purpose of that Central Limit Theorem for Poisson was to be a tool in calculations, not so much to be a mathematical theorem in itself. Therefore, neither Laplace nor Poisson explicitly formulate any conditions for the theorem to hold. The mathematical formulation of the theorem is due to the St. Petersburg School of probability, from 1870 until 1910, with Chebyshev, Markov and Liapounov.

Mathematical Formulation

LetX_1,X_2,\cdots,X_n,\cdots be independent random variables that are identically distributed, with mean \mu and finite variance\sigma^2. Let


then from the law of large numbers [\bar{X}_n-\mu] tend to 0 as n tends to infinity. The central limit theorem establishes that the distribution of \sqrt{n}[\bar{X}_n-\mu] tends to a centered normal distribution when n goes to infinity. More specificaly,

\mathbb{P}\left(\sqrt n \frac{[\bar X_n-\mu] }{\sigma }\leq x\right) \rightarrow \Phi(x)=\int_{-\infty}^x \frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z^2}{2}\right)dz.

We can also write

\sqrt{n}\left(\frac{\bar X_n-\mu}{\sigma}\right)\xrightarrow{\mathcal{L}}\ \mathcal{N}(0,1)

or \sqrt{n}\left(\bar X_n-\mu\right)\xrightarrow{\mathcal{L}}\ \mathcal{N}(0,\sigma^2)

A limiting result as an approximation

This central limit thereom is used to approximate distributions derived from summing, or averaging, identical random variables.

Consider for instance a course where 7 students out of 8 pass. What is the probability that (at least) 4 failed in a class of 25 students. LetX be the dichotomous variable that describe failure : 1 if the student failed and 0 if he passed. That random variable has a Bernoulli distribution with parameterp=1/8, with mean1/8 and variance 7/64. Consequently, if students’ grades are independent, the sum S_n = X_1+X_2+\cdots+X_n follows a binomial distribution, with mean np and variance np(1-p), which can be approximated, by the central limit theorem, by a normal distribution with mean np and variance np(1-p). Here, \mu=3.125 while \sigma^2=2.734. To compute \mathbb P(S_n\leq 4) either either the binomial distribution, or the Gaussian approximation. In the first case, the probability is 80.47 %,

\left(\frac{7}{8}\right)^{25} + 25 \left(\frac{7}{8}\right)^{24}\left(\frac{1}{8}\right)+ \frac{25\cdot 24}{2} \left(\frac{7}{8}\right)^{23}\left(\frac{1}{8}\right)^2+\ \frac{25\cdot 24\cdot 23}{6} \left(\frac{7}{8}\right)^{22}\left(\frac{1}{8}\right)^3+ \frac{25\cdot 24\cdot 23\cdot 22}{24} \left(\frac{7}{8}\right)^{21}\left(\frac{1}{8}\right)^4

In the second case, use a continuity correction, and compute the probability that S_n is less than 4+1/2. From the central limit theorem

\sqrt n \frac{[\bar X_n -\mu]}{ \sigma }= \sqrt{25}\frac{4.5/25 - 1/8}{\sqrt{7/64}}=0.8315

The probability that a standard Gaussian variable is less than this quantity is

\mathbb{P}(Z\leq 0.8315)=79.72 \%

which can be compared with 80.47% obtained without the approximation, see Figure 1. Note that this approximation was obtained by De Moivre, in 1713, and is usually known as « Bernoulli’s law of large numbers ».

Figure 1: Gaussian approximation of the binomial distribution.

Asymtptotic Confidence Intervals

The intuition is that a confidence interval is an interval in which one may be confident that a parameterof interest lies. For instance, that some quantity is measured , but the measurement is subject to a normally distributed error, with known variance \sigma^2. If X has a\mathcal{N}(\mu,\sigma^2) distribution, we know that

\mathbb P(\mu-1.96\cdot \sigma< X <\mu+1.96\cdot \sigma) = 95\%Equivalently, we could write

\mathbb P(X-1.96\cdot \sigma < \mu <X+1.96\cdot \sigma) = 95\% \mathbb P(\mu \in [X\pm 1.96\cdot \sigma])=95 \%

Thus, if X is measured to be x, then the 95 % confidence interval for \mu is [x\pm 1.96\cdot \sigma].

In the context of Bernoulli trials (described above), the asyymptotic 95 % confidence interval for p is

\left[\overline{x}\pm \frac{1.96}{\sqrt{\overline{x}(1-\overline{x})}}\cdot\frac{1}{\sqrt{n}}\right]

A popular rule of thumb can be derived when p~50%. In that context[p(1-p)]^{-\frac{1}{2}} is close to 1.96 (or 2), and a 95 % approximated confidence interval is then

\left[\overline{x}\pm \frac{1}{\sqrt{n}}\right]see Figure 2. If that confidence interval provides a good approximation for the 95 % confidence interval when p~50 %, it is an over-estimation when p is either much smaller, or much larger.

Figure 2: law of large numbers on the left, with the convergence of\bar X_n towards p as n increases, and central limit theorem, on the right, with the convergence of 2\sqrt{n}[\overline{X}_n-p] towards a Gaussian distribution. The red area is the 95% confidence region.

The Delta Method and Method of Moments

This method is used to approximate a general transformation of a parameter that is known to be asymptotically normal,

\sqrt{n}\left(Z_n-\mu\right)\xrightarrow{\mathcal{L}}\ \mathcal{N}(0,\sigma^2)then

\sqrt{n}\big(h(Z_n)-h(\mu)\big)\ \xrightarrow{\mathcal{L}}\ \mathcal{N}(0,\,h'(\mu)^2\cdot \sigma^2)

Consider now a parametric model, … independent, with identical distributionF_{\theta} (which can be a Weibull distribution to model a duration, a Pareto distribution to model the income or the wealth, etc). The method of moments is a method of estimating parameters based on equating population and sample values of certain moments of the distribution. For instance, if \mathbb E[X]=\mu(\theta), then the estimator\widehat{\theta} of the unknown parameter is given by equation\mu(\widehat{\theta})=\overline{x} or equivalently \widehat{\theta}=\mu^{-1}(\overline{x}). From the central limit theorem

\sqrt{n}\left(\bar X_n-\mu\right)\xrightarrow{\mathcal{L}}\ \mathcal{N}(0,\sigma^2)

and applying the delta-method with h=\mu^{-1}, then

\sqrt{n}\big(\widehat{\theta}-\theta\big)\ \rightarrow \mathcal{N}(0,\,h'(\mu)^2\cdot \sigma^2)where a numerical approximation for the variance can be derived.This method has a long history, and has been intensively studied. Furthermore, this asymptotic normality can be used to compute a confidence interval, and also to derive an asymptotic testing procedure.

An Asymptotic Testing Procedure

Based on that asymptotic normality, it is possible to derive a simple testing procedure. Consider a test of the hypothesis H_0:\theta=0 against H_1:\theta\neq 0, usually called a “significant” test for parameter \theta (or significance of an explanatory variance in the context of regression model). Under the assumption that H_0 is valid, then

\sqrt{n} \widehat{\theta}\ \xrightarrow{\mathcal{L}}\ \mathcal{N}(0,s^2)for some variance s^2, that can be computed using the delta method. The p-value associated with that test is

p=\mathbb{P}\left(|Z|>\left\vert\frac{\widehat{\theta}_{\text{obs}}}{s}\right\vert\right)where \widehat{\theta}_{\text{obs}} is the observed empirical estimator of the parameter and Z is a standard normal variable. Thus, the p-value can easily be computed using quantiles of the standard normal distribution. Here, the p-value is above 5% if

-1.96 < \frac{\widehat{\theta}_{\text{obs}}}{s}<1.96

Weaker Forms of the Central Limit Theorem

As stated by Laplace, the Central Limit Theorem relies on strong assumption. Hopefully, most of them can be relaxed. In a first variant of the theorem, random variables have to be independent, but not necessarily identically distributed. If random variables X_i have averages \mu_i and \sigma_i^2, then \mu and \sigma^2 in the Central Limit Theorem should be replaced by averages of \mu_i and \sigma_i^2‘s, with an additional technical assumption related to the existence of some higher moments (the so called Lyapounov condition).

For a second variant of the theorem, random variables can be dependent, as in ergodic Markov chain, or in autoregressive time series. In that context, if X_1,X_2,\cdots,X_n,\cdots is a stationnary time series, with mean \mu, then define

\sigma^2=\lim_{n\rightarrow\infty} \frac{\mathbb E[S_n^2]}{n}and with that limit, the central limit theorem hold

\mathbb P\left( \sqrt n \frac{[\bar X_n - \mu]}{ \sigma }\leq x\right) \rightarrow \Phi(x)

even if the variance term has here a different interpretation.

Finally, a third variant that can be mentioned is the one obtained be Paul Lévy about asymptotic properties of the empirical average, when the variance is not finite (actually, even when the first moment in not finite). In that case, the limiting distribution is no longer Gaussian.


Laplace, P.S. de (1810). Mémoire sur les approximations des formules qui sont fonctions de très grands nombres et sur leur application aux probabilités. Mémoires de l’Académie Royale des Sciences de Paris, 10.

Le Cam, L. (1986), The Central Limit Theorem around 1935, Statistical Science 1(1): 78-96

Polyà, G. (1920). Ueber den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung und das Momentproblem. Mathematische Zeitschrift 8, 171–181.

La guerre des étoiles : distinguer le signal du bruit

La grande difficulté dans la modélisation et la construction de modèles prédictifs est de réussir à distinguer le signal et le bruit (pour reprendre le titre du classique de Nate Silver). La réponse statistique est la notion de significativité, et la recherche des ‘étoiles’ dans les sorties de régression. Avec l’explosion du nombre de données, il est devenu crucial de faire cette distinction, de savoir quelles sont les interactions qui sont significatives.

Approches historiques de cette notion de « significativité »

Le débat sur la significativité est ancien, même si sa formulation s’est faite historiquement dans des termes assez vagues. Par exemple, dès 1710, le médecin et mathématicien John Arbuthnot s’était interrogé sur le ratio du nombre de naissance de garçons et de filles, se demandant si la différence était « statistiquement significative ». Pour être plus précis, en utilisant des statistiques sur près de 90 ans, il avait noté “There seems no more probable Cause to be assigned in Physics for this Equality of the Births, than that in our ’first Parents Seed there were at first formed an equal Number of both Sexes.John Arbuthnot pose le premier la question en terme probabilistes. Un siècle plus tard, Pierre-Simon de Laplace a présenté ce que l’on peut interpréter comme un « test de significativité », (là encore avec notre terminologie actuelle). Il avait en effet noté, en prenant des mesures sur des baromètres que les observations à 9 heures du matin et 4 heures de l’après-midi était différentes. Significativement différentes. Et là encore posé la question en terme probabiliste, en se demandant s’il est « extrêmement probable » qu’il y ait une différence entre les deux mesures. Il avait alors introduit, le premier, un test de comparaison entre des valeurs moyennes : ayant noté que la différence excédait plusieurs écart-types, ce qu’il jugeait alors significativement important, il en conclue que les séries sont significativement différentes. En 1885, Francis Edgeworth avait repris ces idées, en comparant la taille des criminels, et la taille des gens ordinaires. Mais il faudra attendre les travaux de William Gosset (plus connu sous le nom Student), de Karl Pearson et surtout de Ronald Fisher pour avoir une définition plus rigoureuse de la significativité.

La notion de significativité est cruciale dans la construction de modèles prédictifs. En assurance automobile, l’âge du conducteur est une variable « significative » quand il s’agit d’expliquer la fréquence de sinistres. Formellement, cela signifie que l’âge et la fréquence de sinistre sont corrélées, et que cette corrélation, notée R, est « significativement non-nulle ». En 1921, Ronald Fisher, en proposant la construction d’un intervalle de confiance, propose ainsi un test de significativité. Comme il l’écrit, « from these values, we obtain the difference 0.0471 ± [0.0142] which might well be regarded as significant ». Sur la Figure 1, la figure de droite correspond au cas où la valeur est significativement non nulle (car l’intervalle de confiance à 95% ne contient pas 0) alors que la figure de gauche correspond au cas où la valeur est non-significative (car l’intervalle de confiance à 95% contient 0). Ronald Fisher passera alors plusieurs années à formaliser et expliquer cette idée de significativité statistique.

Figure 1 : distribution théorique de l’estimateur de la corrélation, R, et intervalle de confiance.

Tests, prise de décision et erreurs

Une des contributions majeures de la statistique des années 1920 a été de formaliser la prise de décision. La Figure 2 montre ainsi le mécanisme binaire de la prise de décision, et les deux types d’erreur : rejeter à tort une hypothèse, ou accepter à tort une hypothèse.

Figure 2 : schéma de la prise de décision.

Déclarer qu’une variable, ou une différence, est significative peut conduire à deux types d’erreur : la déclarer comme non-significative, alors qu’elle l’était (prendre un signal pour du bruit) ; et la déclarer comme significative, alors qu’elle ne l’était (prendre du bruit pour un signal). Quand on construit un test, on va essayer de contrôler la probabilité de commettre de telles erreurs.

Mais de faibles taux d’erreur ne veulent pas forcément dire qu’un test est efficace, et le principal danger des tests médicaux est lié à une mauvaise interprétation de ces taux d’erreur. Supposons qu’une maladie touche une personne sur mille, dans une population (selon le test, i.e. 1 personne sur 1000 est ‘positive’). Supposons aussi qu’il soit relative « efficace » au sens où 90% des cas ‘positifs’ sont effectivement atteints, et le test est négatif dans 99% des cas quand est n’est pas touché par la maladie. Ces chiffres sont bien au-dessus de la plupart des principaux tests couramment utilisés. Si le test est effectué sur 10000 personnes, le test sera positif sur 10 personnes (en moyenne), parmi lesquelles 9 sont effectivement malade, mais 1 est saine. A côté, le test sera négatif pour 9990 personnes. Et parmi ces 9990 négatifs, 9890 sont effectivement saines, et une centaine est pourtant malade. Donc au final, sur les 109 personnes malades, 9 ont été détectées, mais 100 sont passés inaperçues, soit un peu plus de 90% des malades ! Ce test supposé efficace ne l’est peut-être pas tant que ça.

Figure 3 : calculs des taux d’erreurs

Le concept de « p-value » et le mythe des 5%

Le concept de p-value est lié justement à l’erreur de rejeter, à tort une hypothèse. Si Ronald Fisher en parle abondement, il faut toutefois attribuer la paternité du concept à son collègue, Karl Pearson. Ce dernier, pour définir la notion de « significativité », utilise la formulation suivante : «  P=.1227 or the odds are now only 8 to 1 against a system of deviations as improbable as or more improbable than this one ». Pour reprendre l’exemple de la corrélation, Pearson nous dit qu’il y a une chance sur 8 pour obtenir une valeur aussi improbable. Comme l’illustre la Figure 4, la p-value est la probabilité d’avoir une statistique aussi grande ou aussi petite que celle obtenue sur l’échantillon, si effectivement la corrélation était nulle. Ou encore p=P{|R| > r | H0],

Figure 4 : distribution théorique de l’estimateur de la corrélation sous l’hypothèse où cette dernière serait nulle et probabilité que |R| dépasse la valeur empirique, observée.

Sur la figure de gauche, la p-value correspondant à l’aire rouge est de l’ordre de 10% alors que sur la figure de droite l’aire est de 0.1%. En fait, si la p-value est inférieur à 5%, alors 0 n’est pas dans l’intervalle de confiance à 95% de l’estimateur de corrélation. Donner la p-value est alors suffisant pour juger de la significativité d’une statistique.

C’est dans le chapitre 4 de son livre que Ronald Fisher pose les bases de la pratique (toujours en vigueur aujourd’hui) des tests statistiques : « if p is between 10% and 90% there is certainly no reason to suspect the hypothesis tested. If it is below 2% it is strongly indicated that the hypothesis fails to account for the whole of facts ». Autrement dit, avec une p-value supérieure à 10%, on peut accepter notre hypothèse (souvent que la variable n’est pas significative) et avec une p-value inférieure à 2%, on va la rejeter (la variable sera alors significative, si on fait un test de nullité d’une corrélation). Mais entre les deux ? Ronald Fisher clôt sans vraiment s’en rendre compte le débat, en affirmant « we whall not often be astray if we draw a conventional line at 5% ». Le choix – aujourd’hui dogmatique – d’un seuil à 5% repose sur l’idée de rejeter à tort une hypothèse avec une chance sur 20, ou bien correspond au fait de s’éloigner de 2 écart-types de la moyenne d’une loi normale centrée-réduite (ce qui arrive avec une chance sur 22).

Cette règle des 5% – une chance sur 20 – est encore en vigueur aujourd’hui. C’est elle que l’on utilise dans tous les modèles économétrique, en regardant les « étoiles » associées à chaque des variables explicatives (3 étoiles si la p-value est inférieure à 0.1%, 1 étoile si elle est inférieure à 5%, et rien au-delà de 10%). Si la -value est une mesure continue de la distance entre l’hypothèse que l’on cherche à tester et les données, ces étoiles ont instauré des seuils, malheureusement supposé infranchissables. Avec cette méthode, comme le notait Guelman (2015), «it seems impressive to see multiple independent findings that are statistically significant but with enough effort it is possible to find statistical significance anywhere. »

Pour illustrer la difficulté de la prise de décision, Power (2014) prend un exemple tiré de la survie à des séances de chimiothérapie, pour guérir un cancer.

Figure 5: chimiothérapie, données Williams et al. (1987).

Dans un “research hospital” le taux de survie est de 86%, alors qu’il est de 81% dans un “non-research hospital”. Un test du chi-deux, mesurant l’indépendance entre le choix de l’hôpital et la survie, donne une statistique de test de 0.5635, correspondant à une p-value de 45.29%. Autrement dit, on devrait être indifférent à l’endroit où on va se faire traiter, puisque l’hôpital est non significativement corrélé à la survie. Mais lorsque la vie est en jeu, est-on prêt à dire qu’une différence de 5 points (86% vs. 81%) n’est pas “statistiquement significative” ? Même avec une p-value proche de 50% !

Le problème des tests multiples

Si cette méthode pour juger de la significativité d’une variable dans un modèle prédictif a eu beaucoup de succès, il convient d’insister sur ses limites quand on se retrouver face à des données massives. Si on cherche à expliquer une variable (comme la sinistralité) par 100 variables, possiblement indépendantes de notre variable d’intérêt, l’analyse précédant devrait nous pousser à retenir 5 variables comme « significativement » corrélées avec la sinistralité.

Figure 6 : Exemple de séries significativement (très) corrélées, données Vigen (2015)

Le problème des tests multiples est d’autant plus important en imagerie médicale. Sur la Figure 7, 100 échantillons Gaussiens sont simulés, de moyenne nulle, et on teste la nullité des moyennes (seules les p-values sont présentées). Imaginons des tests sur des pixels d’une image d’IRM par exemple. Sur une image obtenue sur un individu sain, si des tests sont effectués, pixel par pixel, 10% des points présenteront une p-value inférieure à 10%, 5% une p-value inférieure à 5%, etc.

Figure 7 : 100 tests de nullité de moyenne, sur 100 échantillons simulés (de moyenne nulle).

En l’occurrence, la vision Bayésienne de la prise de décision (décrite dans Greenland & Poole (2013)) peut s’avérer plus juste, en plus d’offrir une interprétation plus claire.

Les alternatives pour juger de la significativité

Les p-values sont un outil important, central, dans la construction de modèles prédictifs. Et la pratique des tests est souvent un exercice intéressant : si la p-value est petite, on se sent conforté dans l’idée que la variable est significative. Mais si elle est grande (disons excède 10%), on ose parfois se dire qu’on n’a pas eu de chance… Dans certains cas, on peut même s’offrir la chance de faire le test sur un autre échantillon et – avec un peu de chance – la p-value sera plus faible.

Comme le note Briggs (2013), les p-value “encourage magical thinking […] they focus attention on the unobservable“. Même avec un regard critique, l’utilisation des p-value est dangereuse. Et l’utiliser de manière automatique, dans un algorithme d’apprentissage, l’est encore plus. Sans bon sens, on verra des variables extrinsèques exotiques utilisées dans les modèles prédictifs (pour reprendre la terminologie de Cass & Shell (1983). A quand un assureur qui utiliserait la pointure de pieds, les résultats au brevet des collèges ou la couleur de la boite à lettres dans son tarif d’assurance auto ?


Arbuthnot, J. (1710). An argument for Divine Providence, taken from the constant regularity observed in the births of both sexes. Royal Society’s Philosophical Transactions.

Berkson, J. (1942). Tests of significance considered as evidence, Hoover, K.D. & Siegle.

Briggs, W. (2013) Everything Wrong With P-Values Under One Roof.…

Cass, D. & Shell, K. (1983). Do Sunspots Matter?. Journal of Political Economy 91 (21): 193–228.

Fisher, R. (1925). Statistical Methods for Research Workers. Oliver & Boyd.

Greenland S. & Poole C. (2013). Living with P values: resurrecting a Bayesian perspective on frequentist statistics. Epidemiology, 24: 62-8.

Guelman, A. (2015). P-values and statistical practice.…

Hall, P. and Selinger, B. (1986). Statistical significance: balancing evidence against doubt. Australian & New Zealand Journal of Statistics, 28.

Powers, P.R. (2014). Acts of God and Man Ruminations on Risk and Insurance. ColumbiaUniversity Press.

Silver, N. (2012) The Signal and the Noise: Why So Many Predictions Fail — but Some Don’t, Penguin Press

Vigen, T (2015). Spurious Correlations…