Looking for extremely rare events ?

As mentioned in a recent post on http://www.mafeco.fr/ (here), David Viniar who used to work as a director for Goldman Sachs mentioned that « We are seeing things that were 25-standard deviation events, several days in a row », (seehere). It was in 2007 much before the recent financial crisis (and the recent – real – extremal events)
I have to confess that I couldn’t do the maths with R, but this has been done recently in a research paper,
Dowd, K.; Cotter, J.; Humphrey, C.; Woods, M.(2008), « How unlucky is 25 sigma? », Journal of Portfolio Management, Vol.34(4), pp.76-80
It turns out that 25 times the standard deviation, for a gaussian distribution, is as unlikely yo happened as winning 21 or 22 consecutive weeks at the BritishNational Lottery ! So who can still believe that Gaussian distributions can still be used in financial econometrics ?

Short course on catastrophes: the Mexican earthquake

One case study of catastrophes covers will be the Mexican cat bond. The dataset of past historical events in Mexico can be downloaded here.

Since everything we need is in this dataset, everything can be done using R.

mex=read.table("https://blogperso.univ-rennes1.fr/arthur.charpentier/public/conferences/EQ-mex-6-5.txt") 
mex$D=mex$V1*10000+mex$V2*100+mex$V3 
mex$Date=as.Date(as.character(mex$D),"%Y%m%d")

 

Workshop in Sao Paulo

Talk at the workshop in Sao Paulo, Thursday, on “estimation of quantile related risk measures“. The workshop also invited Claudia Kluppelberg, Richard Davis, and  Ermanno Pitacco to talk. Slides can be found here. And maybe to explain a bit more where this idea of beta-kernels and transformed kernel comes from, I should mention those slides (see here for a more detailed version of the slides, and there for the full version of the paper with Jean David Fermanian and Olivier Scaillet).

Statistical seminar at Belo Horizonte

Talk at the statistical seminar at the university of Belo Horizonte, Wednesday, onmultivariate extremes. Slides can be downloaded here.

The talk will give a detailed introduction on multivariate extremes and related concepts. Then the case of Archimedean copula will be fully described (following the paper with Johan Segers).

Many thanks to Renato Martins Assunção (here) for inviting me for a couple of days in Belo Horizonte ! Thanks also for your interest in my blog… and since I understood that some people who do not speak French might be interested in my blog, I started to write my blog in English (or at least a langage that should not be too far away from English). There is a nice discussion about langage on this blog (here, unfortunately in French…)

Talk for students in actuarial science

Talk for the students of the undergraduate program in Actuarial Science in Belo Horizonte, Tuesday, on “claims reserving (IBNR) and statistical issues“. Slides can be found here.

Based on recent studies, such as the report by Swiss Re (here), the CAS Working Group on Quantifying Variability in Reserve Estimates (here), or the ROC/GIRO report on Best Estimates and Reserving Uncertainty (there), I will stress on important issues in statistical estimation of claim reserves. Note that a report by Tillinghast can also be found here.

I will also mention statutory elements, such as MCR and SCR, i.e. insurance company are now requiered not only to provide a best estimate for there IBNR, but also have to quantify uncertainty.

I will also mention practical issues for actuaries (and statisticians), using package ChainLadder from R, and showing how it becomes possible to interface R and MSExcel (see e.g. slides here, based on RExcel-Addin).

Multiplication des pains et risk management


Pour continuer un peu mes élucubrations bibliques, après Jonas et la baleine (ici), je vais rebondir sur la multiplication des pains*. Hier soir je traînais sur le (très bon) blog http://eljjdx.canalblog.com/ (alias Choux romanesco, Vache qui rit et intégrales curvilignes) et j’ai dévoré l’article sur c’est mon choix, qui revenait sur le “paradoxe” de Stefan Banach et Alfred Tarski.
Ce paradoxe dit simplement qu’
il est possible de couper une boule de mathbb R^3 en un nombre fini de morceaux et de réassembler ces morceaux pour former deux boules identiques à la première. C’est un résultat purement mathématique, qui n’a aucun sens physique (ou tout du moins en physique classique, où “rien ne se perd, rien ne se crée, tout se transforme” selon la maxime attribuée – injustement – à Lavoisier car on peut la retrouver chez le philosophe présocratique Anaxagore de Clazomènes).

Ce résultat repose sur le concept d’équidécomposabilité: deux ensembles sont donc équidécomposables si on peut couper le premier en morceaux et reconstruire le deuxième simplement en déplaçant les morceaux (c’est-à-dire en leur appliquant une isométrie). Bref, on joue au puzzle. Et pour revenir à notre problème, un ensemble est dédoublable s’il est équidécomposable à une moitié de lui-même. L’autre point important dans le paradoxe est l’idée de volume (et donc de mesure). Si on veut mesurer un intervalle, on prend sa longueur et si on a un ensemble en plusieurs morceaux, on prend la somme de la longueur de chacun des morceaux.

Et le paradoxe affirme qu’on peut construire des ensembles suffisamment tordus et bizarres pour qu’on ne puisse pas les mesurer, c’est-à-dire qu’on ne peut pas leur associer un volume sans violer les deux propriétés évoquées plus haut. Pour reprendre une image évoqué par wikipedia, “le paradoxe affirme que l’on peut multiplier les petits pois ou transformer une grenouille en quelque chose de plus gros que le bœuf dès l’instant qu’on passe par une étape où elle est coupée en morceaux non mesurables, où le volume perd son sens. Par la suite, on peut réassembler ces morceaux en un objet « plus gros » sans avoir à dire que la grenouille et le bœuf ont le même volume puisque le volume du résultat n’est pas la somme des volumes des morceaux.

Pour ceux qui veulent des compléments mathématiques, il y a un article ici ou , par exemple.

Mais si je parle de Jésus de Nazareth et de paradoxes mathématiques, c’est principalement pour revenir à l’interprétation (très intéressante qu’en donne Paul Embrechts, ici). Paul en avait parlé à plusieurs reprises dans différents exposés (par exemple ici, à partir du slide 29). Je reprendrais plutôt la version en français des slides qu’il avait présenté à session plénière à Ottawa l’été dernier (ici),

dont l’interprétation financière est la suivante,

Peut-être est-ce encore plus clair en anglais,

Autrement dit les financiers ont réussi le miracle de mettre en pratique le théorème de Banach et Tarski, à savoir la multiplication des risques à l’infini….

 

* si je reprends l’évangile selon Marc,Et il leur dit: Combien avez-vous de pains? Allez voir. Ils s’en assurèrent, et répondirent: Cinq, et deux poissons. Il prit les cinq pains et les deux poissons et, levant les yeux vers le ciel, il rendit grâces. Puis, il rompit les pains, et les donna aux disciples, afin qu’ils les distribuassent à la foule. Il partagea aussi les deux poissons entre tous. Tous mangèrent et furent rassasiés, et l’on emporta douze paniers pleins de morceaux de pain et de ce qui restait des poissons. Ceux qui avaient mangé les pains étaient cinq mille hommes.

[30/03/2009] Juste pour poursuivre dans mes élucubrations bibliques, je voulais juste mettre un lien (ici), voire deux (), pour une lecture assez orientée théorie des jeux du sacrifice de Salomon  (ou du “jugement de Salomon”, rappelé ici). Des billets plus anciens parle de cette lecture (ici, ou ) ou mieux encore, le chapitre de John Moore, téléchargeable ici.


Risk management et relations familiales

Un doctorant m’avait fait remarquer l’autre jour que mon blog devenait trop sérieux. Je me suis dis que j’allais  parler de mon fils, histoire d’avoir un sujet un peu plus léger. Mais, déformation professionnelle oblige, je voulais en profiter pour narrer un épisode récurrent. Assez souvent, je dis à mon fils “ne fais pas ça, tu vas tomber“, “ne fais pas ça, te vas te faire mal” (ou toute autre variante), et immanquablement, si par malheur il glisse ou effectivement se fait mal, ça finit toujours par un “c’est de ta faute !” Bref, les discussions avec mon fils tournent assez souvent autour de notions que doivent avoir effleuré tous les risk-managers du monde: est-ce que prédire nous rend responsable ? bon, j’interprète un peu, car assez souvent, mon fils cherche simplement un responsable à blâmer (et autant que possible, quelqu’un d’autre que sa petite personne)… mais bon, les CEO se comportent de la même manière, non ? dois-je comprendre que mon fils est un futur CEO ou bien que les CEO sont simplement des personnes qui finalement se comportent comme des enfants de 6 ans….? je laisse le débat ouvert.
Ces discussions avec mon fils ont été analysées par des personnes bien plus intelligentes que moi, par exemple Jean-Pierre Dupuy, dans la section prévoir l’avenir pour le changer de Pour un catastrophisme éclairé: quand l’impossible est certain, qui reprend l’histoire de Jonas, fils d’Amittaï, le prophète biblique dans une réflexion plus générale sur la réalisation ou non des prévisions (ou dans le contexte biblique des prophéties).
A en croire wikipedia, pour les catholiques, la fable de Jonas a l’intérêt d’enseigner que les révélations prophétiques n’ont pas un caractère inéluctable qui priverait de liberté les hommes et Dieu. Elles ne sont pas faites dans le but de punir mais de sauver. C’est également le but de mes prophéties, je crois (car pour reprendre ce que me disais la psychologue scolaire, je suis un peu comme un dieu pour mon fils). Ou pour reprendre la formulation de Jean-Pierre Dupuy, Jonas est “la figure même du veilleurs à contre-destin“. Je renvoie ici ou pour des piqûres de rappel sur la fable biblique.
XXXX5
Et pour ceux qui manquent de références bibliques (comme mon fils), Jonas c’est un peu Gepeto dans Pinocchio (ou bien le Jonas dans Illusion of time sur super nintendo).
Pour revenir au dilemme de Jonas, pour vérifier si une prophétie était, ou non, d’origine divine, il faut attendre qu’elle se réalise. Seul l’avenir est juge. “Nous voici ramenés à l’aporie du catastrophisme: le prophète de malheur ne sera pris au sérieux et distingués des charlatans que lorsque la catastrophe se sera produite. Mais il sera trop tard.”. Ou pour reprendre ce que disait Hans Jonas dans Le principe responsabilité, “la prophétie de malheur est faite pour éviter qu’elle ne se réalise; et se gausser ultérieurement d’éventuels sonneurs d’alarme en leur rappelant que le pire ne s’est pas réalisé serait le comble de l’injustice: il se peut que leur impair soit leur mérite”.

Pour conclure, comme Jonas (ou plus généralement les assureurs), je n’ai qu’un souhait: que mes prophéties ne se réalise pas (ou tout du moins qu’un meilleur scénario se réalise). C’est peut être à partir de cette idée simple que se fonde le principe de prévention. Il faudrait que j’en discute plus longuement avec mon fils…

Paradoxe, vote et démocratie

Le paradoxe le plus classique sur les élections est le paradoxe de Condorcet, correspondant à une intransitivité des préférences. Pour rappels, dans le cours d’économie de l’incertain, j’avais postulé que les relations de préférences étaient une relation d’ordre (et donc étaient transitives) sans que cela ne soulève la moindre objection. Prenons un cas pratique: un sondage LH2 pour RMC-BFM TV-20 minutes, diffusé le 12 mars 2007 sur les élections présidentiels, donnait les intentions de vote suivant,

  • au premier tour, Sarkozy (28) > Royal (26) > Bayrou (22)
  • au second tour, Sarkozy (52) > Royal (48) mais  Bayrou (55) > Sarkozy (45)

Autrement dit, on peut A>B, et B>C, mais sans pour autant avoir A>C.

Pour Condorcet, il n’existait pas de système simple assurant cette cohérence, à savoir une fonction de choix social indiscutable, permettant d’agréger des préférences individuelles en préférences sociales. Arrow démontre, sous réserve d’acceptation de quelques hypothèses, qu’il n’existerait pas de système du tout assurant la cohérence, hormis celui où la fonction de choix social coïnciderait avec les choix d’un seul individu, parfois surnommé dictateur, indépendemment du reste de la population.

Le théorème d’Arrow peut être énoncé sous la forme suivante.

Pour au moins 3 options de choix et deux individus, il n’existe pas de fonction de choix social satisfaisant les propriétés suivantes :

  1. Universalité : la fonction de choix social doit être définie pour tout profil de préférences logiquement possible. Cela signifie qu’on ne peut éliminer le choix de certains individus du groupe des individus qui déterminent le choix collectif.
  2. Non-dictature : il n’existe aucun individu pour lequel la liste de ses choix personnels coïncide avec la fonction de choix social, indépendamment des préférences des autres ;
  3. Unanimité : lorsque tous les individus ont les mêmes préférences, la fonction de choix social doit associer ces mêmes préférences à la société.
  4. Indifférence des Options Non-Pertinentes : le classement relatif de deux options ne doit dépendre que de leur position relative pour les individus et non du classement d’options tierces ; si l’on ne considère qu’un sous-ensemble d’options, la fonction ne doit pas aboutir à un autre classement de ce sous-ensemble.

Sur les paradoxes du vote, je renvoie à une très bonne émission qui avait été diffusée dans Archimède sur Arte en janvier 2001. L’intégralité du texte se trouve ici,

Calculs de SCR, Solvency Capital Requirements

Pour reprendre le contexte général, Solvency II (l’analogue de la directive CRD pour les banques*) repose sur 3 piliers,

  1. définir des seuils quantitatifs de calcul des provisions techniques des fonds propres, seuils qui seront à terme réglementaires, à savoir le MCR (Minimum Capital Requirement, niveau minimum de fonds propres en-dessous duquel l’intervention de l’autorité de contrôle sera automatique) et le SCR (Solvency Capital Requirement, capital cible nécessaire pour absorber le choc provoqué par une sinistralité exceptionnelle),
  2. fixer des normes qualitatives de suivi des risques en interne aux sociétés, et définir comment l’autorité de contrôle doit exercer ses pouvoirs de surveillance dans ce contexte. Notons qu’en principe, les autorités de contrôle auront la possibilité de réclamer à des sociétés “trop risquées” de détenir un capital plus élevé que le montant suggéré par le calcul du SCR, et pourra les forcer àréduire leur exposition aux risques,
  3. définir un ensemble d’information que les autorités de contrôle jugeront nécessaires pour exercer leur pouvoir de surveillance.

Cette histoire de pilliers peut s’illustrer de la manière suivante

Sur le premier pilier, assureurs et réassureurs devront mesurer les risques, et devront s’assurer qu’ils détiennent suffisamment de capital pour les couvrir. En pratique, le CEIOPS et la Commission Européenne ont retenu une probabilité de ruine de 0,5%. Les calculs de capital se font alors de deux manières, au choix,

  1. utiliser une formule standard. La formule ainsi que la calibration des paramètres ont été abordé à l’aide des QIS.
  2. utiliser un modèle interne. Là dessus, le CEIOPS étudie les modalités d’évaluation.

En avril 2007, QIS3 a été lancé, afin de proposer une formule standard pour le calcul des MCR et SCR, en étudiant la problématique spécifique des groupes. En particulier, on trouve dans les documents la formule suivante (pour un calcul de basic SCR)

Cette formule sort du QIS3, mais on trouve des choses analogues dans Sandström (2004), par exemple,

Avec une contrainte forte sur la forme du SCR, il obtient alors

D’où sort cette formule ? Certains ont tenté des éléments de réponse, par exemple

Ce résultat n’est malheureusement pas très probant car il n’est jamais rien évoqué sur la dépendance entre les composantes, ce qui est troublant. Sandstôrm écrit quelque chose de similaire, même si pour lui “normalité” est ici entendu dans un cadre multivarié.

Une explication peut être trouvée dans un papier de Dietmar Pfeiffer et Doreen Straßburger (ici) paru dans le Scandinavian Actuarial Journal (téléchargeable ici). Il cherche à expliquer comment calculer le SCR,

Il note, et c’est effectivement l’intuition que l’on avait, que dans un monde Gaussien (multivarié), cette formule marche, aussi bien pour un SCR basé sur la VaR que la TVaR. En particulier, ils citent un livre de Sven Koryciorz, correspondant à sa thèse de doctorat, intitulée “Sicherheitskapitalbestimmung und –allokation in der Schadenversicherung. Eine risikotheoretische Analyse auf der Basis des Value-at-Risk und des Conditional Value-at-Risk“, publiée en 2004.
Sinon, pour aller un peu plus loin, on peut aussi noter, dans les rapports du CEIOPS des déclarations un peu troublantes, par exemple

Il est pourtant facile de montrer que ce n’est pas le cas (même si c’est effectivement ce que préconise la “formule standard“). Le graphique ci-dessous montre l’évolution de la VaR d’une somme de risques corrélés (échangeables) en fonction de la corrélation sous-jacente: sur cet exemple, les risques très très corrélés sont moins risqués que des risques moyennement corrélés.

(la loi sous-jacente est une copule de Student). En revanche pour la TVaR, sur le même exemple, la TVaR de la somme est effectivement une fonction croissante avec la corrélation,


(plus de compléments dans les slides de l’école d’été à Lyon l’été dernier, ici).

* Pour reprendre des éléments de la page de wikipedia (ici), la directive européenne CRD (Capital Requirements Directive, i.e. Fonds Propres Réglementaires) transpose dans le droit européen les recommandations des accords de Bâle II, visant à calculer les fonds propres exigés pour les établissements financiers (i.e. directives 2006/48/CEet 2006/49/CE) .

Qui veut des statistiques ethniques ?

ETHNIQUE, adj.

A.− Vx, RELIG. CATH. Qui appartient au paganisme. Nations, croyances, superstitions ethniques. Attesté ds Ac. 1798-1878, Littré, DG, Rob., Lar. Lang. fr.

B.− Spécifique d’une ethnie et, par extension, d’une race. Caractère, coutume, type, unité ethnique; origines ethniques. L’impossibilité vingt fois démontrée par de cruelles expériences de dissocier par des transferts de population des éléments ethniques étroitement imbriqués (Philos., Relig., 1957, p. 4616). −Spéc., LING., empl. adj. et subst. (p. ell. du déterminé). (Mot) ethnique.Mot dérivé d’un nom de pays ou de région et indiquant l’appartenance à ce pays, à cette région. Israël, du moins c’est le nom que portent ces gens, qui me semble un terme générique, ethnique, plutôt qu’un nom propre (Proust, J. filles en fleurs,1918, p. 764). Le nom, avec le patronyme et l’ethnique, du personnage honoré par un décret (L’Hist. et ses méth., 1961, p. 480).
Prononc. et Orth. : [εtnik]. Ds Ac. 1762-1932. Étymol. et Hist. 1. a) Subst. xiiie s. [ms.] etnique « païen » (Bible, Maz. 684, fo 235e ds Gdf.); de nouv. 1541ethnique (Cl. Marot, Psaume de David, 14 ds Œuvres, éd. P. Jannet, t. 4, p. 88);b) adj. 1549 ethnicque « païen » (Id., Deux Colloques d’Erasme traduits en françois, II, ibid., p. 38); 2. a) adj. 1752 mot ethnique » (mot) qui sert à désigner une population » (Trév.) ; b) subst. 1864 « dénomination d’un peuple » (Littré); 3.adj. 1871 « relatif à la race ou à l’ethnie » (Renan, Réf. intellect., p. 140). Empr. au gr.ἐθνικός proprement « de la nation, de la race », d’où « ethnique » terme de gramm. (d’où 2, 3); ayant servi dans la lang. néotestamentaire à désigner les Gentils [groupe d’hommes ayant les mêmes coutumes (païennes)] par opposition aux Hébreux, est passé dans cet emploi au lat. chrét. ethnicus, d’où 1. Fréq. abs. littér. : 71. Bbg. Cassagnau (M.). Considérations sur les ethniques. Vie Lang.1967, pp. 281-286.

Je tenais à faire un billet sur les statistiques “éthniques“, puisqu’il s’agissait d’un sujet d’actualité. Non pas pour apporter une contribution personnelle et innovante (je n’ai toujours pas compris ce que signifait “éthnique“), mais juste pour revenir sur le premier paragraphe d’un billet sur un blog de Libé (mentionné sur la page d’ouverture de Libé).

Cette première phrase a retenu mon attention pendant de longues minutes….1. tout d’abord la déclaration  “55% des Français” (puis par la suite “96% des Français”) montre que le questionnaire devait inclure une question sur la nationalité, ou au moins “êtes-vous Français(e) ?”. Selon la définition du dictionnaire, ce genre de question semble bien être une question “éthnique“. Peut-on d’ailleurs savoir ce qu’ont répondu les “non-Français” ? Pour revenir d’ailleurs sur ce qu’est un “Français”, je renvoie à un papier d’un collègue rennais,ici.

2. les “statistiques” ont-elles pour finalité de lutter contre le racisme (de manière “efficace“) ? La semaine dernière, Alain Desrosières était sur Rennes pour faire une exposé (Gouverner par les nombres), où il expliquait que bien que les statistiques soient étroitement liées à une gouvernance (pour reprendre mon dicitonnaire “statistique” fut emprunté à l’allemand Statistik, forgé par l’économiste allemand G. Achenwall (1719-1772), qui l’a dérobé de l’italienstatista « homme d’État », la statistique représentant pour lui l’ensemble des connaissances que doit posséder un homme d’État (Brockhaus Enzykl.)), il convient de distinger les statistiques collectées de l’utilisation qui en est faite.

3. il faudrait rapeler que certaines statistiques éthniques sont autorisées. La loi de 1978 (qui a fondé la CNIL) dit qu’on ne peut pas conserver ce type de données dans les fichiers de façon générale, sauf s’il y a des travaux de recherche menés par la statistique publique, c’est-à-dire l’Insee, certains ministères et des organismes de recherche comme l’INED. Cette loi a d’ailleurs été allégée par des directives européennes. Par exemple, l’INED pose des questions sur les lieux de naissance des personnes, les lieux de naissance de leurs parents, les changements de nationalité. Elle peut également poser des questions sur la couleur de la peau, à condition que les personnes donnent le “consentement exprès“, c’est-à-dire écrit (et encore, selon une directive européenne, le consentement exprès n’est plus nécessaire quand on pose ce genre de questions si le questionnaire a été au préalable soumis à un examen spécial de la CNIL). Il est possible d’aller voir ici par exemple pour plus d’information sur les données personnelles. Bref, il me semble qu’il y a une belle hypocrisie sur le sujet…

4. enfin, le point qui m’a le plus choqué est qu’on demande par sondage aux “Français” de trancher. Cela me fait constament penser à ce mémorable épisode de Qui veut gagner des millions,

Sous prétexte que 56% des “Français” pensent que le soleil tourne autour de la terre, ne faudrait-il pas déposer un recours à l’Académie des Sciences pour changer les livres de physique de 3ème ? Bref, j’ai toujours été sceptique sur cette utilisation des sondages*. Je renvoie d’ailleurs au chapitre de Questions de sociologie de Pierre Bourdieu, L’opinion publique n’existe pas (exposé fait en janvier 1972 et paru dans Les temps modernes, 318, janvier 1973, pp. 1292-1309, lisible ici).
“Toute enquête d’opinion suppose que tout le monde peut avoir une opinion ; ou, autrement dit, que la production d’une opinion est à la portée de tous. Quitte à heurter un sentiment naïvement démocratique, je contesterai ce premier postulat  […]  On sait que tout exercice de la force s’accompagne d’un discours visant à légitimer la force de celui qui l’exerce ; on peut même dire que le propre de tout rapport de force, c’est de n’avoir toute sa force que dans la mesure où il se dissimule comme tel. Bref, pour parler simplement, l’homme politique est celui qui dit : « Dieu est avec nous ». L’équivalent de « Dieu est avec nous », c’est aujourd’hui « l’opinion publique est avec nous ». Tel est l’effet fondamental de l’enquête d’opinion : constituer l’idée qu’il existe une opinion publique unanime, donc légitimer une politique et renforcer les rapports de force qui la fondent ou la rendent possible.  Ayant dit au commencement ce que je voulais dire à la fin, je vais essayer d’indiquer très rapidement quelles sont les opérations par lesquelles on produit cet effet de consensus. La première opération, qui a pour point de départ le postulat selon lequel tout le monde doit avoir une opinion, consiste à ignorer les non-réponses.[…] Deuxième principe à partir duquel les gens peuvent produire une opinion, ce que j’appelle l’« ethos de classe » (pour ne pas dire « éthique de classe »), c’est-à-dire un système de valeurs implicites que les gens ont intériorisées depuis l’enfance et à partir duquel ils engendrent des réponses à des problèmes extrêmement différents. […]  L’effet d’imposition de problématique, effet exercé par toute enquête d’opinion et par toute interrogation politique (à commencer par l’électorale), résulte du fait que les questions posées dans une enquête d’opinion ne sont pas des questions qui se posent réellement à toutes les personnes interrogées et que les réponses ne sont pas interprétées en fonction de la problématique par rapport à laquelle les différentes catégories de répondants ont effectivement répondu.”
En fait, on peut voir que ce que je critique, c’est surtout le résumé du sondage, à mon avis mal interprété. Quand on voit la question précise, et conclure comme titre que “les statistiques éthniques n’ont pas la côte” car une majorité de français les jugent “non-efficace“. Voici le résumé proposé dans Le Parisien, qui est à mon avis nettement plus mitigé,
Bref, je n’ai aucun avis sur les statistiques ethniques, mais je suis ravi de voir qu’une seule phrase ait pu me faire m’interroger autant !* Afin de légitimer ma critique, j’ai fait passer dans ma jeunesse (en 1996) des questionnaires dans la rue, sur une étude sur la perception qu’avaient les jeunes du système de retraite. Le questionnaire comportait des questions comme “En France, le système de retraite est un système (1) par répartition ou (2) par capitalisation“. J’ai alors découvert la méconnaissance totale qu’avaient “les Français” (ou plutôt “les gens” car je n’ai jamais demandé de nationalité) sur des aspects de base du système économique français, mais surtout le regard inquiet qu’ils me posaient après avoir répondu, du genre “j’ai bien répondu ?” Je me suis aussi rendu compte que beaucoup de monde n’osaient pas admettre qu’elles ne savaient pas, et étaient “sans opinion“, et préfèraient répondre n’importe quoi. Je pense que toute personne qui utilise des sondages devraient prendre 2 ou 3 jours pour en faire passer, dans la rue, pour comprendre comment les gens répondent avant de tirer des plans sur la comète…

[25/03/2009] Pour compléter ma critique des sondages, je voulais aussi rappeler un sondage intéressant, commandé en 2000 (aux Etats-Unis) par le magazine Time et CNN, lorsqu’il était demandé aux “gens” s’ils pensaient faire partie du 1% des Américains les plus riches: 19% répondaient que “oui“, et 20% affirmaient que “ça ne saurait tarder“. On peut retrouver une analyse plus complète par Andrew Eggers dans un  papier intitulé not so deluded after all (ici) ou dans un papier de David Brooks, superiority complex paru dans Monthly Atlantics en 2002 (ici). Sur le sondage original, Andrew Eggers explique qu’il a été mené par Yankelovich Partners fin octobre 2000 sur 2060 personnes interrogées au téléphone. Ces ordres de grandeurs ont été observés par la suite.

La loi de Goodhart

Pour conclure le cours de M2 sur les mesures de risque, je voulais revenir sur la loi de Goodhart, énoncé par Charles Goodhart, alors qu’il était chief economic advisor à la Banque d’Angleterre, en 1975 (voir ici pour une analyse détaillée de la loi). L’énoncé originelle était de la forme suivante “Once a social or economic indicator or other surrogate measure is made a target for the purpose of conducting social or economic policy, then it will lose the information content that would qualify it to play such a role.

On retrouve cette loi énoncée dans le livre Economics de John Sloman, par exemple sur le contrôle des banques “If bank advances are a good indicator of aggregate demand, the government may choose to control bank lending. But as soon as it does, bank lending will become a poor indicator.” Certaines personnes énoncent la loi sous la forme suivante, “when a measure becomes a target, it ceases to be a measure”. Autrement dit, pour les non-anglophiles, “toute mesure qui devient un objectif cesse d’être une mesure“.

Il va de soi que ce genre de remarque marche pour les mesures de risque et le contrôle, mais aussi pour des problèmes liés à l’évaluation des universités, comme les g ou h factor, ou le classement de Shanghaï.

Hasard et uniformité, le paradoxe des enveloppes

Suite au billet de ce matin sur la loi de Benford, et sur l’erreur commune consistant à assimiler hasard et uniformité, Mathieu Rosenbaum m’a rappelé un petit paradoxe que je donnais quand je faisais la formation au concours Administrateur de l’INSEE. C’est parfois appelé le paradoxe des deux enveloppes: “Deux enveloppes contiennent chacune un chèque. On sait que l’un des chèques porte un montant double de l’autre. Le candidat choisit une des enveloppes. On lui donne la possibilité d’ouvrir l’enveloppe et de regarde le chèque, puis on lui demande s’il souhaite changer d’enveloppe. Que fait-il ?“.

Essayons de raisonner…Supposons qu’il tombe sur un chèque d’un montant X en ouvrant. Il y a deux cas possibles :

  • une chance sur deux que l’autre enveloppe contienne un chèque deux fois plus important (donc de valeur 2X);
  • une chance sur deux que l’autre enveloppe contienne un chèque deux fois plus petit (donc de valeur X/2).

L’espérance de gain (si on oublie l’utilité et les aspects économiques du problème) si on change d’enveloppe paraît donc être 0,5 * 2X + 0,5 * X/ 2, soit 1,25X, qui est (strictement) supérieur à X. Il faudrait donc à tout coup changer d’enveloppe. Moralité, quel que soit le montant, on a toujours intérêt à changer…. “Étonnant, non ?“. Il était d’ailleurs inutile de regarder le montant… et tant qu’à faire, si la stratégie optimale est de toujours changer d’enveloppe, pourquoi ne pas l’avoir fait plus tôt… Dès qu’on veut prendre une enveloppe, il faut prendre l’autre… enfin non, l’autre, enfin,…. bref, que fait-on ?

Il y a plein d’explications de ce paradoxe, ici par exemple. Personnellement, je retiendrais celle qui est liée à ce que je racontais sur la loi de Benford… Quand on fait le calcul des probabilités, prendre 1/2 et 1/2, c’est suppose que P(2X)=P(X/2)… et ce quel que soit X… autrement dit, on prend une loi uniforme sur l’ensemble des réels positifs (ou des entiers positifs si on suppose que le chèque est un compte rond). Mais une telle mesure de probabilité n’existe pas…

[20/03/2009] Sur le paradoxe des enveloppes et plusieurs autres “phénomènes curieux en probabilités et statistiques” je renvoie vers un cours article de Michel Emery, ici.

An Open Lab-Notebook Experiment