Un peu plus près des étoiles (***)

Il y a eu un gros buzz, récement autour du papier de Valen Johnson paru dans PNAS. L’article a été repris un peu partout (http://nature.com/news/, http://blogs.scientificamerican.com/absolutely-maybe/, http://arstechnica.com/science/ ou encore http://passeurdesciences.blog.lemonde.fr/ qui a repris l’information, en français). Et plusieurs personnes m’ont fait suivre des liens, en me demandant mon avis, par courriel ou via twitter. Je ne vais pas revenir sur l’étude (pour l’instant) ni sur les mauvaises lectures de l’étude, mais plutôt sur le buzz qui a eu lieu autour. Car manifestement, on ne vit pas dans la même temporalité avec les journalistes. Par ‘on‘ j’entends les scientifiques au sens large. Je veux dire par là que quand j’ai écris mon billet, il y a quelques semaines sur l’origine de la -value, ça m’a pris du temps. Et depuis, je travaille sur les suites du billet (en particulier la lecture bayésienne des tests, mais aussi les tests multiples). Faire une revue de littérature, se replonger sur l’origine d’un concept, ça prend du temps. Et je le prendrais. Je l’avais fait il y a quelques mois sur les martingales et la notion d’efficience de marché, en revenant sur les travaux d’Eugène Fama (dont certains semblaient alors ignorer l’existence). Heureusement, c’était la fin de ma session, et j’avais envie de me changer les idées.

Pour revenir rapidement sur l’article paru dans PNAS (et c’est pour cela que je fais un parallèle avec mon billet sur les martingales), il n’y a rien de bien nouveau pour ceux qui ont suivi la statistique depuis une soixantaine d’années (depuis les travaux de Fisher, en fait). Je veux dire par là qu’il y a eu des dizaines, des centaines d’articles pour critiquer l’usage systématique de la -value. On pourra penser au papier de Ziliak et McCloskey, The Cult of Statistical Significance par exemple, ou surtout le livre The Significance Test Controversy par Denton Morrison et Ramon Henkel, publié en 1970, et toutes les références mentionnées. Comme le populaire http://psychclassics.yorku.ca/Rozeboom/ de William Rozeboom, publié en 1960, avec le paragraphe que tout le monde connait,

ce paragraphe est souvent cité par Bruno Lecoutre, à qui on doit le joli Uses, Abuses and Misuses of Significance Tests in the Scientific Community: Won’t the Bayesian Choice be Unavoidable? (tiens, ce n’est pas ce que dit le papier dans PNAS ?). Si je ne devais mentionner que deux références à relire en ces temps de buzz, je penserais à Harold Jefreys qui publiait en 1961 son Theory of Probabilities, dont toute une section parle justement de la significativité

Et en 1982, Sir David Cox publiait Statistical Significance Tests, avec là aussi plusieurs paragraphes qu’il serait bon de relire,

Quant à l’alternative Bayésienne1, je renvoie au très joli papier de Bradley Efron, publié en 1998, sur Fisher in the 21st century. Bref, critiquer l’utilisation abusive de la -value n’est pas nouveau, loin de là. Et quand je dis abusive… @mc_hankins a posté sur twitter plusieurs exemples d’utilisations de -value, comme

suivi quelques lignes plus loin par un

Manifestement, pour certains, 5%, c’est 5% ! C’est un peu pour comprendre ce fanatisme que j’avais fait mon précédant billet

Maintenant, pour revenir à mon premier paragraphe, et au buzz autour de cet article, je suis convaincu que les journalistes et les scientifiques ne vivent pas dans la même temporalité. Pas seulement dans le temps que l’on met pour écrire un article, mais aussi sur le fait que dans mon étude sur les martingales, j’ai relu Fama, Samuelson ou encore LeRoy, des papiers vieux de 20 ou 30 ans. Pour revenir sur la notion de significativité, et comprendre le mythe des 5%, je me suis replongé dans les travaux de Fisher, qui datent de 60 ou 70 ans. Sans émettre de jugement de valeurs, on relit les scientifiques 20, 30 ou 50 ans après, mais je relis rarement un journaliste 5 ans après2 . Et c’est normal, je pense. Je veux dire par là que les journalistes sont là pour informer, pas éduquer. C’est aussi pour ça que je crois que les blogs académiques ont une raison d’être, car la nature a horreur du vide… Il manque de lieux pour apprendre des choses (et pas seulement se tenir informer) et les blogs académiques sont parfait pour remplir cette mission.

Mais je m’égare car je voulais parler du buzz récent, autour de la significativité statistique, et faire deux commentaires.

Le premier est que je trouve que la statistique telle que Fisher la pratiquait a pris trop de place dans l’enseignement de la statistique (là dessus, je suis assez d’accord avec les critiques). En particulier les résultats asymptotiques. Et il serait temps d’enseigner davantage la statistique bayésienne, le plus tôt possible. Je n’ai pas suivi de cours de statistique bayésienne, et je le regrette. Cela dit, dans de nombreux domaines (je pense en particulier à des conférences en hydrologie auxquelles j’ai participé) tout le monde fait du bayésien, et de manière naturelle. Mais c’est un long débat, et je ne vais pas le commencer maintenant.

Mon second est une forme de réponse à cette critique sur l’importance de la significativité. Regardons un peu l’évolution des logiciels de statistique pour mieux comprendre. Un des plus anciens logiciels pour faire des régression, TSP, a été créé au milieu des années 60. Par exemple, dans la version TSP 4.1 datant de 1987, une régression, ça ressemblait à ça (à en croire Renfro (2009))

   METHOD OF ESTIMATION = ORDINARY LEAST SQUARES

   DEPENDENT VARIABLE : DIST

            SUM OF SQUARED RESIDUALS = 11353.52
    STANDARD ERROR OF THE REGRESSION = 15.37959
          MEAN OF DEPENDENT VARIABLE = 42.98
                  STANDARD DEVIATION = 25.76938
                           R-SQUARED = 0.6510794
                  ADJUSTED R-SQUARED = 0.6438102
             DURBIN-WATSON STATISTIC = 1.6762
                   F-STATISTIC(1,48) = 89.56711
          LOG OF LIKELIHOOD FUNCTION = -206.5784
              NUMBER OF OBSERVATIONS = 50

  VARIABLE      ESTIMATED  STANDARD 
              COEFFICIENT     ERROR   T-STATISTIC
     C          -17.5791     6.7584      -2.601  
     SPEED        3.9324    0.4155        9.464

car en 1987, je faisais certes de l’informatique, mais les régressions linéaires m’intéressaient peu. Bref, je n’ai jamais pu tester ce logiciel, et j’en crois ce que j’en ai lu. Mais toutes les sorties de cette époque semblaient ressembler à celle-ci. Aujourd’hui, avec R, la même régression se lit

    lm(formula = dist ~ speed, data = cars)

    Residuals:
       Min      1Q  Median      3Q     Max 
   -29.069  -9.525  -2.272   9.215  43.201 

Coefficients:
         Estimate Std. Error t value Pr(>|t|)    
(Intercept) -17.5791  6.7584  -2.601   0.0123 *  
speed         3.9324  0.4155   9.464 1.49e-12 ***
---
      Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

    Residual standard error: 15.38 on 48 degrees of freedom
    Multiple R-squared:  0.6511,	Adjusted R-squared:  0.6438 
    F-statistic: 89.57 on 1 and 48 DF,  p-value: 1.49e-12

Vous avez-vu la différence ? Regardez tranquillement, on a le temps…

Oui… les étoiles ! Les fameuses étoiles ! Quand j’enseigne les méthodes de régression, la seule chose qui intéresse et fascine les étudiants, ce sont les étoiles. C’est expliqué sous le tableau, les étoiles, c’est la significativité. En dessous de 5% de significativité, on a le droit a une étoile, et en dessous de 0.1%, on a carrément le droit à trois étoiles ! Dois-je reprocher à mes étudiants de ne retenir que cette histoire stellaire de mon cours de prévision (predictive modeling comme on dit) ? De plus en plus, on veut des formations professionnelles, orientées vers la pratique, vers les vraies applications. Alors dans les cours, on enseigne des recettes de cuisine… et une d’entre elles est basée sur le fait que pour qu’un modèle soit valide, avec des variables significatives, il faut garder les variables avec des étoiles. Vivement un cours où on aura le temps d’apprendre des trucs inutiles quand on va ensuite travailler en entreprise, des trucs qui prennent du temps à être compris (oui, les concepts, c’est souvent subtil, c’est plus difficile à expliquer qu’une recette simple: pas d’étoile, tu recommences), un cours où on prendrait le temps de s’interroger sur le sens des recettes que l’on apprend par cœur. Parce que mine de rien, toute une génération de personnes qui ont suivi des cours de stats n’ont retenu qu’un truc: regarder les étoiles. Et les gens qui regardent les étoiles, c’est dur de leur demander du jour au lendemain de regarder ailleurs…

1.pour les plus courageux, qui liront rapidement le billet, je rappelle que vendredi matin, Xiao-Li Meng donnera un exposé depuis le Fields Institute à Toronto, intitulé sobrement “Who is crazier: Bayes or Fisher?” et l’exposé sera retransmis en direct sur http://fields.utoronto.ca.
2.bon, je devrais peut-être nuancer un peu, car j’ai eu un grand plaisir à découvrir il y a quelques années les écrits d’Albert Londres (surtout au bagne ou en Afrique, avec terre d’ébène) ou de Georges Orwell (mais je ne sais pas si ses témoignage sont des essais ou du journalisme…)

Triangles et provisionnement

Pour le quatrième devoir d’actuariat IARD 2, on va travailler sur des (vrais) triangles de paiements de compagnies d’assurance. Les données ont été collectées par Glenn Meyers et Peng Shi, et sont en ligne sur http://casact.org/research/…. A partir du ‘code’ de groupe, pour récupérer ses données, il faut utiliser la petite fonction écrite dans le fichier

> source("http://freakonometrics.free.fr/codeACT2040-4.txt")

Par exemple, pour le groupe 10,

> extract.triangle(10)
$triangle.increments
        0    1     2     3    4     5    6   7   8   9
1988 1249 2843  4801  6623 8290 10264    1 431 586 714
1989  946 1983  7024  7415 7771  4489 2431 913 638  NA
1990 1765 2978  5111 10617 6285  6898 9628   1  NA  NA
1991 1408 3818  4542 11869 3702  6235 6164  NA  NA  NA
1992 1647 5981  5220  5475 3620  1196   NA  NA  NA  NA
1993 7566 7425 14475 19624 8500    NA   NA  NA  NA  NA
1994 2299 4557 17098 37542   NA    NA   NA  NA  NA  NA
1995 4959 8582  9462    NA   NA    NA   NA  NA  NA  NA
1996 6063 3644    NA    NA   NA    NA   NA  NA  NA  NA
1997 6507   NA    NA    NA   NA    NA   NA  NA  NA  NA

$name
[1] "Federal Ins Co Grp"

$source
[1] "prodliab_pos"

Pour le rapport, je veux avoir le nom de la compagnie, ainsi que la ‘source’ (PP Auto, Workers Compensation,Commercial Auto,Medical Malpractice,Product Liability, ouOther Liability). Pour jouer avec les données, il suffit d’utiliser

> T=extract.triangle(10)$triangle.increments
> T
        0    1     2     3    4     5    6   7   8   9
1988 1249 2843  4801  6623 8290 10264    1 431 586 714
1989  946 1983  7024  7415 7771  4489 2431 913 638  NA
1990 1765 2978  5111 10617 6285  6898 9628   1  NA  NA
1991 1408 3818  4542 11869 3702  6235 6164  NA  NA  NA
1992 1647 5981  5220  5475 3620  1196   NA  NA  NA  NA
1993 7566 7425 14475 19624 8500    NA   NA  NA  NA  NA
1994 2299 4557 17098 37542   NA    NA   NA  NA  NA  NA
1995 4959 8582  9462    NA   NA    NA   NA  NA  NA  NA
1996 6063 3644    NA    NA   NA    NA   NA  NA  NA  NA
1997 6507   NA    NA    NA   NA    NA   NA  NA  NA  NA

Il s’agit de triangle d’incréments, la ‘colonne’ de gauche étant l’année de survenance. Je n’ai pas testé toutes les bases, merci de me dire rapidement s’il y a des soucis.

Mathématiques de l’Assurance Non-Vie (2)

« Dans ce contexte d’incertitude, il est particulièrement réconfortant de revenir aux sources, aux fondamentaux, c’est-à-dire aux mathématiques et de rappeler que le risque naît de l’aléa et s’appréhende grâce aux développements les plus avancés du calcul des probabilités. » (Claude Bébéar, dans la préface du tome 1)

Après avoir été épuisé plusieurs semaines (voire plusieurs mois ?), une nouvelle impression du tome 2 de Mathématiques de l’Assurance Non-Vie, coécrit avec Michel Denuit, est de nouveau disponible. J’ai été surpris quand on nous a dit – en début d’année – que le second tome serait bientôt épuisé, et que plus d’un millier d’exemplaires avaient été vendus (ou donnés, ou volés… peu importe). Surpris qu’autant de monde pouvait être intéressé par un gros pavé (les deux tomes doivent faire plus de mille pages, au total) aussi sérieux. Comme le notait Gilles Bénéplanc dans la revue Risques, « s’ils sont riches et rigoureux (le titre présente l’avantage ne pas être trompeur quant au contenu), ces deux volumes d’actuariat se lisent toujours avec intérêt et même souvent avec plaisir ». Car effectivement, on a passé du temps à choisir le titre, et on est vite tombé d’accord sur le fait qu’il fallait insister sur le fait qu’il s’agissait de livre de Mathématiques (avant tout). Pour la petite anecdote, j’étais allé le chercher chez Gibert (juste après la publication du premier tome… après avoir fait un détour par les rayons de bandes dessinées, bien sûr). En vain. Là, un vendeur m’a expliqué que le livre était considéré comme traitant d’assurance, et que l’assurance était rangé dans les rayons de droit. Bref, notre livre vert était perdu au milieu des livres de Dalloz (alors que les livres de mathématiques financières se trouvaient dans la section mathématiques). Mais c’est un détail, tant qu’en le cherchant, on le trouve…

Je dois aussi dire que je suis très fier du livre. Très fier que des étudiants et des praticiens me disent le lire. Très fier d’apprendre que des étudiants au Brésil avaient photocopié (et traduit) l’introduction aux modèles de ruine (que l’on introduit avec l’approche de de Finetti, beaucoup plus intuitive je trouve…). Très fier quand des chercheurs que j’admire me disent avoir trouvé un petit résultat qu’ils cherchaient pour un papier de recherche (je pense a des discussions avec Alain, à Paris 1, sur la transformée d’Esscher). Je trouve aussi dangereux qu’autant de monde le lisent, car il est truffé d’erreurs. Mais après près de 6 mois de relecture complète, presque tous les jours, on fini par ne plus rien voir. Et malgré le travail incroyable de Christian, éditeur de la collection, il reste des coquilles (des coquillettes j’espère). Mais si on devait attendre que les livres soient parfaits avant de les publier, rien ne sortirait. Après presque dix ans, je pense que je réécrirais des paragraphes d’une autre manière, ou que je mettrais plus d’aspects algorithmiques. Mais ce qui est fait est fait, et j’en suis encore assez fier. OK, très fier.

Lorsque l’on a été contacté, on nous a demandé s’il fallait un  nouveau tirage, ou si une seconde édition (revue et corrigée) serait nécessaire. Soyons réalistes. Le livre n’est plus forcément à jour, et comme je l’ai dit, il reste beaucoup de coquilles, voire de fautes (il faudrait que l’on prenne le temps de les recenser). Mais une nouvelle édition ferait probablement doubler la taille du livre, et prendrait beaucoup de temps ! Sur les deux premiers chapitres, Michel a publié un livre complet sur les données de comptage en assurance. Sur les aspects computationnels, je vais éditer un livre à venir. Et s’il y a 10 ans, il y a avait encore peu de livres sur le sujet, plusieurs permettent maintenant de rentrer plus en détails sur certains aspects. Je pense au livre de Mario Wüthrich et Michael Merz sur le provisionnement (plus clair que le chapitre de notre livre, et plus complet). Pareil pour les chapitres de micro économie de l’assurance, ou sur les valeurs extrêmes ! On avait mis ensemble nos notes de cours, et on a pris plaisir à travailler ensemble sur ce projet. Et le livre reste pertinent pour nos cours. Il faudra juste aller voir ailleurs pour aller plus loin sur certains aspects ! Donc toutes nos excuses d’avoir juste demandé un retirage du livre, et de ne pas avoir pris le temps de faire une révision complète du livre…