Demain vendredi, suite et fin du cours ACT2121, de préparation pour l’examen P de la SOA (probability). Un nouveaux jeu d’exercices, sur tous les thèmes, ou presque
Le dernier examen aura lieu la semaine prochaine, et portera sur tous les thèmes.
This Monday, I will give a talk at Sherbrooke University, at the statistical seminar, on risk measures and inequality indices, based on some (recent) joint work, with Emmanuel Flachaire. I am still working on the slides, that will be uploaded, some day…
L’examen final du cours ACT2040 aura lieu, comme confirmé par courriel il y a plusieurs jours, le mercredi 11 décembre, pendant 3 heures. Il y aura surtout des sorties à commenter. Les sorties seront obtenues à partir des trois jeux de données suivants
> CORPOREL=read.table("http://freakonometrics.free.fr/corporel-2040.csv",header=TRUE,sep=";")
> tail(CORPOREL)
degre age cat.age sexe vehicule anciennete alcool cat.alc
76336 indemne 45 40-49 M voiture 6 0 0-20
76337 corporel 59 50-59 F voiture 2 0 0-20
76338 indemne 34 30-39 F voiture 2 0 0-20
76339 indemne 29 26-29 F voiture 5 9 0-20
76340 indemne 64 60+ M voiture 0 0 0-20
76341 indemne 57 50-59 F voiture 1 0 0-20
Il s’agit d’observations d’accident automobiles, en Australie, la variable d’intérêt étant ici la gravité (le degré) de l’accident. Parmi les variables explicatives, l’âge du conducteur (en variable ‘continue‘ et en classes arbitraires) et son degré d’alcoolémie (en variable ‘continue‘ et en classes liées à des critères légaux, en g/10L), l’âge de la voiture, et le sexe du conducteur (M pour les hommes et F pour les femmes).
Le second jeu de données est un triangle de paiements, cumulés, avec la prime acquise, par année calendaire,
> load("http://freakonometrics.free.fr/triangle-intra.txt")
> intra
$triangle
0 1 2 3 4 5 6 7 8 9
1988 5244 9228 10823 11352 11791 12082 12120 12199 12215 12215
1989 5984 9939 11725 12346 12746 12909 13034 13109 13113 NA
1990 7452 12421 14171 14752 15066 15354 15637 15720 NA NA
1991 7115 11117 12488 13274 13662 13859 13872 NA NA NA
1992 5753 8969 9917 10697 11135 11282 NA NA NA NA
1993 3937 6524 7989 8543 8757 NA NA NA NA NA
1994 5127 8212 8976 9325 NA NA NA NA NA NA
1995 5046 8006 8984 NA NA NA NA NA NA NA
1996 5129 8202 NA NA NA NA NA NA NA NA
1997 3689 NA NA NA NA NA NA NA NA NA
$primes
[1] 15883 16689 18029 17858 16709 14212 15083 15131 15465 11217
en cas de soucis pour l’importation, il sera possible d’utiliser la commande
> source("http://freakonometrics.free.fr/triangle-intra2.R")
Enfin, le dernier jeux de données sera un peu plus insolite pour ce cours. Il s’agit de données de tables de mortalité, au Canada
> DECES=read.table("http://freakonometrics.free.fr/DECES-CAN.csv",header=TRUE,sep=";")
> tail(DECES)
D E A Y
772 84 147 105 2010
773 39 76 106 2010
774 23 40 107 2010
775 15 20 108 2010
776 7 8 109 2010
777 5 5 110 2010
Par année Y, on observe un certain nombre de personnes en vie E, d’âge A au 1er janvier, et un certain nombre va décéder dans l’année, D. Par exemple, en 2010, il y avait 147 personnes de 105 ans en début d’année, 84 vont décéder dans l’année. L’idée sera d’utiliser les modèles de provisionnement pour modéliser les probabilités de décéder.
Ambitieux programme, je sais. Et autant le dire tout de suite, ça risque fort de partir dans tous les sens…
Dans un précédant billet je parlais du nombre d’Erdős, qui est l’équivalent de la théorie des 6 poignées de main (qui semble être de 4.74 pour les personnes sur Facebook, ou peut-être encore moins sur Linkedin où j’ai constamment l’impression que j’ai des connaissances communes avec tout le monde !) pour des mathématiciens. Dans un cas, on nous dit que toute personne sur terre peut être reliée à n’importe quelle autre, au travers d’une chaîne de relations individuelles comprenant au plus cinq autres maillons. Dans le second cas, on nous dit que les chercheurs en maths peuvent se relier entre eux, via leurs coauteurs (en passant par Paul Erdős au pire). On peut d’ailleurs faire un calcul explicite, en ligne (je me suis rendu compte que j’étais plus proche de plusieurs médailles Fields que je ne le pensais…). Cela dit, coauteur de papiers, et amis sur Facebook, ce n’est pas la même chose (si j’en crois la manière dont certains collègues peuvent parler de leurs (anciens le plus souvent) coauteurs). Tout ça pour dire que le réseau d’un chercheur va bien au delà coauteurs. J’en parle d’autant plus volontiers qu’il y a beaucoup de collègues avec qui je m’entends très bien, avec qui j’ai pu passer des semaines de vacances quand on était au doctorat par exemple ou que l’on continue à croiser, avec ou sans enfants, qui passent faire un BBQ a la maison quand ils sont de passage à Montréal (quand ils ne squattent pas une semaine à la maison), etc. Bref, comme le disait une personne de mon jury de thèse, ‘le monde académique est petit‘ (‘tout petit‘ aurait dit David Lodge).
Pourquoi je raconte tout ça ? Ce matin, Luziadell me faisait découvrir (via Twitter) une ‘étude’ qui disait que “recruiters spend only 6 seconds reviewing an individual resume“. Ce qui m’a fait pensé à plusieurs discussions suite a mon billet du milieu de la semaine, où je disais (dans un commentaire) que je n’avais plus le temps de lire les CV que je recevais, comme beaucoup de collègues (faute de temps, mais aussi parce qu’on n’y comprends vite plus rien). Pour être plus précis (et plus honnête), si je ne lis plus les candidatures spontanées pour les stages, en revanche, je lis en détails les CV pour l’admission à la maîtrise et au doctorat (et pareil pour le recrutement, où on a moins de dossiers qu’en maths pures). Mais comme je le disais, souvent, je lis un CV et je ne sais pas trop quoi en penser… Et le secret, c’est le réseau ! C’est à dire qu’au lieu de me fier au CV, je vais essayer de voir si je connais un prof dans une formation qui aurait pu connaître l’étudiant, et j’essaye de le contacter. Je peux raconter une expérience qui commence à dater (il y a maintenant prescription) : lorsque j’étais enseignant à l’ENSAE, j’ai été sur un comité qui gérait les admissions sur titre (hors concours). Le but était, à partir de 50 dossiers, faire un classement. Classer les gens, à partir d’information différentes est difficile, et je me suis rendu compte que les notes comptaient, mais ce n’est pas ce qui était regardé en premier. Je me souviens que les personnes les plus seniors regardaient beaucoup les lettres de recommandation. J’ai été choqué sur le moment, trouvant que ce n’était pas juste. Mais avec le recul, je me rends compte que c’est au contraire le meilleur système (en combinant cette information avec les autres, cela va de soi). En contrepartie, il faut, bien entendu, ne recommander que si les étudiants le méritent (sinon notre recommandation perd tout crédit). Depuis, je recommande, toujours avec parcimonie, pour que mes étudiants trouvent des stages, ou soient admis sur dossier dans des formations. Et je pense que ça marche1… Maintenant je suis aussi lucide sur le fait que ma recommandation ne fait pas tout, loin de la. Mais il y a une forte corrélation entre les deux… heureusement.
Quand j’étais encore jeune, mon père m’avait expliqué que ce n’est pas le nom de la formation qui fait sa valeur, ce sont ses élèves. Avec l’expérience, je dirais que ce sont aussi ses enseignants2. Par exemple, là où j’enseigne, tous les cours sont données deux voire trois fois par an. Et pas par le même prof. Je suis exigeant. Très exigent. Et je sais qu’un étudiant qui a eu 80 avec moi aurait pu avoir 90 avec un autre. C’est injuste si l’on se dit que les employeurs ne se fient qu’aux relevés de notes. Mais je ne changerais pas mes standards pour autant3. Les profs assurent le prestige de la formation auprès des autres formations (compte tenu des échanges qui existent entre les institutions), mais aussi des employeurs. Ceux qui ne sont pas convaincu pourront relire l’article dans l’agefi.fr sur Nicole el Karoui, à “qui les les marchés lui disent merci !” pour avoir su “créer une formation unique en analyse quantitative, très prisée des salles de marché“. Et je pourrais en trouver d’autres ! Dans ce jeu triangulaire employeurs-enseignants-élèves, les enseignants jouent un rôle non négligeable !
L’an passé, il y avait eu des (grosses) manifestations au Québec contre la hausse des frais d’inscriptions (au moins au départ), et je n’ai jamais caché mon point de vue. Je n’aime pas l’idée de voir les étudiants venir des consommateurs à l’épicerie des diplômes, car j’ai l’impression que beaucoup (trop) d’étudiants cherchent un diplôme plus qu’une formation. Je suis toujours navré quand après plusieurs cours, les seules questions qui me sont posées sont “ça sera à l’examen ?”. Il faut arrêter de croire que le diplôme a un sens. Comme je le disais, on ne lit plus les CV, on ne regarde plus quel cours vous avez fait, on ne sait même plus comment juger les notes ! Par contre, si vous êtes soutenu par un enseignant, j’ai l’impression que cela ouvre des portes, que ce soit pour poursuivre des études ailleurs, ou pour trouver un travail intéressant… Moralité ? Aimez-vos profs ! (ou à défaut, respectez les un minimum)4.
1.Cela dit, un danger avec ce système est que parfois, les personnes qui ne lisent pas les CV ne prennent pas le temps de lire les recommandations. J’ai eu cette mésaventure une fois, car je dois avouer que j’ai du mal à dire non. Bref, un étudiant voulait absolument que je le recommande. J’ai accepté (en précisant – comme toujours – que j’enverrais directement la recommandation à l’employeur, afin de donner plus de cachet). Ma ‘recommandation‘ était de ne pas embaucher l’étudiant (la lettre était longue et argumentée).. et l’étudiant a été embauché..
2. Si j’osais un parallèle, je mentionnerais une phrase mentionnée dans how Google sold its engineers to managenent, qui disait “people don’t quit companies—they quit managers“, que je traduirait en disant que ce n’est pas la marque de la compagnie pour laquelle on travaille qui fait l’emploi, ce sont les collègues, et avant tout le manager. Transcrit en termes d’études, je disais que ce n’est pas le nom de la formation qui fait sa qualité, ce sont ces enseignants (qui en sont- quelque part – les managers).
3. Ce n’est pas rationnel car dans ce jeu, les professeurs sont évalués par les étudiants, et les évaluations fournies sont utiles pour la promotion des professeurs. Mais j’ai arrêté de lire les évaluations. Je veux dire que juger si un prof est dynamique, s’il est souvent en retard, etc, c’est une information intéressante, mais si on traîne un peu sur des sites comme http://ratemyprofessors.com/, par exemple, on voit que ça va beaucoup plus loin ! Je suis assez mal a l’aise quand un jeune de 22 ans dit que son professeur de probabilité ne connaît pas la matière alors que c’est une star sur le domaine, et que ses livres font références. Oui oui, c’est un exemple réel que j’ai pu voir… C’est amusant de traîner un peu sur ce site, on comprend mieux ce que cherchent les étudiants qui prennent le temps de remplir des évaluations (un prof sympa a l’examen qui place des jokes régulièrement). Par contre, pour revenir au point de mon paragraphe, être ‘juste’ sur les notes est important dans la mesure où je pars du fait que quand je mets une note, je donne une forme de recommandation…
4. et non, ce billet n’était pas (uniquement) destiné à l’étudiant qui m’a envoyé un courriel laconique hier “salut, c’est possible d’avoir les données pour le devoir ?”
I am getting old, some day, I will probably admit it. And I have been wondering, over the past months, if things have changed in the actuarial profession. And how. I have seen things changing in Europe, mainly due to Solvency II requirements, and I know that the ‘culture’ of actuarial studies is not the same in Europe and in North America (in Europe, as far as I know, student discover actuarial science in graduate programs, usually after a bachelor program in mathematics, or economics and business, with a strong quantitative background). But in North America, I had the feeling that actuarial studies are more ‘business’ than ‘mathematics’. So I wanted to get a better understanding of that feeling I had. When I was working on the associateship exams (while I was working as an actuary in Hong Kong), I remember reading the Loss Models, trying to get a better understanding of ruin theory and credibility concepts. But in the new edition, ruin theory has been removed, and I keep wondering when (in their studies) actuarial students in North America hear about solvency. I am still working on that, reading past syllabuses (or syllabi, I don’t understand what should be the plural) of the SOA preliminary exams.
S’il y a une tâche que je déteste par dessus tout dans ma vie d’enseignant-chercheur, à Montréal, c’est celle de traducteur de CV de Français. Assez (pour ne pas dire trop) régulièrement, on me demande de donner un coup de main pour décoder le CV d’un étudiant Français, à la recherche d’un “stage“. Sous prétexte que les Québécois parlent le français, beaucoup d’étudiants nous envoient des CV en français, malheureusement dans une langue qui ne parle qu’aux français (de France). On y entend parler de “CPGE” (souvent sans expliquer ce que cela signifie), de “Master” ou pire, de “Stage de Master 2”. Je me souviens de dialogues savoureux avec des collègues,
– ça veut dire quoi ça M2 ?
– ça correspond à la deuxième année de maîtrise, en gros… [ndlr oui, LMD c’est un système qui n’existe pas en dehors de l’Europe, le reste du monde raisonne davantage en undergraduate et graduate studies je pense]
– donc ils écrivent leur mémoire ?
– euh, non, ils ont encore plein de cours, tu vois ça sur le relevé de notes…
– ils suivent tant de cours que ça ?
– en fait, un cours, je ne sais pas trop combien ça fait d’heures, mais c’est souvent une vingtaine… il n’y a pas marqué le nombre d’heures dans le relevé de notes ? [ndlr à Montréal, un cours c’est 45 heures, et quand on suit des études graduées, c’est rare d’en suivre beaucoup]
– non… d’ailleurs, pourquoi il a suivi autant de cours de physiques ? il veut être ingénieur ou faire de la finance ? s’il veut faire de la finance, pourquoi il n’a pas fait une formation en finance, avec quelques cours d’économie plutôt ?
– euh… c’est compliqué c’est le principe des école d’ingénieurs en France… souvent les élèves regardent le “classement” des écoles et pas ce qui y est enseigné… donc tu peux rentrer dans une école d’électronique avant de te rendre compte que tu aimes la finance computationnelle [ndlr suit souvent une longue discussion sur les écoles, ou la variétés d’écoles, ce qui embrouille tout le monde, car toutes les écoles ont des noms proches, et qui fait que personne n’y comprend rien]
– ah ? [ndlr je vais simplifier le message d’incompréhension qui suit mon long monologue] et 14.23 c’est bien comme moyenne ?
– ça dépend, ne veut pas dire grand chose… tiens, regarde le classement
– il n’y a pas de classement…
– pfffff qu’est-ce que j’en sais moi….
– s’il est bon, pourquoi il ne reste pas faire son mémoire en France ? si j’ai un bon étudiant en maîtrise, je le garde au moins jusqu’à la fin de son mémoire [ndlr oui, quand tout se passe bien, à Montréal, quand un étudiant est inscrit en maîtrise, il suit son directeur pendant les deux ans, ce dernier en contrepartie le finance]
– non, c’est pas un mémoire qu’il cherche, il veut un “stage”, c’est obligatoire… normalement tu le fais en entreprise, mais tu peux aussi le faire dans un labo universitaire
– en entreprise? mais il a fini ses cours?
– ben oui, je pense
– pourquoi il travaille pas alors? il pourrait chercher un emploi, ça serait mieux payé
– en fait je crois qu’un stage, c’est une période d’essai pas cher, avant une embauche…. c’est un peu une arnaque, mais ça marche comme ça en France.
– c’est louche ton histoire. S’il veut travailler en entreprise ensuite, autant qu’il cherche un stage en entreprise, et s’il veut le faire dans un labo, c’est qu’il veut faire un doctorat par la suite ?
– euh… effectivement, je sais pas trop….
– bon, tu nous embrouilles avec tes français, on comprend rien, on va relire les CV reçus d’étudiants de Téhéran, au moins ils sont plus clairs !
Je pense que tous mes collègues qui sont passé par le système français, et qui sont maintenant à l’étranger (disons en dehors de l’Europe) ont tous vécu des histoires similaires. Les étudiants français sont souvent bons, mais ils sont incroyablement mauvais pour se vendre ! Je ne peux que conseiller aux étudiants de tenter de postuler pour faire des césures, des stages, des semestres à l’étranger ! Mais il fait comprendre que personne ne comprend rien à vos CV ! On reçoit des applications de toutes les régions du monde, et les CV de Français sont les plus durs à comprendre, car aucun effort n’est fait pour qu’un étranger le comprenne. Je ne dis pas que c’est simple. Sur http://fr.wikipedia.org/, il y a un schéma censé comparer le système d’éducation supérieur au Québec et en France (ou disons une version simplifiée de la France), qui éclaire un peu, mais il faudrait aller un peu plus loin. Peut-être faudrait-il traîner un peu en ligne pour voir des CV d’étudiants de maîtrise, voir des formats que l’on a l’habitude de recevoir. Les commentaires sont ouverts si quelqu’un a des suggestions… mais personnellement, j’en ai marre de faire le boulot et de ré-expliquer le fonctionnement d’un système que j’ai de plus en plus de mal à comprendre…
[ndlr to be continued….]
[mardi 26 novembre] Grâce à Emmanuel Davidenkoff, il est possible d’entendre ce billet ! on n’arrête pas le progrès ! (merci à Mathieu et @FrenchRedFrog qui me l’ont appris ce matin)
Most of the time, when we introduce binomial models, such as the logistic or probit models, we discuss only Bernoulli variables, . This year (actually also the year before), I discuss extensions to multinomial regressions,
where
is a function on some simplex. The multinomial logistic model was mention here. The idea is to consider, for instance with three possible classes
the following model
and
This Winter, I will be giving a (graduate) course on extreme values, and copulas (more generally multivariate models and dependence), MAT8595. It is an ISM course, and even if it will probably be given in French, I will upload information here, in English. I will upload the (detailed) syllabus of the course during the Christmas holidays. But to give an overview, for those willing to register, the first part of the course will focus on extreme value theory. The references will be
The second part of the course will be on multivariate distributions. The references will be
Specific references and more details about the chapters will be given during the course. I will upload exercises this winter, as well as a list of articles that will be used for projects. Examples will be illustrated using R functions from dedicated packages.
Grades will be based on exercises (homework), report (based on a published paper) and final writen exam.
This Winter, I will be giving a (graduate) course on time series, MAT8181. It is an ISM course, and even if it will probably be given in French, I will upload information here, in English. I will upload the (detailed) syllabus of the course during the Christmas holidays. But to give an overview, for those willing to register, the first part of the course will focus on linear models, univariate and then multivariate. The references for this first part are
In the second part, we will introcue non-linear models, used in financial econometrics, from ARCH to GARCH, as well as stochastic volatility models. The references for this second part are
[a pdf version can be found on Eric Zivot’s webpage]
Specific references and more details about the chapters will be given during the course. I will upload exercises this winter, as well as a list of articles that will be used for projects. Examples will be illustrated using R functions from dedicated packages.
Grades will be based on exercises (homework), report (based on a published paper) and final writen exam.
Une des formules les plus importantes en probabilité (je trouve) est la “formule des probabilités totales” qui dit tout simplement que
que l’ont peut aussi écrire, à l’aide de la formule de Bayes
Une des conséquences de ce résultat est la “law of total expectation“, souvent appelé théorème de double projection,
que l’on écrit souvent sous la forme raccourcie (dans la formule de droite, le premier symbole est un espérance, c’est à dire une intégrale, et donc un nombre réel, alors que le second indique que l’on travaille sur une espérance conditionnelle, c’est à dire une variable aléatoire). Mais comme toujours dans les relations simplifiée, il faut savoir de quoi on parle.
La démonstration est simple
soit
ou enfin
tout simplement.
L’interprétation est encore plus simple (pour utiliser un exemple que j’aime de plus en plus) : si est le poids d’une personne , et
le sexe, alors
c’est à dire que le poids moyen d’une personne prise au hasard est un barycentre (damned, je fais déjà de la géométrie) entre le poids moyen des hommes et le poids moyen des femmes, les poids pour le calcul du barycentre étant liés aux proportions d’hommes et de femmes. Tout simplement.
Il existe une autre relation classique en probabilité (connue en statistiques sous le nom de “formule de décomposition de la variance”) qui dit que
Là aussi, on a une écriture un peu simplificatrice, que l’on va essayer de décortiquer un peu. Pour ça, le plus simple est de faire un peu de géométrie. Car oui, dans les espaces de variables aléatoire, on peut faire de la géométrique. En particulier des projections (orthogonales). Mais avant, de faire des projections, il faut des distances, des angles, une notion d’orthogonalité, etc.
Pour parler d’orthogonalité, il faut une notion de produit scalaire. Pour rappel, un produit scalaire, sur un espace , c’est défini par
De ce produit scalaire, on peut déduire une norme
En effet, on retrouve la propriété d’homogénéité, (c’est pour ça que l’on prend la racine carrée), et
si et seulement si
. On a aussi l’inégalité de Cauchy-Schwarz,
qui va impliquer l’inégalité triangulaire
On dira que deux vecteurs sont orthogonaux, noté si
. Dans ce cas, on a la relation de Pythagore,
Autre objet intéressant, la projection orthogonale. Rappelons tout d’abord que si , on dira que
si
y pour tout
. Et on notera
On a alors des résultats intéressants. En particulier, pour tout , il existe un unique
tel que
On peut aussi montrer que . On parlera alors de projection orthogonale de
sur
, et on pourra noter
. Tout cela est assez standard dans les espaces de dimension finie (on pensera à
pour avoir un peu d’intuition). On connait plein de choses sur les projections orthogonales, il suffit de penser dans
pour avoir un peu d’intuition. Par exemple, si
, alors
Cette relation est vraie dans , mais aussi dans des espaces plus généraux. C’est ce qu’on appelle le théoreme de double projection (on qu’on devrait voir réapparaître sur les variables aléatoires).
L’espace des variables aléatoires de variance finie – – peut être muni d’une telle opération, de produit scalaire,
La norme est alors . En fait, on voit qu’on s’avance sur un terrain glissant ici, car pour avoir un produit scalaire, il faudrait que
si et seulement si
, et pour avoir une norme il faudrait que
si et seulement si
. Le soucis technique ici est que
signifie que
et pas
pour tout
. Bref, l’égalité est a comprendre au sens presque partout. Mais c’est un point de détail (ici). Techniquement, comme l’explique justement Williams (1991) dans le chapitre 6,
est précisément l’espace
(classique en probabilité) quotienté par cette relation d’équivalence
.
Un sous-espace de est l’espace des constante,
, que je noterais aussi
. On notera que, comme rappelé dans tous les cours que je donne
c’est à dire que
L’espérance est la projection orthogonale sur l’espace des constantes. Et
Un autre sous-espace de qui sera intéressant est le suivant. Si
, on notera
Par exemple, on peut considérer une variable de Bernoulli, où
. Dans ce cas, le sous-espace est équivalent au sous-espace des combinaisons linéaires,
Techniquement, je pense que
mais il semblerait qu’on ait égalité stricte… Mais comme je veux parler de projection sans parler de l’espace , on va continuer avec mon interprétation heuristique, et je ne parlerais pas de
. Je fais des projections sur des sous-espaces de
, pas sur des
-algèbres.
Si , on posera
qui sera la solution du problème de moindres carrés
On notera que , et on retrouve ici l’écriture standard d’un modèle de régression,
. On parlera alors d’espérance conditionnelle. Qui est ici une variable aléatoire, par construction. En fait, l’unicité de la variable aléatoire est possible précisément parce que tout a l’heure, on définissait une égalité presque sure.
On avait rappelé le théor`eme de double projection tout a l’heure. Et comme , alors
ce qui se traduit par la relation bien connue
En économétrie (linéaire) et dans les premiers cours de séries temporelles, on introduit un autre type d’opérateur car on ne projette pas dans des espaces aussi gros que . On introduit souvent l’opérateur d’espérance linéaire, avec
où (comme on l’avait introduit tout à l’heure)
et pour les séries temporelles stationnaires,
Oui, si le processus est stationnaire, je peux régresser sur tout le passé, mais dans ce cas, je pense qu’il faut fermer l’espace afin de projeter dessus…
Bon, maintenant, on voit que mon interprétation géométrique est bancale… en effet, je ne peux définir mon espérance conditionnelle (voire mon espérance tout court) à l’aide de projections orthogonales que si je suis dans un espace muni qu’un tel opérateur. Et si est un espace de Hilbert, ce n’est pas le cas de
. Pourtant, nul besoin d’être dans
pour définir une espérance conditionnelle… Je pense que l’astuce peut être de noter que si
appartient à
mais pas
, on peut quand même s’en sortir car
est un espace de Banach et on a malgré tout des notions de convergences. Et
est dense dans
. Bref, en faisant un peu de limite, pour peut étendre ce qu’on vient de faire pour les variables qui ne sont pas de carré intégrable…
Visuellement (il serait peut-être temps de faire des dessins, non ?) on a
On voit apparaître un paquet de relations sur ce dessin, que ce soit des doubles projections, mais aussi le théorème de Pythagore. Mais prenons notre temps…
Maintenant, si on regarde un peu détails, il y a des choses étranges. Par exemple se traduit ici par
. Mais ce n’est pas ce qu’on utilise classiquement comme notion d’orthogonalité. On a davantage l’habitude de voir
Qu’est ce qu’on a raté ? L’idée est de poser , et
, c’est à dire que l’on va travailler sur les variables centrées. On peut noter que
et on va définir la covariance entre X et Y a partir des vecteurs translatés,
et la corrélation comme
où est l’angle entre les vecteurs
et
. On dira que
si
(au sens géométrique du terme), qui correspond a la relation classique
). Le théroreme de Pythagore nous dit que si
, alors
Ce qui se traduit par
si les variables sont orthogonales.
Maintenant, on était allé un peu plus loin tout a l’heure, avec des variables correspondant à des espérances conditionnelles. Par exemple, la formule de décomposition de la variance. On peut reprendre l’égalité du théorème de Pythagore, avec
et
On note facilement que , car
alors que
, par construction de la projection orthogonale. Aussi le théorème de Pythagore nous dit que
Pour le terme de gauche, c’est assez facile,
Pour le premier terme de droite, la aussi, c’est facile, car , par le théorème de double projection, et donc
Pour le dernier terme, a droite, c’est plus vicieux. Disons qu’on va l’identifier a une variance conditionnelle (je n’ai toujours pas défini formellement de variable aléatoire appelée “variance conditionnelle“), i.e.
On retrouve alors la formule de décomposition de la variance, en variance intra et variance inter.
Cette formule est classique en statistique, en régression (les résidus sont orthogonaux a , on aura donc une partie de la variance qui sera expliquée par nos variables explicatives
et une partie qui sera dite non expliquée) ou en crédibilité (je peux renvoyer cette fois à l’exemple des jeux de fléchettes de Philbrick (1982)). Promis, on reparlera de géométrie cet hiver, quand je ferais les lois multivariées en cours (avec cette fois des notions d’invariance, de rotations, de symétries, etc)
Some great thoughts about research… via Twitter
The methods were described in the 3rd person passive voice to create an illusion that everything went according to plan #overlyhonestmethods
— Michael Hale (@Hey_MickeyH) January 9, 2013
I used these statistical measures because I didn’t know how to change the default settings in my data analysis software #overlyhonestmethods
— Yash Gad (@DrYashGad) February 5, 2013
incubation lasted three days because this is how long the undergrad forgot the experiment in the fridge #overlyhonestmethods
— dr leigh (@dr_leigh) January 7, 2013
We just thought of it after a drink in a local bar one evening at full moon, years after the study was completed #overlyhonestmethods
— Arthur Charpentier (@freakonometrics) November 17, 2013
Wait… that one was actually a true story
Additional variables were not considered because everyone involved is tired of working on this paper. #overlyhonestmethods
— Seth Zenz (@sethzenz) January 9, 2013
“Rats selected for echocardiograms were those determined to be least likely to bite me.” #overlyhonestmethods
— Brian S. McGowan PhD (@BrianSMcGowan) January 9, 2013
I use robust standard errors for everything because I actually don’t understand heteroskedasticity #overlyhonestmethods
— Darin Self (@darinself) June 16, 2013
I used students as subjects because rats are expensive and you get too attached to them #overlyhonestmethods
— Anthony Finkelstein (@profserious) January 9, 2013
This paper was cited because everyone else does, but no one has actually read it #overlyhonestmethods
— Josh Larkin (@JLark21) January 9, 2013
We did not make the corrections suggested by reviewer 1 because we think reviewer 1 is a f***ing idiot #overlyhonestmethods
— Simon Garnier (@sjmgarnier) January 8, 2013
“Experimental time points were selected so that I didn’t have to come into the lab at night or over the weekend.” #overlyhonestmethods
— Georgina Guedes (@georginaguedes) September 12, 2013
We don’t know how the results were obtained. The postdoc who did all the work has since left to start a bakery. #overlyhonestmethods
— Atif Kukaswadia (@MrEpid) January 8, 2013
we didn’t read half of the papers we cite because they are behind a paywall #overlyhonestmethods #OA
— Sylvain Deville (@devillesylvain) January 8, 2013
We used three sub-samples; any more would have made us late for happy hour, and research drives you to drinking. #OverlyhonestMethods
— N Boer (@nicboer83) November 13, 2013
Our population size was conveniently 100 because it was a night lab and we didn’t want to calculate percentages. #overlyhonestmethods
— Karolina Polska (@KarolinkaJulka) November 15, 2013
Participants were undergrad psychology students because the general public are too expensive and ask too many questions #overlyhonestmethods
— Paul Bretherton (@NeuroConsulting) January 14, 2013
Oh, you want an actual method you can follow? Pffft. Check the cover son, you're reading Nature. #overlyhonestmethods
— banmans (@banmans) January 8, 2013
"Experiment was repeated until we had three statistically significant similar results and could discard the outliers" #overlyhonestmethods
— David C Logan (@angerstusson) January 7, 2013
A modified protocol was implemented because a certain graduate student seems unable to follow simple instructions. #overlyhonestmethods
— Dr. Twittenheimer (@DrTwittenheimer) January 8, 2013
I can't send you the original data because I don't remember what my excel file names mean anymore #overlyhonestmethods
— Morgan Edwards (@mangoedwards) January 8, 2013
The experiment was left for the precise time that it took for us to get a cup of tea #overlyhonestmethods #tealove
— mahzabin chowdhury (@mahzabin) January 8, 2013
There was no plan – we just tried stuff we thought would be interesting until something interesting happened #OverlyHonestMethods
— Russell Garwood (@RussellGarwood) January 9, 2013
the eppendorf tubes were "shaken like a polaroid picture" until that part of the song ended #overlyhonestmethods #truth
— Rebecca Weinberg (@sciliz) January 8, 2013
we did experiment 2 because we didn't know what the fuck to make of experiment 1 #overlyhonestmethods
— dr leigh (@dr_leigh) January 7, 2013
All experimenters — and authors — were blind to the study's hypotheses. #OverlyHonestMethods
— Kane_WMC_Lab (@Kane_WMC_Lab) January 8, 2013
we discovered the anxiogenic properties of our new drug accidentally, while trying to fuck with labmate Steve's coffee #overlyhonestmethods
— Tal Yarkoni (@talyarkoni) January 8, 2013
We repeated the experiment 5 times but never saw results this good before or since so we made a figure. #overlyhonestmethods
— Doctor_Strange (@StrangeSource) January 7, 2013
We wanted to see what would happen if we did X, just for fun. Great explosion! We came up with the hypothesis later. #overlyhonestmethods
— Bora Zivkovic (@BoraZ) January 8, 2013
If you pay close attention to our degrees-of-freedom you will realize we have no idea what test we actually ran #overlyhonestmethods
— jennifer kubota (@jtkubota) January 8, 2013
Il y a eu un gros buzz, récement autour du papier de Valen Johnson paru dans PNAS. L’article a été repris un peu partout (http://nature.com/news/, http://blogs.scientificamerican.com/absolutely-maybe/, http://arstechnica.com/science/ ou encore http://passeurdesciences.blog.lemonde.fr/ qui a repris l’information, en français). Et plusieurs personnes m’ont fait suivre des liens, en me demandant mon avis, par courriel ou via twitter. Je ne vais pas revenir sur l’étude (pour l’instant) ni sur les mauvaises lectures de l’étude, mais plutôt sur le buzz qui a eu lieu autour. Car manifestement, on ne vit pas dans la même temporalité avec les journalistes. Par ‘on‘ j’entends les scientifiques au sens large. Je veux dire par là que quand j’ai écris mon billet, il y a quelques semaines sur l’origine de la -value, ça m’a pris du temps. Et depuis, je travaille sur les suites du billet (en particulier la lecture bayésienne des tests, mais aussi les tests multiples). Faire une revue de littérature, se replonger sur l’origine d’un concept, ça prend du temps. Et je le prendrais. Je l’avais fait il y a quelques mois sur les martingales et la notion d’efficience de marché, en revenant sur les travaux d’Eugène Fama (dont certains semblaient alors ignorer l’existence). Heureusement, c’était la fin de ma session, et j’avais envie de me changer les idées.
Pour revenir rapidement sur l’article paru dans PNAS (et c’est pour cela que je fais un parallèle avec mon billet sur les martingales), il n’y a rien de bien nouveau pour ceux qui ont suivi la statistique depuis une soixantaine d’années (depuis les travaux de Fisher, en fait). Je veux dire par là qu’il y a eu des dizaines, des centaines d’articles pour critiquer l’usage systématique de la -value. On pourra penser au papier de Ziliak et McCloskey, The Cult of Statistical Significance par exemple, ou surtout le livre The Significance Test Controversy par Denton Morrison et Ramon Henkel, publié en 1970, et toutes les références mentionnées. Comme le populaire http://psychclassics.yorku.ca/Rozeboom/ de William Rozeboom, publié en 1960, avec le paragraphe que tout le monde connait,
ce paragraphe est souvent cité par Bruno Lecoutre, à qui on doit le joli Uses, Abuses and Misuses of Significance Tests in the Scientific Community: Won’t the Bayesian Choice be Unavoidable? (tiens, ce n’est pas ce que dit le papier dans PNAS ?). Si je ne devais mentionner que deux références à relire en ces temps de buzz, je penserais à Harold Jefreys qui publiait en 1961 son Theory of Probabilities, dont toute une section parle justement de la significativité
Et en 1982, Sir David Cox publiait Statistical Significance Tests, avec là aussi plusieurs paragraphes qu’il serait bon de relire,
Quant à l’alternative Bayésienne1, je renvoie au très joli papier de Bradley Efron, publié en 1998, sur Fisher in the 21st century. Bref, critiquer l’utilisation abusive de la -value n’est pas nouveau, loin de là. Et quand je dis abusive… @mc_hankins a posté sur twitter plusieurs exemples d’utilisations de
-value, comme
suivi quelques lignes plus loin par un
Manifestement, pour certains, 5%, c’est 5% ! C’est un peu pour comprendre ce fanatisme que j’avais fait mon précédant billet…
Maintenant, pour revenir à mon premier paragraphe, et au buzz autour de cet article, je suis convaincu que les journalistes et les scientifiques ne vivent pas dans la même temporalité. Pas seulement dans le temps que l’on met pour écrire un article, mais aussi sur le fait que dans mon étude sur les martingales, j’ai relu Fama, Samuelson ou encore LeRoy, des papiers vieux de 20 ou 30 ans. Pour revenir sur la notion de significativité, et comprendre le mythe des 5%, je me suis replongé dans les travaux de Fisher, qui datent de 60 ou 70 ans. Sans émettre de jugement de valeurs, on relit les scientifiques 20, 30 ou 50 ans après, mais je relis rarement un journaliste 5 ans après2 . Et c’est normal, je pense. Je veux dire par là que les journalistes sont là pour informer, pas éduquer. C’est aussi pour ça que je crois que les blogs académiques ont une raison d’être, car la nature a horreur du vide… Il manque de lieux pour apprendre des choses (et pas seulement se tenir informer) et les blogs académiques sont parfait pour remplir cette mission.
Mais je m’égare car je voulais parler du buzz récent, autour de la significativité statistique, et faire deux commentaires.
Le premier est que je trouve que la statistique telle que Fisher la pratiquait a pris trop de place dans l’enseignement de la statistique (là dessus, je suis assez d’accord avec les critiques). En particulier les résultats asymptotiques. Et il serait temps d’enseigner davantage la statistique bayésienne, le plus tôt possible. Je n’ai pas suivi de cours de statistique bayésienne, et je le regrette. Cela dit, dans de nombreux domaines (je pense en particulier à des conférences en hydrologie auxquelles j’ai participé) tout le monde fait du bayésien, et de manière naturelle. Mais c’est un long débat, et je ne vais pas le commencer maintenant.
Mon second est une forme de réponse à cette critique sur l’importance de la significativité. Regardons un peu l’évolution des logiciels de statistique pour mieux comprendre. Un des plus anciens logiciels pour faire des régression, TSP, a été créé au milieu des années 60. Par exemple, dans la version TSP 4.1 datant de 1987, une régression, ça ressemblait à ça (à en croire Renfro (2009))
METHOD OF ESTIMATION = ORDINARY LEAST SQUARES
DEPENDENT VARIABLE : DIST
SUM OF SQUARED RESIDUALS = 11353.52
STANDARD ERROR OF THE REGRESSION = 15.37959
MEAN OF DEPENDENT VARIABLE = 42.98
STANDARD DEVIATION = 25.76938
R-SQUARED = 0.6510794
ADJUSTED R-SQUARED = 0.6438102
DURBIN-WATSON STATISTIC = 1.6762
F-STATISTIC(1,48) = 89.56711
LOG OF LIKELIHOOD FUNCTION = -206.5784
NUMBER OF OBSERVATIONS = 50
VARIABLE ESTIMATED STANDARD
COEFFICIENT ERROR T-STATISTIC
C -17.5791 6.7584 -2.601
SPEED 3.9324 0.4155 9.464
car en 1987, je faisais certes de l’informatique, mais les régressions linéaires m’intéressaient peu. Bref, je n’ai jamais pu tester ce logiciel, et j’en crois ce que j’en ai lu. Mais toutes les sorties de cette époque semblaient ressembler à celle-ci. Aujourd’hui, avec R, la même régression se lit
lm(formula = dist ~ speed, data = cars)
Residuals:
Min 1Q Median 3Q Max
-29.069 -9.525 -2.272 9.215 43.201
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -17.5791 6.7584 -2.601 0.0123 *
speed 3.9324 0.4155 9.464 1.49e-12 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 15.38 on 48 degrees of freedom
Multiple R-squared: 0.6511, Adjusted R-squared: 0.6438
F-statistic: 89.57 on 1 and 48 DF, p-value: 1.49e-12
Vous avez-vu la différence ? Regardez tranquillement, on a le temps…
Oui… les étoiles ! Les fameuses étoiles ! Quand j’enseigne les méthodes de régression, la seule chose qui intéresse et fascine les étudiants, ce sont les étoiles. C’est expliqué sous le tableau, les étoiles, c’est la significativité. En dessous de 5% de significativité, on a le droit a une étoile, et en dessous de 0.1%, on a carrément le droit à trois étoiles ! Dois-je reprocher à mes étudiants de ne retenir que cette histoire stellaire de mon cours de prévision (predictive modeling comme on dit) ? De plus en plus, on veut des formations professionnelles, orientées vers la pratique, vers les vraies applications. Alors dans les cours, on enseigne des recettes de cuisine… et une d’entre elles est basée sur le fait que pour qu’un modèle soit valide, avec des variables significatives, il faut garder les variables avec des étoiles. Vivement un cours où on aura le temps d’apprendre des trucs inutiles quand on va ensuite travailler en entreprise, des trucs qui prennent du temps à être compris (oui, les concepts, c’est souvent subtil, c’est plus difficile à expliquer qu’une recette simple: pas d’étoile, tu recommences), un cours où on prendrait le temps de s’interroger sur le sens des recettes que l’on apprend par cœur. Parce que mine de rien, toute une génération de personnes qui ont suivi des cours de stats n’ont retenu qu’un truc: regarder les étoiles. Et les gens qui regardent les étoiles, c’est dur de leur demander du jour au lendemain de regarder ailleurs…
1.pour les plus courageux, qui liront rapidement le billet, je rappelle que vendredi matin, Xiao-Li Meng donnera un exposé depuis le Fields Institute à Toronto, intitulé sobrement “Who is crazier: Bayes or Fisher?” et l’exposé sera retransmis en direct sur http://fields.utoronto.ca.
2.bon, je devrais peut-être nuancer un peu, car j’ai eu un grand plaisir à découvrir il y a quelques années les écrits d’Albert Londres (surtout au bagne ou en Afrique, avec terre d’ébène) ou de Georges Orwell (mais je ne sais pas si ses témoignage sont des essais ou du journalisme…)
Pour le quatrième devoir d’actuariat IARD 2, on va travailler sur des (vrais) triangles de paiements de compagnies d’assurance. Les données ont été collectées par Glenn Meyers et Peng Shi, et sont en ligne sur http://casact.org/research/…. A partir du ‘code’ de groupe, pour récupérer ses données, il faut utiliser la petite fonction écrite dans le fichier
> source("http://freakonometrics.free.fr/codeACT2040-4.txt")
Par exemple, pour le groupe 10,
> extract.triangle(10)
$triangle.increments
0 1 2 3 4 5 6 7 8 9
1988 1249 2843 4801 6623 8290 10264 1 431 586 714
1989 946 1983 7024 7415 7771 4489 2431 913 638 NA
1990 1765 2978 5111 10617 6285 6898 9628 1 NA NA
1991 1408 3818 4542 11869 3702 6235 6164 NA NA NA
1992 1647 5981 5220 5475 3620 1196 NA NA NA NA
1993 7566 7425 14475 19624 8500 NA NA NA NA NA
1994 2299 4557 17098 37542 NA NA NA NA NA NA
1995 4959 8582 9462 NA NA NA NA NA NA NA
1996 6063 3644 NA NA NA NA NA NA NA NA
1997 6507 NA NA NA NA NA NA NA NA NA
$name
[1] "Federal Ins Co Grp"
$source
[1] "prodliab_pos"
Pour le rapport, je veux avoir le nom de la compagnie, ainsi que la ‘source’ (PP Auto, Workers Compensation,Commercial Auto,Medical Malpractice,Product Liability, ouOther Liability). Pour jouer avec les données, il suffit d’utiliser
> T=extract.triangle(10)$triangle.increments
> T
0 1 2 3 4 5 6 7 8 9
1988 1249 2843 4801 6623 8290 10264 1 431 586 714
1989 946 1983 7024 7415 7771 4489 2431 913 638 NA
1990 1765 2978 5111 10617 6285 6898 9628 1 NA NA
1991 1408 3818 4542 11869 3702 6235 6164 NA NA NA
1992 1647 5981 5220 5475 3620 1196 NA NA NA NA
1993 7566 7425 14475 19624 8500 NA NA NA NA NA
1994 2299 4557 17098 37542 NA NA NA NA NA NA
1995 4959 8582 9462 NA NA NA NA NA NA NA
1996 6063 3644 NA NA NA NA NA NA NA NA
1997 6507 NA NA NA NA NA NA NA NA NA
Il s’agit de triangle d’incréments, la ‘colonne’ de gauche étant l’année de survenance. Je n’ai pas testé toutes les bases, merci de me dire rapidement s’il y a des soucis.
« Dans ce contexte d’incertitude, il est particulièrement réconfortant de revenir aux sources, aux fondamentaux, c’est-à-dire aux mathématiques et de rappeler que le risque naît de l’aléa et s’appréhende grâce aux développements les plus avancés du calcul des probabilités. » (Claude Bébéar, dans la préface du tome 1)
Après avoir été épuisé plusieurs semaines (voire plusieurs mois ?), une nouvelle impression du tome 2 de Mathématiques de l’Assurance Non-Vie, coécrit avec Michel Denuit, est de nouveau disponible. J’ai été surpris quand on nous a dit – en début d’année – que le second tome serait bientôt épuisé, et que plus d’un millier d’exemplaires avaient été vendus (ou donnés, ou volés… peu importe). Surpris qu’autant de monde pouvait être intéressé par un gros pavé (les deux tomes doivent faire plus de mille pages, au total) aussi sérieux. Comme le notait Gilles Bénéplanc dans la revue Risques, « s’ils sont riches et rigoureux (le titre présente l’avantage ne pas être trompeur quant au contenu), ces deux volumes d’actuariat se lisent toujours avec intérêt et même souvent avec plaisir ». Car effectivement, on a passé du temps à choisir le titre, et on est vite tombé d’accord sur le fait qu’il fallait insister sur le fait qu’il s’agissait de livre de Mathématiques (avant tout). Pour la petite anecdote, j’étais allé le chercher chez Gibert (juste après la publication du premier tome… après avoir fait un détour par les rayons de bandes dessinées, bien sûr). En vain. Là, un vendeur m’a expliqué que le livre était considéré comme traitant d’assurance, et que l’assurance était rangé dans les rayons de droit. Bref, notre livre vert était perdu au milieu des livres de Dalloz (alors que les livres de mathématiques financières se trouvaient dans la section mathématiques). Mais c’est un détail, tant qu’en le cherchant, on le trouve…
Je dois aussi dire que je suis très fier du livre. Très fier que des étudiants et des praticiens me disent le lire. Très fier d’apprendre que des étudiants au Brésil avaient photocopié (et traduit) l’introduction aux modèles de ruine (que l’on introduit avec l’approche de de Finetti, beaucoup plus intuitive je trouve…). Très fier quand des chercheurs que j’admire me disent avoir trouvé un petit résultat qu’ils cherchaient pour un papier de recherche (je pense a des discussions avec Alain, à Paris 1, sur la transformée d’Esscher). Je trouve aussi dangereux qu’autant de monde le lisent, car il est truffé d’erreurs. Mais après près de 6 mois de relecture complète, presque tous les jours, on fini par ne plus rien voir. Et malgré le travail incroyable de Christian, éditeur de la collection, il reste des coquilles (des coquillettes j’espère). Mais si on devait attendre que les livres soient parfaits avant de les publier, rien ne sortirait. Après presque dix ans, je pense que je réécrirais des paragraphes d’une autre manière, ou que je mettrais plus d’aspects algorithmiques. Mais ce qui est fait est fait, et j’en suis encore assez fier. OK, très fier.
Lorsque l’on a été contacté, on nous a demandé s’il fallait un nouveau tirage, ou si une seconde édition (revue et corrigée) serait nécessaire. Soyons réalistes. Le livre n’est plus forcément à jour, et comme je l’ai dit, il reste beaucoup de coquilles, voire de fautes (il faudrait que l’on prenne le temps de les recenser). Mais une nouvelle édition ferait probablement doubler la taille du livre, et prendrait beaucoup de temps ! Sur les deux premiers chapitres, Michel a publié un livre complet sur les données de comptage en assurance. Sur les aspects computationnels, je vais éditer un livre à venir. Et s’il y a 10 ans, il y a avait encore peu de livres sur le sujet, plusieurs permettent maintenant de rentrer plus en détails sur certains aspects. Je pense au livre de Mario Wüthrich et Michael Merz sur le provisionnement (plus clair que le chapitre de notre livre, et plus complet). Pareil pour les chapitres de micro économie de l’assurance, ou sur les valeurs extrêmes ! On avait mis ensemble nos notes de cours, et on a pris plaisir à travailler ensemble sur ce projet. Et le livre reste pertinent pour nos cours. Il faudra juste aller voir ailleurs pour aller plus loin sur certains aspects ! Donc toutes nos excuses d’avoir juste demandé un retirage du livre, et de ne pas avoir pris le temps de faire une révision complète du livre…
Un rapide billet pour partager le sujet de l’examen intra de la semaine passée avec des éléments de correction (incluant des statistiques de réponse, comme pour le précédant examen intra). Toutes les remarques sur mes corrections sont les bienvenues.
