Les slides de la conférence du mardi 2 juin, organisée par la Banque de France et l’Université Rennes 1, sont en ligne ici. Il s’agit d’une introduction (très grand public) à la gestion des risques dans une optique ERM. L’exposé sera suivi d’une intervention de Benoît Carteron, credit manager chez Lactalis.
La conférence aura lieu Amphi 4 à la faculté des Sciences Economiques à partir de 17 heures 30.
Depuis que j’ai repris la recherche, j’ai pris l’habitude de débrancher mon téléphone. Mais lundi matin, comme j’avais un coup de fil à passer, j’ai du le rebrancher. J’ai alors reçu un appel d’un élève qui m’a agacé (et auquel j’ai eu la lâcheté de raccrocher en expliquant que je faisais autre chose – ce qui était néanmoins partiellement vrai) mais qui est assez symptomatique, “bonjour, j’ai fait une régression et j’ai un R2 de 0,312 et je voulais savoir si c’était bien ?” (ou “si c’était beaucoup ?”, ou “si c’était assez ?”, ou un truc du genre car j’avoue que j’avais effectivement la tête ailleurs).
Pourtant je croyais que mon cours avait précisément réussi à éviter de parler du R2. Je vais donc reprendre ici quelques points. J’espérais trouver un site internet de l’association des statisticiens qui en ont marre du R2 (ou d’opposants à la sectes des adorateurs du R2, car si j’ignore qui en est le gourou, je trouve que cette secte regroupe beaucoup d’adorateurs) malheureusement je n’ai rien trouvé de concluant sur internet. Donc je vais m’y mettre… même je risque de faire un très long billet,
Un “bon” modèle permettra d’obtenir des estimations “proches” des valeurs observées. Sur la représentation dans l’espace des variables (comme le montre la figure ci-dessus) la qualité peut être évaluée par l’angle θ. Cet angle est compris entre -90˚et 90˚. Un angle proche de -90˚ou de 90˚indique un modèle de mauvaise qualité. Alors qu’un angle proche de 0˚ correspond à un bon modèle. Le cosinus carré de θ est donc une mesure possible de la qualité du modèle et cette mesure varie entre 0 et 1.
En utilisant le théorème de Pythagore nous permet d’écrire
ou encore
où SCT (respectivement SCE et SCR) désigne la somme des carrés totale (respectivement expliquée par le modèle et résiduelle). Le coefficient de détermination R2 est défini par
c’est-à-dire que le R2 est souvent interprété comme le “pourcentage de la variabilité de la variable endogène expliquée par le modèle”.
Si on reprend une page du livre de Pierre-André Cornillon et Éric Matzner-Løber, on a les définitions suivantes
Comme je le dis auparavant, le R2 nous dit si la courbe de régression (pour prendre un modèle plus général que le cas linéaire) est proche des observations, mais ne nous dit nullement si le modèle est “bon“.
Pour faire simple, avec des observations individuelles, le R2 sera souvent assez “faible“, alors qu’avec des séries temporelles (en particulier des séries intégrées), le R2 sera souvent “plus élevé“. Dans ce dernier cas, l’explication heuristique est qu’expliquer une série croissante par une autre série croissante marche souvent “bien“.
Sur l’exemple ci-dessus, on obtient – en ajustant un modèle linéaire – respectivement
Multiple R-squared: 0.3372,
Multiple R-squared: 0.6414,
Sur l’exemple ci-dessus, on obtient – en ajustant un modèle polynôme de degré 4 – respectivement
Multiple R-squared: 0.4968,
Multiple R-squared: 0.987,
Sur l’exemple 3, l’ajustement est “bon” au sens où il serait difficile de faire mieux, c’est simplement qu’il est très bruité. Avec un R2 de 0,5, l’exemple 3 me paraît proposer un “meilleur” ajustement que l’exemple 2, alors que le R2 est de 0,65. Dans le premier cas, l’ajustement semble bon, mais très bruité, alors que pour le second, le modèle est plutôt mauvais, mais le bruit est relativement faible.
Si on reprend le premier point, il est possible d’écrire le R2 (dans un modèle avec une unique variable explicative) comme le carré du coefficient de corrélation (au sens de Pearson) entre la variable endogène et la variable explicative (plus généralement, ça serait entre les observations et la prédiction). Regardons par exemple sur la base de données cars,
> data(cars)
> cor(cars)
speed dist
speed 1.0000000 0.8068949
dist 0.8068949 1.0000000
Si on regarde la valeur du R2 on peut écrire
> summary(lm(dist~speed,data=cars))$r.squared
[1] 0.6510794
> sqrt(summary(lm(dist~speed,data=cars))$r.squared)
[1] 0.8068949
J’avais dit dans un précédant billet (ici) tout le mal que je pense du coefficient de corrélation, qui n’est pas une mesure de dépendance (ou une mesure de concordance au sens où l’avait défini Marco Scarsini, ici). Pour cette raison, je trouve qu’un R2 qui vaut 0,312 nous apprend aussi peu de chose qu’un coefficient de corrélation de 0,217 ou 0,013.
Formellement, le R2 est le carré du cosinus d’un angle, si on reprend l’interprétation géométrique de la régression linéaire. Mais si on regarde la version empirique, on peut être (désagréablement) surpris… En particulier avec Excel. Ce point est discuté sur de nombreux forum (ici ou là), je ne vais donc pas en rajouter.
Ce point est souvent connu par tout le monde, c’est pour cela qu’on présente toujours le R2 ajusté après avoir présenté le R2.
Mais ceci n’est pas qu’un problème avec le R2, car il est très difficile de trouver un critère de choix suffisamment robuste. J’avais déjà abordé ce point lors de mon cours d’assurance non-vie à l’ensae il y a quelques années. J’avais vu des élèves essayer de comparer deux modèles (pour tarifer), à savoir
le soucis est qu’il est difficile de comparer des deux modèles. En particulier, tous les élèves qui se posaient cette question à l’aide d’un critère de type AIC concluaient toujours à la supériorité de la loi lognormale, ou pour être un peu pointilleux, sur un modèle gaussien après une transformation logarithmique.
Dans le cas des modèles Gaussiens, c’est aussi la conclusion à laquelle arrive Valérie Mignon dans son livre d’économétrie, à savoir que si l’on cherche à comparer
on retient “toujours” le modèle multiplicatif si on retient le modèle qui a le meilleur R2. Je n’ai pas de raison a priori d’aller dans ce sens, mais je retiens que juger de la supériorité d’un modèle à l’aide uniquement de ce critère me paraît vraiment douteux.
L’exemple ci-dessous représente les deux régressions, avec un modèle linéaire versus un modèle exponentiel (i.e. avec comme variable endogène le logarithme).
Dans ce cas précis,
> REG.LINEAIRE=lm(Y~X)
> REG.MULTIPLICATIF=lm(log(Y)~X)
> summary(REG.LINEAIRE)$r.squared
[1] 0.8688
> summary(REG.MULTIPLICATIF)$r.squared
[1] 0.8654
Afin de répondre à cet exemple précis, je renvoie au test de Box-Cox (que j’avais abordé ici) qui vise précisément à comparer ces deux modèles. Ici, on conclue à la supériorité d’un modèle multiplicatif, mais ça n’a rien à voir avec la valeur du R2.
Je reprendrais un exemple tiré d’une épreuve du concours interne d’administrateur de l’insee (qui doit avoir une vingtaine d’années). Considérons un modèle assez classique en économie, où on essaye de lier taux d’intérêt et taux d’inflation. Je renvois à mes slides du cours d’économétrie où l’exemple est présenté, et mis en œuvre, ici (slides 39 à 42).
Ce point est présenté dans certains livres, où il est expliqué qu’en enlevant des points (souvent les premières années quand on travaille sur des séries macroéconomiques) on peut améliorer le R2. Effectivement, si on enlève les quatre points les plus éloignés de la prédiction, on change le modèle, et le R2 est alors amélioré,
> summary(REG.TOTAL)$r.squared
[1] 0.6510794
> summary(REG.SUBSET)$r.squared
[1] 0.7539631
Je croyais là aussi que mon cours essayait d’expliquer l’importance (et le traitement) de ces points aberrants.
Pour conclure, je reprendrais ce que j’essaye d’expliquer dans mon cours d’économétrie (ici ou là), à savoir qu’au lieu de se contenter de regarder un R2, il vaut mieux passer un peu de temps à regarder quelques graphiques de diagnostique. Et pour comparer des modèles, je préfère toujours les critères AIC ou BIC au R2 (ou même au R2 ajusté). Quant à la normalité des résidus… je pense que je reviendrais là dessus aussi dans un billet les jours à venir….
“Le vrai moyen de gagner beaucoup est de ne vouloir jamais trop gagner et de savoir perdre à propos.” (Fénélon – Les aventures de Télémaque)Bon, pour ma part, j’avais tenté une autre solution vendredi dernier: tenter de gagner les 126 millions d’euros de l’Euromillion. Et comme je suis toujours en train de poster des billets sur mon blog, on peut en déduire que je ne suis pas l’heureux vainqueur (car oui, il parait qu’il y en a un… un très bon ami ami à moi… enfin… s’il le souhaite!).
Quelle ne fut pas me surprise de voir des collègues (on peut dire copains) matheux indignés par mon comportement, et me reprocher mon irrationalité*…
Sur l’irrationalité des joueurs, je renvoie à de nombreux papiers de la littérature économique, en particulier le papier de Maurice Allais (ici), précisément intitulé Le comportement de l’homme rationnel devant le risque. Je dois avouer que, selon moi, la critique de Maurice Allais est très proche de ce que notent Daniel Kahneman et Amos Tversky (ici) sur la distinction fondamentale (et non symétrique) entre gains et pertes.
Bref, toute cette discussion est un prétexte pour parler d’un très joli papier que m’a fait découvrir Charles Figuières lors de mon exposé à Montpellier voilà deux semaines, de Graciela Chichilnisky sur Topology of Fear. Un preprint peut se télécharger ici, sa page internet (ici) regorge d’informations passionnantes, mais je ne sais toujours pas où ce brillant papier sera publié…. à suivre donc.
* 
pour aller un peu plus loin, je pourrais avouer ici que ma stratégie a été de jouer “1-2-3-4-5” puis “6-7” (j’ai découvert que ce type de loto était un peu différent de celui que j’utilise dans mes exemples de probas, avec des étoiles). Tout d’abord, cette stratégie est aussi probable que n’importe quelle autre. Mais pour information, lors du 3ème tirage du Loto en France (en 1976), les numéros “1-2-3” sont sortis. Historiquement (voir ici), sur plus de 4850 tirages, on a eu deux numéros consécutifs (au moins) dans 2/3 des tirages (63%), et trois consécutifs dans 8% des tirages. On a vu 39 fois (0,8% des tirages), quatre numéros consécutifs. Mais jamais 5 numéros consécutifs, en presque 35 ans. Je laisse les plus motivés faire les calculs théoriques. Ma stratégie devrait être payante (si je jouais plus d’une fois tous les 5 ans) car peu de monde joue des numéros consécutifs. Si on compte le nombre de gagnants du 1er rang, il y a – en moyenne – 2,90 gagnants les tirages comprenant deux numéros consécutifs et sinon 4,03 gagnants. Si on va plus loin, il y a 2,48 gagnants les tirages comprenant trois numéros consécutifs et 3,39 sinon. Par contre, si on regarde avec 4 nombres consécutifs, un tombe sur un point aberrant: d’ordinaire, on a 3 gagnants du 1er rang, mais en septembre 1984, avec comme tirage “26-27-28-29-35-36-37” (4 et 3 consécutifs), il y a eu 64 gagnants du 1er rang, ce qui est presque le record…
D’ailleurs si on regarde les records (promis après j’arrête), le record fut en juin 1993, avec 103 vainqueurs, où 31 fut le plus grand chiffre, et le 13 sortit. Ensuite, en 1979, on a eu 96 vainqueurs avec des numéros pairs consécutifs, à savoir le tirage “2-8-10-12-14-16-18” (soit 6 chiffres pairs successifs). Ensuite arrive le tirage que je mentionnais… En fait, tous les tirages qui ont eu des très gros nombres de vainqueurs du 1er rang présentaient une régularité impressionnante. On retrouvera ainsi le tirage “4-5-7-14-15-17-20” par exemple, avec 63 vainqueurs… Bref, ma stratégie n’est peut être pas géniale finalement….
En préparant mes slides pour la conférence ERM – enterprise risk management – pour la Banque de France (ici), je n’ai pu m’empêcher de chercher des références sur la formalisation du COSO (le fameux référentiel de contrôle interne du Committee Of Sponsoring Organizations of the Treadway Commission utilisé dans le cadre de la mise en place des dispositions relevant de la loi Sarbanes-Oxley aux Etats-Unis). On y trouve en particulier une description assez fournie des risques, avec
(que l’on retrouvait déjà évoqué dans un vieux billet, ici). De manière visuelle, on retrouve d’ailleurs souvent le fameux cube,
parfois plus connu dans sa version couleur,
Mais en cherchant un peu, j’ai retrouvé cette représentation dans un vieux papier de Matthias Haller dans les Geneva Papers on Risk and Insurance de 1976, dans un papier intitulé “les objectifs du risk management“,
Présentation du Master Statistique & Économétrie aux étudiants de Licence de Mathématiques et de licence MASS de Brest, à l’UBO, mardi 5 mai, 12h45, Amphi F . La présentation se fera avec la présence de deux anciens élèves. L’après midi, je ferais un exposé au séminaire de probabilités (ici).
Dans un mail, un étudiant qui finissait son projet de séries temporelles m’a posé une question simple et intéressante (que je me permets de reprendre ici): “quand on cherche à stationnariser une série, on a souvent besoin de différencier deux fois, et ça marche tout le temps“.
Effectivement, on peut toujours différencier une série, on finira bien par tomber sur une série stationnaire. Je retraduirais cette question sous la forme suivante “pourquoi cherche-t-on toujours à stationnariser les séries ?” ou encore “est-ce gênant de différencier une série ?“.
Pour la première question, la réponse est simple: les seules séries que l’on sache modéliser sont les séries stationnaires. Les autocorrélations se calculent sur des séries stationnaires, par exemple, et la non-stationnarité n’est pas une notion simple à définir (tout comme la non-indépendance entre variables aléatoires)…..etc.
Pour la seconde question, la réponse est simple: si on différencie une série pour mieux la modéliser, si on souhaite par la suite faire de la prévision, il conviendra d’intégrer la série modélisée. Or intégrer une série fait exploser l’intervalle de confiance. Autant faire ça sur un exemple simple, avec la série suivante, que l’on commence par supposer stationnaire, et que l’on prédit sur une trentaine de valeurs, avec un intervalle de confiance.
Mais si l’on suppose la série intégrée à l’ordre 1, on différencie puis on modélise par un processus stationnaire (c’est l’idée qui sous-tend les processus ARIMA, à savoir un processus ARMA intégré: en différenciant la série, on devrait tomber sur un processus ARMA. On peut rattacher ça à la notion de racine unité). La prédiction (avec l’intervalle de confiance) est alors présenté sur la série initiale. Le fait d’intégrer les erreurs fait que la variance de la prédiction augmente avec l’horizon.
Et si l’on continue, et que l’on différencie de fois la série avant de la modéliser, et que l’on intègre deux fois les erreurs, l’intervalle de confiance devient immense !
Bref, il convient de ne pas différencier si ce n’est pas vraiment indispensable ! L’outil pour vérifier que l’on n’a pas trop différencier est la fonction d’autocovariance inverse (c’est à dire la fonction d’autocovariance d’une série dont la densité spectrale serait l’inverse de la densité spectrale initiale*). Cette fonction fait partie des fonctions de base sous SAS, mais pas sous R… J’ai cherché un peu, mais sans succès. L’argument dans les forums est que cette fonction est redondante avec la fonction d’autocorrélation partielle. Et en effet, si la finalité est simplement de détecter les ordres AR ou MA d’une série stationnaire, alors effectivement, les deux fonctions s’utilisent de manière équivalente. Mais la fonction d’autocovariance inverse apporte plus d’information, en particulier afin de détecter si l’on n’a pas surdifférencié la série.
La sortie suivante présente la fonction d’autocorrélation (à gauche) et la fonction d’autocorrélation inverse (à droite) sur une série.
On note que la série semble intégrée (en pratique, des autocorrélations très fortes et persistantes très longtemps se traduit par une suspission d’intégration). Si l’on différencie la série, on obtient les autocorrélogrammes suivants,
Et si l’on différencie une nouvelle fois, on obtient les graphiques suivants,
Bref, l’autocorrélogramme de droite semble caractéristique d’une série intégrée: on dira alors que l’on a surdifférencié le modèle (“en intégrant la série, elle est toujours stationnaires”…). Je parle un peu de tout ça dans mon polycopié de Dauphine, tome 1.
* J’avais parlé dans un ancien billet (ici) de l’importance de la densité spectrale en série temporelles. L’idée est que si f est une densité spectrale, 1/f peut également l’être. Le lien entre la fonction d’autocorrélation et la densité spectrale est donné par des théorèmes de Kolmogorov ou Wiener. Pour plus de détails, il y a des compléments dans le chapitre 1.2 du polycopié que j’avais fait à Dauphine (ici). On peut d’ailleurs noter que la fonction d’autocorrélation partielle d’un processus ARMA(p,q) est la fonction d’autocorrélation d’un processus ARMA(q,p) obtenu en permutant les deux polynômes d’opérateurs retard.
