Tag Archives: Risques

La guerre des étoiles : distinguer le signal du bruit

La grande difficulté dans la modélisation et la construction de modèles prédictifs est de réussir à distinguer le signal et le bruit (pour reprendre le titre du classique de Nate Silver). La réponse statistique est la notion de significativité, et la recherche des ‘étoiles’ dans les sorties de régression. Avec l’explosion du nombre de données, il est devenu crucial de faire cette distinction, de savoir quelles sont les interactions qui sont significatives.

Approches historiques de cette notion de « significativité »

Le débat sur la significativité est ancien, même si sa formulation s’est faite historiquement dans des termes assez vagues. Par exemple, dès 1710, le médecin et mathématicien John Arbuthnot s’était interrogé sur le ratio du nombre de naissance de garçons et de filles, se demandant si la différence était « statistiquement significative ». Pour être plus précis, en utilisant des statistiques sur près de 90 ans, il avait noté “There seems no more probable Cause to be assigned in Physics for this Equality of the Births, than that in our ’first Parents Seed there were at first formed an equal Number of both Sexes.John Arbuthnot pose le premier la question en terme probabilistes. Un siècle plus tard, Pierre-Simon de Laplace a présenté ce que l’on peut interpréter comme un « test de significativité », (là encore avec notre terminologie actuelle). Il avait en effet noté, en prenant des mesures sur des baromètres que les observations à 9 heures du matin et 4 heures de l’après-midi était différentes. Significativement différentes. Et là encore posé la question en terme probabiliste, en se demandant s’il est « extrêmement probable » qu’il y ait une différence entre les deux mesures. Il avait alors introduit, le premier, un test de comparaison entre des valeurs moyennes : ayant noté que la différence excédait plusieurs écart-types, ce qu’il jugeait alors significativement important, il en conclue que les séries sont significativement différentes. En 1885, Francis Edgeworth avait repris ces idées, en comparant la taille des criminels, et la taille des gens ordinaires. Mais il faudra attendre les travaux de William Gosset (plus connu sous le nom Student), de Karl Pearson et surtout de Ronald Fisher pour avoir une définition plus rigoureuse de la significativité.

La notion de significativité est cruciale dans la construction de modèles prédictifs. En assurance automobile, l’âge du conducteur est une variable « significative » quand il s’agit d’expliquer la fréquence de sinistres. Formellement, cela signifie que l’âge et la fréquence de sinistre sont corrélées, et que cette corrélation, notée R, est « significativement non-nulle ». En 1921, Ronald Fisher, en proposant la construction d’un intervalle de confiance, propose ainsi un test de significativité. Comme il l’écrit, « from these values, we obtain the difference 0.0471 ± [0.0142] which might well be regarded as significant ». Sur la Figure 1, la figure de droite correspond au cas où la valeur est significativement non nulle (car l’intervalle de confiance à 95% ne contient pas 0) alors que la figure de gauche correspond au cas où la valeur est non-significative (car l’intervalle de confiance à 95% contient 0). Ronald Fisher passera alors plusieurs années à formaliser et expliquer cette idée de significativité statistique.

Figure 1 : distribution théorique de l’estimateur de la corrélation, R, et intervalle de confiance.

Tests, prise de décision et erreurs

Une des contributions majeures de la statistique des années 1920 a été de formaliser la prise de décision. La Figure 2 montre ainsi le mécanisme binaire de la prise de décision, et les deux types d’erreur : rejeter à tort une hypothèse, ou accepter à tort une hypothèse.

Figure 2 : schéma de la prise de décision.

Déclarer qu’une variable, ou une différence, est significative peut conduire à deux types d’erreur : la déclarer comme non-significative, alors qu’elle l’était (prendre un signal pour du bruit) ; et la déclarer comme significative, alors qu’elle ne l’était (prendre du bruit pour un signal). Quand on construit un test, on va essayer de contrôler la probabilité de commettre de telles erreurs.

Mais de faibles taux d’erreur ne veulent pas forcément dire qu’un test est efficace, et le principal danger des tests médicaux est lié à une mauvaise interprétation de ces taux d’erreur. Supposons qu’une maladie touche une personne sur mille, dans une population (selon le test, i.e. 1 personne sur 1000 est ‘positive’). Supposons aussi qu’il soit relative « efficace » au sens où 90% des cas ‘positifs’ sont effectivement atteints, et le test est négatif dans 99% des cas quand est n’est pas touché par la maladie. Ces chiffres sont bien au-dessus de la plupart des principaux tests couramment utilisés. Si le test est effectué sur 10000 personnes, le test sera positif sur 10 personnes (en moyenne), parmi lesquelles 9 sont effectivement malade, mais 1 est saine. A côté, le test sera négatif pour 9990 personnes. Et parmi ces 9990 négatifs, 9890 sont effectivement saines, et une centaine est pourtant malade. Donc au final, sur les 109 personnes malades, 9 ont été détectées, mais 100 sont passés inaperçues, soit un peu plus de 90% des malades ! Ce test supposé efficace ne l’est peut-être pas tant que ça.

Figure 3 : calculs des taux d’erreurs

Le concept de « p-value » et le mythe des 5%

Le concept de p-value est lié justement à l’erreur de rejeter, à tort une hypothèse. Si Ronald Fisher en parle abondement, il faut toutefois attribuer la paternité du concept à son collègue, Karl Pearson. Ce dernier, pour définir la notion de « significativité », utilise la formulation suivante : «  P=.1227 or the odds are now only 8 to 1 against a system of deviations as improbable as or more improbable than this one ». Pour reprendre l’exemple de la corrélation, Pearson nous dit qu’il y a une chance sur 8 pour obtenir une valeur aussi improbable. Comme l’illustre la Figure 4, la p-value est la probabilité d’avoir une statistique aussi grande ou aussi petite que celle obtenue sur l’échantillon, si effectivement la corrélation était nulle. Ou encore p=P{|R| > r | H0],

Figure 4 : distribution théorique de l’estimateur de la corrélation sous l’hypothèse où cette dernière serait nulle et probabilité que |R| dépasse la valeur empirique, observée.

Sur la figure de gauche, la p-value correspondant à l’aire rouge est de l’ordre de 10% alors que sur la figure de droite l’aire est de 0.1%. En fait, si la p-value est inférieur à 5%, alors 0 n’est pas dans l’intervalle de confiance à 95% de l’estimateur de corrélation. Donner la p-value est alors suffisant pour juger de la significativité d’une statistique.

C’est dans le chapitre 4 de son livre que Ronald Fisher pose les bases de la pratique (toujours en vigueur aujourd’hui) des tests statistiques : « if p is between 10% and 90% there is certainly no reason to suspect the hypothesis tested. If it is below 2% it is strongly indicated that the hypothesis fails to account for the whole of facts ». Autrement dit, avec une p-value supérieure à 10%, on peut accepter notre hypothèse (souvent que la variable n’est pas significative) et avec une p-value inférieure à 2%, on va la rejeter (la variable sera alors significative, si on fait un test de nullité d’une corrélation). Mais entre les deux ? Ronald Fisher clôt sans vraiment s’en rendre compte le débat, en affirmant « we whall not often be astray if we draw a conventional line at 5% ». Le choix – aujourd’hui dogmatique – d’un seuil à 5% repose sur l’idée de rejeter à tort une hypothèse avec une chance sur 20, ou bien correspond au fait de s’éloigner de 2 écart-types de la moyenne d’une loi normale centrée-réduite (ce qui arrive avec une chance sur 22).

Cette règle des 5% – une chance sur 20 – est encore en vigueur aujourd’hui. C’est elle que l’on utilise dans tous les modèles économétrique, en regardant les « étoiles » associées à chaque des variables explicatives (3 étoiles si la p-value est inférieure à 0.1%, 1 étoile si elle est inférieure à 5%, et rien au-delà de 10%). Si la -value est une mesure continue de la distance entre l’hypothèse que l’on cherche à tester et les données, ces étoiles ont instauré des seuils, malheureusement supposé infranchissables. Avec cette méthode, comme le notait Guelman (2015), «it seems impressive to see multiple independent findings that are statistically significant but with enough effort it is possible to find statistical significance anywhere. »

Pour illustrer la difficulté de la prise de décision, Power (2014) prend un exemple tiré de la survie à des séances de chimiothérapie, pour guérir un cancer.

Figure 5: chimiothérapie, données Williams et al. (1987).

Dans un “research hospital” le taux de survie est de 86%, alors qu’il est de 81% dans un “non-research hospital”. Un test du chi-deux, mesurant l’indépendance entre le choix de l’hôpital et la survie, donne une statistique de test de 0.5635, correspondant à une p-value de 45.29%. Autrement dit, on devrait être indifférent à l’endroit où on va se faire traiter, puisque l’hôpital est non significativement corrélé à la survie. Mais lorsque la vie est en jeu, est-on prêt à dire qu’une différence de 5 points (86% vs. 81%) n’est pas “statistiquement significative” ? Même avec une p-value proche de 50% !

Le problème des tests multiples

Si cette méthode pour juger de la significativité d’une variable dans un modèle prédictif a eu beaucoup de succès, il convient d’insister sur ses limites quand on se retrouver face à des données massives. Si on cherche à expliquer une variable (comme la sinistralité) par 100 variables, possiblement indépendantes de notre variable d’intérêt, l’analyse précédant devrait nous pousser à retenir 5 variables comme « significativement » corrélées avec la sinistralité.

Figure 6 : Exemple de séries significativement (très) corrélées, données Vigen (2015)

Le problème des tests multiples est d’autant plus important en imagerie médicale. Sur la Figure 7, 100 échantillons Gaussiens sont simulés, de moyenne nulle, et on teste la nullité des moyennes (seules les p-values sont présentées). Imaginons des tests sur des pixels d’une image d’IRM par exemple. Sur une image obtenue sur un individu sain, si des tests sont effectués, pixel par pixel, 10% des points présenteront une p-value inférieure à 10%, 5% une p-value inférieure à 5%, etc.

Figure 7 : 100 tests de nullité de moyenne, sur 100 échantillons simulés (de moyenne nulle).

En l’occurrence, la vision Bayésienne de la prise de décision (décrite dans Greenland & Poole (2013)) peut s’avérer plus juste, en plus d’offrir une interprétation plus claire.

Les alternatives pour juger de la significativité

Les p-values sont un outil important, central, dans la construction de modèles prédictifs. Et la pratique des tests est souvent un exercice intéressant : si la p-value est petite, on se sent conforté dans l’idée que la variable est significative. Mais si elle est grande (disons excède 10%), on ose parfois se dire qu’on n’a pas eu de chance… Dans certains cas, on peut même s’offrir la chance de faire le test sur un autre échantillon et – avec un peu de chance – la p-value sera plus faible.

Comme le note Briggs (2013), les p-value “encourage magical thinking […] they focus attention on the unobservable“. Même avec un regard critique, l’utilisation des p-value est dangereuse. Et l’utiliser de manière automatique, dans un algorithme d’apprentissage, l’est encore plus. Sans bon sens, on verra des variables extrinsèques exotiques utilisées dans les modèles prédictifs (pour reprendre la terminologie de Cass & Shell (1983). A quand un assureur qui utiliserait la pointure de pieds, les résultats au brevet des collèges ou la couleur de la boite à lettres dans son tarif d’assurance auto ?

Références

Arbuthnot, J. (1710). An argument for Divine Providence, taken from the constant regularity observed in the births of both sexes. Royal Society’s Philosophical Transactions.

Berkson, J. (1942). Tests of significance considered as evidence, Hoover, K.D. & Siegle.

Briggs, W. (2013) Everything Wrong With P-Values Under One Roof. http://wmbriggs.com/…

Cass, D. & Shell, K. (1983). Do Sunspots Matter?. Journal of Political Economy 91 (21): 193–228.

Fisher, R. (1925). Statistical Methods for Research Workers. Oliver & Boyd.

Greenland S. & Poole C. (2013). Living with P values: resurrecting a Bayesian perspective on frequentist statistics. Epidemiology, 24: 62-8.

Guelman, A. (2015). P-values and statistical practice. andrewgelman.com/…

Hall, P. and Selinger, B. (1986). Statistical significance: balancing evidence against doubt. Australian & New Zealand Journal of Statistics, 28.

Powers, P.R. (2014). Acts of God and Man Ruminations on Risk and Insurance. ColumbiaUniversity Press.

Silver, N. (2012) The Signal and the Noise: Why So Many Predictions Fail — but Some Don’t, Penguin Press

Vigen, T (2015). Spurious Correlations http://tylervigen.com/…

Mutualisation et Segmentation en Assurance

L’article Segmentation et Mutualisation, les deux faces d’une même pièce, coécrit avec Michel Denuit et Romuald Elie paraîtra dans les jours à venir, dans un numéro autour du big data en assurance, avec des articles de Patrick Thourot, sur la tarification du pay as you drive, de Lucie Taleyson, sur la tarification dans les assurances collectives, et tout plein d’articles passionnants, signés François-Xavier Hay ou encore Arnaud Chaput.

L’article (disponible en pdf) présente l’impact de la segmentation dans un environnement concurrentiel. Il d’un exemple simple, pour ne pas dire simpliste. Il sera perfectionné avec le pricing game organisé mi novembre. A suivre donc…

De la difficulté de faire des prévisions (quand on a peu de données)

Depuis plusieurs mois, on observe un engouement (probablement légitime) pour le big data. Si beaucoup peut être fait pour utiliser les volumes énormes de données à la disposition des assureurs, il convient de garder en mémoire que dans beaucoup de cas, les données sont rares et que la technologie ne devrait pas pouvoir changer grand chose. Le manque de données (fiables) crée une variabilité importante.

  • Loi des grands nombres, approximations et statistique asymptotique

Tout comme les assureurs, les statisticiens aiment les gros volumes de données. Pour les assureurs, les gros portefeuilles sont considérés comme moins incertains, et pour les mêmes raisons, les statisticiens disposent, avec des grosses bases de données, d’estimateurs moins volatiles (on parle d’ailleurs du risque associé à un estimateur). Supposons que l’on suive un portefeuille de 1047 assurés, pendant un an, et que 159 ait réclamé un sinistre auprès de la compagnie. La probabilité qu’un assuré ait un sinistre est

Si on admet que l’ont dispose d’assez d’observations, on peut utiliser une approximation Gaussienne du taux de réclamation, et obtenir un intervalle de confiance à 95%, de telle sorte qu’il y a 95 chances sur 100 que le taux de réclamation appartienne à l’intervalle1

On utilise ici l’approximation2 de la loi binomiale (le nombre de personnes qui réclame suit une loi binomiale) par une loi Gaussienne, comme sur la Figure ci-dessous,

Avec cette approximation, on peut valoriser des contrats de réassurance. On peut ainsi approcher les probabilités d’avoir des dérives de la sinistralité dans notre portefeuille. Dans cet exemple, on notera que la probabilité d’avoir un taux de réclamation excédant 20% est de l’ordre de 0.0014%.

  • Prédire des “cygnes noirs”

Supposons qu’un assureur décide de vendre à des collectivités locales des contrats d’assurance en cas de marée noire. Dans un modèle actuariel standard, la prime à payer devrait être , où  est la probabilité qu’une marée noire survienne par kilomètre de côte,  la longueur de la côte de la région assurée, et  le montant de l’indemnité versée. Après 5 ans d’expérience, l’assureur souhaite faire le bilan de son produit. Sauf qu’aucune marée noire n’a été observée. Que peut-il dire sur son tarif ?

Cet exemple (à peine) fictif est a rapprocher d’une question posée dans les années 1950 à l’actuaire L.H. Longley-Cook: est-il possible de prédire (ou d’estimer) la probabilité d’observer, une année donnée, une collision en plein vol, entre deux avions ? Il n’y avait jamais eu de (grave) collision d’avions commerciaux lorsque la question avait été posée. Et sans aucune expérience passée, les statisticiens ne savaient trop quoi répondre. Pourtant, Longley-Cook avait prédit ” anything from 0 to 4 […] collisions over the next ten years“, comme le raconte McGrayne (2012). Deux ans plus tard, 128 personnes perdirent la vie au dessus de Grand Canyon lors d’une telle collision, et quatre an plus tard, ce sont 133 personnes qui périrent au dessus de New York.

  • La réponse Bayésienne

L’idée de Longley-Cook était d’utiliser des techniques bayésienne en actuariat. Comme le notait Liu et al. (1996)Statistical methods with a Bayesian flavor […] have long been used in the insurance industry”. Dans Charpentier (2007), nous avions vu l’apport des techniques de crédibilité et les liens avec la statistique bayésienne. Et comme le raconte McGrayne (2012), Arthur Bailey a joué un rôle essentiel, précisément en proposant des techniques dans le cas d’évènements (très) rares.

[Arthur] Bailey spent his first year in New York [in 1918] trying to prove to himself that ‘all of the fancy actuarial [Bayesian] procedures of the casualty business were mathematically unsound.’ After a year of intense mental struggle, however, he realized to his consternation that actuarial sledgehammering worked. He even preferred it to the elegance of frequentism. He positively liked formulae that described ‘actual data . . . I realized that the hard-shelled underwriters were recognizing certain facts of life neglected by the statistical theorists.’ He wanted to give more weight to a large volume of data than to the frequentists small sample; doing so felt surprisingly ’logical and reasonable.’ He concluded that only a ‘suicidal’ actuary would use Fishers method of maximum likelihood, which assigned a zero probability to nonevents. Since many businesses file no insurance claims at all, Fishers method would produce premiums too low to cover future losses.

Pour rappel, le théorème de Bayes permet d’écrire

Si on suppose disposer d’un échantillon d’observations  de loi , où, classiquement  est vu comme un paramètre inconnu que l’on cherche à estimer. Ici, on va supposer qu’il s’agit d’une variable aléatoire dont on va pouvoir obtenir une distribution (dite à posteriori) compte tenu des observations dont on dispose. On écrit alors

où le premier terme est une loi a priori que l’on se donne sur le paramètre , et le second est la vraisemblance de l’échantillon.

Afin d’illustrer un peu, reprenons notre exemple initial, où on dispose de 5 assurés, et qu’aucun n’ai réclamé de sinistre. Que peut-on dire sur la probabilité qu’un assuré ait un sinistre. Avec les approches classiques, la probabilité estimée serait nulle. Ce qui est gênant pour calculer ensuite une prime convenable. La réponse Bayésienne consiste à suppose que la probabilité de réclamer un sinistre est une variable aléatoire, dont on peut calculer la loi a posteriori, compte tenu du fait que l’on observé – pour l’instant – cinq observations nulle. En utilisant la relation précédente, la densité a posteriori est ici

où le second terme est la probabilité d’avoir cinq fois 0 avec une loi de Bernoulli, ce qui vaut , et où le premier terme est une loi que l’on se donne, a priori pour .

Une loi qui pourrait sembler naturelle serait la loi uniforme, pouvant être perçu comme non informative. Dans ce cas, la densité de , a posteriori, est proportionnelle à . Comme le montre la Figure ci-dessous, on a ici beaucoup de chance que  prenne une valeur proche de 0 (ce qui a du sens, car on n’a jamais observé de réclamation, jusqu’à présent). A priori, il a avait 95 chances sur 100 que la probabilité soit inférieure à 95% (c’est l’idée de la loi uniforme comme loi a priori). Après cinq expériences sans sinistre, a posteriori, il y a 95 chances sur 100 que la probabilité de réclamer soit inférieure à 40%. Si nous avions observé dix fois la valeur nulle, il y aurait, a posteriori, 95 chances sur 100 que la probabilité de ne pas réclamer soit inférieure à 25%.

La Figure ci-dessous montre la déformation de la loi a posteriori, au fur et à mesure de la mise à jour, avec la loi a priori à gauche, puis a posteriori sachant qu’une observation est arrivée (nulle), puis une seconde, puis une troisième, etc.

Sur la figure ci-dessous, il s’agit à nouveau de la déformation de la loi a posteriori, avec une loi a priori différente (en l’occurrence, la loi dite non-informative de Jeffreys)

  • Les outils statistiques pour le small data

De même que le big data pose des problèmes aux techniques statistiques classiques, et permet de découvrir les techniques d’apprentissage, le small data pose des problèmes à laquelle la statistique classique n’apporte aucune réponse. Les actuaires redécouvrent les techniques bayésiennes, mais aussi d’autres outils qui permettent malgré tout d’apporter des réponses quantitatives pertinentes. Pour quantifier l’incertitude lors du calcul des provisions pour sinistres à payer, les actuaires utilisent des techniques de rééchantillonage (bootstrap) depuis une vingtaine d’années (rappelé dans Charpentier, Devineau & Nessi (2010)) pour tenir compte du peu de données dans les triangles de liquidation. Si le big data ouvre des perspectives fascinantes à explorer pour les actuaires (en particulier en souscription), il convient de garder en mémoire que dans beaucoup de cas, les actuaires doivent quantifier des risques avec très peu de données. L’avenir n’est aucunement au big data ! L’avenir est au contraire dans la connaissance de techniques permettant de traiter à la fois des gros volumes de données, mais aussi de faire face à un insuffisance de données.

1 Dans le cas des événements (très) rares, l’approximation par une loi de Poisson sera nettement meilleure, mais ici, la probabilité est de l’ordre de 15%, ce qui est trop élevé.

2 On retrouve ici les intervalles de confiance mentionnés désormais dans les sondages.

La Loi des Petits Nombres

Comme nous l’avions vu dans Charpentier (2010), la loi des grands nombres est souvent évoquée pour justifier la mutualisation des risques indépendants : plus la mutualité sera grande, plus petite sera la variabilité. A condition que les risques ne soient pas trop grands. Un cas problématique sont les risques catastrophiques : ils sont rares, et parfois tellement (potentiellement) coûteux que l’hypothèse d’existence de la variance doit être remise en cause. La modélisation de ces événements rares repose sur la loi des petits nombres, pour reprendre le nom de l’ouvrage de Ladislaus Bortkiewicz. Comme nous allons le voir, la loi de Poisson est à la loi des petits nombres ce que la loi normale est à la loi des grands nombres. Nous verrons donc en détails l’importance de la loi de Poisson pour modéliser les événements rares. Et nous verrons pourquoi la probabilité qu’un événement ne survienne pas est toujours de 37%. Ou presque.

  • La loi de Siméon-Denis Poisson

Siméon-Denis Poisson a travaillé sur les calculs des probabilités pendant presque 20 ans, de 1820 à 1840. Comme pour beaucoup de ses contemporains, ses premiers travaux portèrent sur des problèmes de jeux, avec une communication à l’Académie des Sciences sur l’avantage du banquier au jeu de trente et quarante. Mais son premier travail conséquent a porté sur un problème longuement étudié par Laplace (qui a été un de ses professeurs) sur la proportion des naissances des filles et des garçons (problème classique de statistique) publié en 1830. Il y présente en particulier une démonstration de la loi des grands nombres pour une loi de Bernoulli, qu’il modifiera par la suite. Dans ce mémoire, il y présente une loi, qui sera appelée plus tard la loi de Poisson : « la probabilité qu’une événement dont la chance à chaque épreuve est la fraction très petite x/mu n’arrive pas plus de  fois dans un très grand nombre d’épreuve mu d’épreuve (pour reprendre la terminologie utilisée en 1837, ce qui correspond à la fonction de répartition avec une terminologie plus contemporaine) est »

https://latex.codecogs.com/gif.latex?P=\left(1+x+\frac{x^2}{1\cdot%202}+\frac{x^3}{1\cdot%202\cdot%203}+\cdots+\frac{x^n}{1\cdot%202\cdots%20n}\right)e^{-x%20}

On verra réapparaître cette loi dans son fameux traité, paru en 1837, Recherches sur la probabilité des jugements. En particulier, dans le chapitre 8, il obtient sa loi comme limite de la loi binomiale https://latex.codecogs.com/gif.latex?B(T,\lambda%20/T) lorsque https://latex.codecogs.com/gif.latex?T devient grand, mais passe assez rapidement à d’autres considérations. Il n’étudie pas cette loi limite, et ne propose pas vraiment de l’utiliser. Il faudra attendre les travaux de Ladislaus Bortkiewicz, presque un siècle plus tard, pour voir des applications, dans Das Gesetz der kleinen Zahlen (la loi des petits nombres). Et comme toujours en mathématiques, lui attribuer tout le crédit est un peu excessif, puisqu’un siècle auparavant, en 1718, de Moivre avait obtenu la loi même loi, toujours comme limite de la loi Binomiale. Si le nom de Poisson est resté à la postérité, c’est essentiellement parce que Boltzmann le cite, en 1868, ainsi que Seidel en 1876, et surtout Tchebychev. Cela dit, Poisson était loin d’être un inconnu, en tant que scientifique. Ses travaux l’ont amené à travailler sur des problèmes d’électrostatique (la fameuse équation de Poisson), à l’équation de la chaleur avec Fourier, il s’est opposé à Fresnel sur des problèmes d’optique, et il a présidé à deux reprises l’Académie des Sciences.

La distribution d’un nombre d’événements obtenu comme somme de variables de Bernoulli, dans une grande population, peut s’approcher par la loi de Poisson. Ou lorsque la probabilité de survenance est faible, par rapport à la taille de l’échantillon. Formellement, si https://latex.codecogs.com/gif.latex?N suit une loi binomiale https://latex.codecogs.com/gif.latex?B(n,p), avec , alors

https://latex.codecogs.com/gif.latex?P[N=k]=\binom{n}{k}p^k(1-p)^{n-k}\sim%20e^{-\lambda}\frac{\lambda^k}{k!}

On parlera de loi des petits nombres car on compte ici des évènements rares (la probabilité de survenance d’un évènement étant inversement proportionnelle à ).

Ce résultat se traduit de la manière suivante: si on se donne un échiquier, si on lance 100 pièces et si on compte le nombre de pièces par case, la distribution suivra une loi de Poisson de moyenne 1 (le ratio entre le nombre de pièces et de cases). Une illustration est évoquée sur la Figure suivante

Nombre de pièces par case

Fréquence

Loi de Poisson

0

36

36,78

1

39

36,78

2

16

18,39

3

7

6,13

4

2

1,53

5 et plus

0

0,37

  • L’utilisation de la loi de Poisson, et les mélanges Poissonniens

A la fin du XIXème siècle, à l’université de Göttingen, Wilhelm Lexis (connu en démographie pour les diagrammes qui portent aujourd’hui son nom) avait envie d’étudier les applications de cette loi. Alors qu’il étudiait l’utilisation de la loi de Poisson dans un contexte démographique, un de ces étudiants, Ladislaus Bortkiewicz, proposa de l’utiliser pour modéliser des nombres d’accidents. Dans l’exemple fameux de Bortkiewicz, datant de 1898, il avait étudié le nombre de soldats de cavaliers morts par ruade de cheval, entre 1875 et 1894, dans 10 corps (soit 200 corps annuels). Il avait obtenu la distribution donnée dans la table suivante. La colonne de droite donne le nombre de décès donné par une loi de Poisson de même moyenne. On note que l’ajustement est très bon, et on comprend vite la fascination de Bortkiewicz pour cette loi.

Nombre de décès, par corps

Fréquence

Loi de Poisson

0

109

108,67

1

65

66,21

2

22

20,22

3

3

4,11

4

1

0,63

5 et plus

0

0,08

Maintenant, pour être tout à fait honnête, la loi que nous avons énoncée comme une loi des petits nombres est très différente de celle proposée par Bortkiewicz (celle qu’il a énoncé dans son ouvrage lui a valu un cinglant commentaire de Corrado Gini, qui écrivait en 1907, de manière provocatrice que « the law of small numbers does not exist »). Mais l’utilisation de la loi de Poisson pour modéliser les accidents, et plus généralement les petits nombres venait de débuter.

Dans les années 1930, Filip Lunderg avait noté l’intérêt (théorique) du processus de Poisson pour modéliser l’arrivée des sinistres, ainsi que plusieurs actuaires de l’école scandinave (Esscher en 1932, Sgerdahl en 1939, Lüders en 1934, etc). Depuis, tous les actuaires ont utilisé cette loi pour modéliser toute sorte d’évènements “rares“, comme la survenance annuelle d’ouragans, aux États-Unis (Figure ci-dessous).

Nombre d’ouragans

Fréquence

Loi de Poisson

0

30

27,16

1

48

47,99

2

37

42,41

3

29

24,98

4

8

11,03

5

3

3,90

6

3

1,15

7

1

0,29

8 et plus

0

0,08

  • De la loi de Poisson à la période de retour

Un concept fondamental en gestion des risques extrêmes a été introduit par Emil Gumbel en 1958, liant le temps qui s’écoule (en années) entre deux événements consécutifs et la probabilité (annuelle) de survenance. Pour des événements se produisant avec une probabilité annuelle , indépendamment les uns des autres, le temps moyen d’attente entre deux événements est , appelé période de retour, et la probabilité qu’aucun événement ne survienne pendant années (consécutives) est alors

On peut résumer ceci dans le tableau ci-dessous, où on étudie probabilité qu’un événement ne survienne pas pendant n années (en ligne) en fonction de la période de retour . Pour un événement centenaire, il y a 36,60% chance pour qu’il ne survienne pas en cent ans.

Période de retour (en années)

Nombre d’années
sans catastrophe

10

20

50

100

200

10

34,86%

59,87%

90,43%

90,43%

95,11%

20

12,15%

35,84%

66,76%

81,79%

90,46%

50

0,51%

7,69%

36,41%

60,50%

77,83%

100

0,00%

0,59%

13,26%

36,60%

60,57%

200

0,00%

0,00%

1,75%

13,39%

36,69%

  • La probabilité qu’un événement ne survienne pas est… 37%

Comme on le voit dans le tableau ci-dessus, sur la diagonale, la probabilité qu’un événement ne survienne pas pendant années quand sa période de retour est est de l’ordre de 37%. D’ailleurs, si on revient un instant sur notre échiquier évoqué auparavant, la probabilité de n’avoir aucune pièce sur une case était de… 37%

Reprenons ici un exemple qui avait fait polémique il y a quelques années, sur le risque nucléaire. Dans un article (Laponche et Dessus, 2011), on apprenait que la probabilité d’avoir un incident majeur sur réacteur nucléaire, pour une année, était de l’ordre de 0,0003 (3 chances sur 10,000). Or comme il y a 143 réacteurs nucléaires, sur 30, la probabilité d’avoir un incident majeur est (selon le calcul des auteurs)

D’où la conclusion savoureuse, « la probabilité d’occurrence d’un accident majeur sur ces parcs serait donc […] de plus de 100% pour l’Union européenne ». Comme on l’a noté, la probabilité d’avoir un incident majeur sur une période lorsque la probabilité annuelle est https://latex.codecogs.com/gif.latex?p s’écrit

https://latex.codecogs.com/gif.latex?P[N\leq%20n]=1-(1-p)^n%20\sim%20np

en utilisant un développement limité non justifié ici ! Il convient ici d’utiliser le modèle de Poisson. La probabilité d’avoir au moins un incident majeur est

https://latex.codecogs.com/gif.latex?P[N\leq%20n]=1-(1-p)^n%20\sim%201-e^{-np}

soit ici 72,47%. Si la probabilité était traduite en terme de durée

https://latex.codecogs.com/gif.latex?p=\frac{1}{T}

avec

https://latex.codecogs.com/gif.latex?T=\frac{1}{0,0003\times143}\sim%2023,31

on voit qu’ici, le temps moyen d’attente entre deux incidents majeurs en Europe est de 23 ans. Ce qui fait que sur 23 ans, la probabilité de n’avoir aucun incident majeur est de l’ordre de 37%.

  • Conclusion

La loi de Poisson est présente partout en assurance, car c’est la loi centrale pour modéliser le comptage d’événements rares. Le nombre de décès dans un portefeuille d’assurance-vie suit une loi de Poisson, tout comme le nombre d’accidents par unité de temps en assurance automobile. On retrouve même l’estimateur Chain Ladder du montant de provisions pour sinistres a payer quand on utilise une régression de Poisson sur les incréments de paiements.

Efficience des marchés: hypothèse de modèle ou fait stylisé ?

Certains pensent que les crises boursières et les bulles sont une preuve flagrante de l’inefficience des marchés. Pourtant, comme le notait Michael Jensen en 1978, “I believe there is no other proposition in economics which has more solid empirical evidence supporting it than the Efficient Market Hypothesis”. Il était donc normal que décerner le prix Nobel d’économie à Eugène Fama suscite autant de passion. Cela dit, la notion d’efficience des marchés est  une notion clé de la finance (pour ne pas dire de l’économie de manière plus générale) car elle pose la question de la constitution des prix.

On peut remonter très loin dans le temps pour définir un concept de prix, par exemple en 1202, dans son Liber Abbaci, Leonardo Fibonacci parle de troc de marchandises et évoque le prix de choses semblables. Cette idée sera traduite en langage plus contemporain dans la notion de prix de réplication et de prix unique. On retrouvera cette idée chez l’actuaire Jan de Witt en 1671, lorsqu’il cherche le prix de rentes viagères, et qu’il parle de prix de rachat, et d’une notion de prix équitable. Quelques années auparavant, Christiaan Huygens avait publié ‘Van Rekeningh in Spelen van Geluck‘ (traduction en latin sous le titre ‘De Ratiociniis in Aleæ Ludo‘) évoquant le prix des jeux[1]. L’idée du prix unique, et l’importance de l’espérance mathématique en finance, sera formalisée entre 1955 et 1965, par Kenneth Arrow et Gérard Debreu (qui ont déjà eu le prix Nobel d’économie). Pour faire un résumé rapide, Eugène Fama aura eu son prix Nobel pour avoir exploité des propriétés de martingale.

Nous allons revenir sur cette histoire d’efficience de marché, et de prix martingales, en se demandant s’il s’agit d’un axiome permettant de définir un concept de prix, ou s’il s’agit plutôt d’un fait stylisé. Et pour cela, si nous allons évoquer le dernier prix Nobel d’économie, nous allons aussi revenir sur un texte fondamental publié voila exactement 150 ans.

  • Marche aléatoire, martingales et prix d’actifs

D’un point de vue mathématique (en tant que propriété des processus stochastiques), il faut remonter aux travaux de Joseph Bernstein, Paul Lévy, Émile Borel, et surtout Joseph Doob, au milieu au XXième siècle pour voir apparaître une théorie des martinagles. Cela dit, le mot est plus ancien: il entre dans le dictionnaire de l’Académie Française en 1762. ‘Jouer à la martingale‘, c’est jouer toujours tout ce que l’on a perdu.  Mais quelques années plus tot, on pouvait déjà trouver le mot sous la plume de l’Abbé Prévost (le jeu qu’il décrit en 1750 comme variante du jeu du pharaon est aussi appelé martingale d’Alembert) Cela dit, l’origine que je préfère est de relier le mot martingale à l’expression provençale “jouga a la martegalo” qui signifierait ‘jouer de manière incompréhensible, absurde’ comme l’évoque Frédéric Mistral dans Lou Tresor dòu Felibrige (ou dictionnaire provençal-français). On retrouve une origine proche dans le Dictionarie of the French and English tongues de Randle Cotgrave, datant de 1611, qui mentionne l’expression “à la martingale” avec le sens absurdly, foolishly, untowardly, grossely, rudely, in the homeliest manner. Il cite même l’usage de l’expression “philosopher à la martingale“.

Cowles & Jones (1937)[2], Cootner (1964) et surtout Samuelson (1965) ont montré que les prix des actifs pouvaient être modélisé par des marches aléatoire. Comme le dit Paul Samuelson “there is no way of making an expected profit by extrapolating past changes in the future price, by chart or any other esoteric devices of magic or mathematics“. Et il souhaite attribuer le crédit de cette utilisation de la marche aléatoire aux les travaux de Louis Bachelier dans les années 1950, qu’il relie aux travaux d’Albert Einstein sur le mouvement brownien. Mais il oublie de rappeler que les travaux de Louis Bachelier se site dans une tradition (actuarielle) française utilisant la marche aléatoire pour modéliser les prix des actifs boursiers, parmi lesquelles on citera Emmanuel-Étienne Duvillard, Recherches sur les rentes et les emprunts, en 1787, Lefèvre de Châteaudun,Traité des valeurs mobilières et des opérations de bourse, en 1870, mais surtout Jules Regnault, Calcul des chances et philosophie de la bourse, en 1863 (on pourra consulter à ce sujet les travaux passionnant de Franck Jovanovic). Le mythe autour de Louis Bachelier repose essentiellement sur deux faits: tout d’abord Louis Bachelier ne cite pas les travaux antérieurs, laissant penser à Paul Samuelson qu’il avait, seul, accouché d’une nouvelle théorie; mais également, Louis Bachelier a longtemps vécu sur le mythe sur savant incompris (suite essentiellement à un rapport de Paul Lévy qui lui reprochait une ‘erreur grave’, portant sur le rayonnement de la probabilité, ‘erreur’ qui reposait plutôt sur une imprécision et un manque de rigueur, qui fut éclairé par la suite par les travaux de Andreï Kolmogorov).

On retrouve beaucoup d’autres résultats connus dans cet ouvrage. Par exemple, Jules Regnault note que “les écarts vont en diminuant pour des temps plies rapprochés, en augmentant pour des temps plus éloignés“, avec ce résultat, dans le paragraphe qui suit “il existe donc une loi mathématique qui règle les variations et l’écart moyen des cours de la Bourse, et cette loi, qui ne paraît pas avoir jamais été soupçonnée jusqu’à présent, nous la formulons ici pour la première fois :

L’ÉCART DES COURS EST EN RAISON DIRECTE DE LA RACINE CARRÉE DES TEMPS.”

(c’est Jules Regnault qui écrit en majuscules cette loi). Cela dit, la grande différence entre Jules Regnault et Louis Bachelier est que le premier tire cette propriété d’observations de cours de bourse, alors que le second construit un modèle de marche aléatoire (en temps continu) qui vérifie cette propriété.

  • Des marches aléatoires a l’efficience

Si les économistes ont compris que les prix des actifs devaient suivre une marche aléatoire, restait a comprendre sous quelle probabilité. Comme le notait  Jules Regnault, les agents investissent en tenant compte du “degré de probabilité qu’il(s) attribue(nt) aux événements“. En ce sens, il est le premier a comprendre l’importance de l’information dans la constitution des prix : “si tout le monde avait les mêmes idées et appréciait également les mêmes causes, il n’y aurait plus de contrepartie possible“. De manière très moderne, il note ainsi que “le cours n’est pas toujours uniquement déterminé par les circonstances présentes ; il comprend encore toutes les espérances légitimes qui peuvent être renfermées dans cette situation.”

Mais l’analyse de Jules Regnault manque de formalisme, et ce sont Eugène Fama en 1965 et Benoit Mandelbrot en 1966 qui vont poser les bases mathématiques de la notion d’efficience[3]. Pour reprendre la définition donnée par Eugène Fama, “A market in which prices at any time “fully reflect” available information is called “efficient”“. En 1970, il propose trois modèles, caractérisant trois formes d’efficience, dans trois parties distinctes, (1) Expected Returns or “Fair Game” Models, (2) Submartingale Models et (3) Random Walk Model. A cette classification, on préférera (bien que le lien ne soit pas évident)

  1. une notion faible d’efficience: l’information consiste a connaître les prix passés des différents titres,
  2. une notion semi-forte (semi-faible) d’efficience: l’information inclus également de l’information publiquement disponible concernant les titres, comme des rapports annuels, ou des analyses techniques sectorielles
  3. une notion forte d’efficience: ici l’information inclue une possible information privilégiée, possédée par des insiders.

Il existe plusieurs informations possible, et il n’est pas nécessaire que tout le monde ait la même : il suffit que certains investisseurs aient une information privilégiée pour qu’elle soit assimilée par tout le monde (car il n’y aura alors plus d’information non-exploitée). Plusieurs auteurs ont noté que ces hypothèses pouvait mener a des paradoxes, ou des anomalies.

Pour résumer, Eugène Fama dit que les prix contiennent toute l’information accessible. En ce sens, il rejoint ce que disait Frank Ramsey, en 1926, lorsqu’il disait que les probabilités étaient des ‘degrés de croyance’ (idée qui existait chez Savage ou de Finetti) que l’on retrouvait dans les côtes des paris. Et s’il n’existe pas de mesure martingale, alors des arbitrages sont possibles.

On notera toutefois que si ces modèles parlent des croyances des agents, ils ne parlent pas de l’utilité des agents, de leur aversion pour le risque, ou de leur préférence pour le présent.

  • Les tests empiriques de l’efficience

Insistons ici sur le fait que si les marchés sont efficients, les cours des actions pourront être interprétés comme des prévisions de dividende, alors que les taux des obligations comme des prévisions des taux d’intérêt futur (de plus courte maturité). C’est ce que note Stephen LeRoy en écrivant “for the most part, in the empirical literature market efficiency is in practice equated with rational expectations plus the martingale model, and we will follow this convention“. Les tests d’efficience sont donc étroitement liés aux tests de marche aléatoire sur ces différents prix.

Les tests de la forme faible d’efficience sont les plus nombreux (et les plus simples) puisqu’ils ont été couramment associés tests de racine unitaire, aux tests d’autocorrélation ou tests des runs (pour une approche nonparamétrique).

Pour les tests de la forme semi-forte, il faut étudier en détails les annonces faites : si le marché est efficient au sens semi-fort, une annonce par une entreprise ne devrait pas avoir d’influence sur son cours. En effet, le marché devrait avoir correctement (pour ne pas dire rationnellement) anticipé l’annonce, et le prix devrait refléter l’information, avant même la publication[4]. Il convient de noter que la plupart des tests ont rejeté cette hypothèse. Mais conclure a une inefficience est dangereux, comme on l’a noté: l’efficience est un modèle d’actualisation des dividendes futurs. Ne faudrait-il pas voir ici une mauvaise spécification du modèle de formation des prix par exemple ? Fama (1991) préfère remettre en cause de son côté l’hypothèse de rationnalité (parfaite) des agents. Robert Shiller (également lauréat cette année) a observé que les prix des actions fluctuaient beaucoup trop, en particulier si on les compare aux bénéfices des entreprises et des dividendes versés. C’est ce que Robert Shiller interprétera comme une sur-réaction instantanée, une “exubérance irrationnelle” pour reprendre le titre d’un de ses livres. On y retrouve davantage un questionnement sur la rationalité que sur l’efficience.

Pour la troisième forme d’efficience (la plus forte) plusieurs études ont montré qu’il existe, effectivement, des insiders. Les tests les plus simples ont alors été la capacité de ces investisseurs à “battre le marché”. Michael Jensen, en 1968, a montré que sur 115 fonds, seuls 2 avaient (significativement) battu le marché. Et Eugène Fama fut le premier a critiquer l’idée d’une forme forte d’efficience[5]. Tous les deux ont tenté de confronter cette théorie aux données. Les tests les plus récents sont des tests de volatilité, qui concluent globalement à une volatilité excessive des cours des actions (relativement aux fondamentaux). Mais cela met-il en avant une notion d’inefficience ? Ce n’est pas l’avis de Shiller. Et on notera que c’est grâce aux travaux de Lars Peter Hansen (entre autres) que des modèles économétriques ont permis de questionner cette hypothèse.

La question de l’efficience des marchés pose la question fondamentale et importante de la constitution des prix. Pour Eugène Fama, le caractère aléatoire et imprévisible des variations de prix sur les marchés financiers est synonyme d’équilibre dynamique (dans un marché en libre concurrence), ce que disait Jules Regnault il y a tout juste 150 ans. Cette hypothèse d’efficience de marché a été un concept clé de la théorie financière des 50 dernières années, et un questionnement important pour les économètres. Mais ce modèle n’est-il pas trop simple ? Ne pourrait-on pas essayer de prendre en compte les mécanismes d’apprentissage et d’adaptation des marchés. Qui doit-on croire quand on cherche de l’information ? Comment distinguer les insiders des noise traders ? Certains traders disparaissent, d’autres arrivent, comme un écosystème en évolution.

  • Références

Cowles, A. & Jones, H,E. Some A Posteriori Probabilities in Stock Market Action. Econometrica, 5, 280-294.

Cootner, P. 1964, The Random Character of Stock Market Prices, Cambridge, MIT Press.

Fama, E. 1965. The Behavior of Stock Market Prices. The Journal of Business, 38, p. 34-105

Fama, E. 1970. Efficient Capital Markets: A Review of Theory and Empirical Work. Journal of Finance, 25, p. 383-417.

Jensen, M.C. 1968. The performance of mutual funds in the period 1945-1964. Journal of Finance, 23, p. 389-416.

LeRoy, S.F. (1976). Efficient capital markets: Comment. Journal of Finance, 31, p.139-141.

LeRoy, S.F. (1989). Efficient Capital Markets and Martingales. Journal of Economic Literature, 27, 1583-1621.

Lo, A. & MacKinlay , C. 2001. A Non-Random Walk Down Wall Street. Princeton University Press.

Malkiel, B.G. 2007. A Random Walk Down Wall Street. Norton & Company

Mandelbrot, B. 1966. Forecasts of future prices, unbiased markets and “martingale” models. Journal of Business, 39, p. 242-255

Mansuy, R. 2005. Histoire de martingales. Mathématiques & Sciences Humaines, 169, p. 105-113.

Regnault, J. 1863. Calcul des chances et philosophie de la bourse. Mallet-Bachelier & Castel.

Sinon, voici la conférence d’Eugène Fama, la fameuse Nobel lectures (avec Lars Peter Hansen et Robert Schiller)

 


1. on retiendra l’histoire racontée par Ian Hacking dans Emergence de la Probabilité, ou l’on apprend que dans la traduction en latin (pour que le texte soit diffusé), Christiaan Huygens avait hésité a utiliser le mot latin ‘spes’, que l’on retrouve dans espoir, et espérance. Christiaan Huygens avait compris que le prix était lié a une espérance (qui deviendra mathématique, plus tard).

2. Alfred Cowles, mais aussi Holbrook Working, se sont beaucoup questionné suite a la crise de 1929, et le fait que personne n’avait pu prédire une telle crise. C’est cette crise qui les a poussé a postuler que les variations boursières étaient en grande partie imprévisibles. En 1933, Alfred Cowles commença a comparer les résultats (ex post) de professionnels, avec les indices boursiers, et a montrer qu’il était difficile (ou improbable) de battre le marché.

3. en ce sens, le prix Nobel d’économie est effectivement devenu un prix Nobel de mathématiques…

4. plus récemment, des analyses fines (sur des données haute-fréquence) ont étudié plus en détail l’impact des annonces, comme Market efficiency in real time, où les auteurs ont étudié durant 20 semaines les émissions “Morning Call” et “Midday Call” (diffusées sur CNBC), et les recommandations d’achat ou de vente faites en direct par un analyste financier.


5. en fait, dans des articles récent d’Eugène Fama, répondant a nombre de critiques, on voit qu’il n’est plus question de marche aléatoire et de martingales dans les tests d’efficience. Ce que certains voient comme un échec dans l’idée de tester l’efficience.

Loi des grands nombres et théorème central limite en assurance

Dans le dernier numéro de la revue Risques figure un petit article sur la loi des grands nombres et le théorème central limite en assurance (ici) Le but était de remettre un peu les pendules à l’heure sur la différence entre les implications de ces deux résultats, et surtout d’amorcer une discussion sur l’importance des hypothèses (en particulier celle de risques indépendants).

Course on risk measures (in French)

The course on risk measure, in Luminy, starts at 16.00 on Monday (here). The slides can be found here,

Note that additional references can be downloaded on the internet, e.g. the short course on risk measures by Freddy Delbaen (here) or the article from the Encyclopedia of quantitative finance, by Hans Föllmer and Alexander Schied (there). See also here for the paper by Jean Marc Tallon, Johanna Etner and Meglena Jeleva, on decision theory under uncertainty.

Foot, probabilité, et assurance, partie 2

Continuons le billet commencé ici, où j’essayais noté que les enseignes qui se sont engagé à faire des cadeaux en cas de victoire de l’équipe de France s’étaient couvertes via des contrats d’assurance. En fait, elles peuvent également se couvrir sur les marchés (en l’occurrence les sites de paris en ligne). Il existe plusieurs façons de faire des paris. La première est de faire (ou d’acheter) un pari sur un événement (la France ira en finale de la coupe du monde, par exemple). Ce pari est assorti d’une cote que défini le bookmaker. A une cote de 20 contre 1, si je paris 1 euro, je gagne 20 euros en cas de qualification pour la finale.
Dans ce cas particulier, le bookmaker est un agent important dans le marché, car il fixe le prix. Le site oddschecker.com (ici) permet de voir les cotes offertes par différents bookmakers.

Mais il existe aussi des marchés de paris, sans bookmakers. Il s’agit réellement d’un marché, où les parieurs prennent des positions les uns contre les autres, le bookmaker ne servant que d’intermédiaire et d’animateur sur ce marché. C’est le cas sur betfair.com () qui est un site d’échange de paris.

Pour commencer simplement, imaginons que nous sommes quelques jours avant une finale opposant la Corée du Sud aux Etats-Unis. Comme il ne peut y avoir qu’un vainqueur il existe des contratssymétrique, où l’on peut gagner 20 euros si la Corée gagner (et rien si elle perd) et un autre où l’on peut gagner 20 euros si la Corée perd. Bref, soit je suis acheter sur la Corée, soit je suis vendeur. Le prix de ces contrats indiquent la probabilité qu’a la Corée de gagner. On parle aussi de back or lay, deux évènements étant possibles.

  • Lecture d’une cote

Regardons maintenant le match d’ouverture, opposant l’Afrique du Sud au Mexique. Les cotes sont les suivantes, “Mexique 6/4, Afrique du Sud 15/8 et Draw (match nul) 11/5” sur un des sites. Le premier nombre indique ce que l’on gagne (net) en misant le second, si mon pari est gagnant. Autrement dit, si je paris 5 euros sur un match nul, et que match nul il y a, alors mon bénéfice sera de 11 (que je touche en plus de ma mise). La cote est alors de 1+11/5, soit 16/5 (j’avais fait ici un billet sur le lien entre cote et probabilité). Elle indique non plus le bénéfice, mais le gain: en misant 5 euros, j’empoche 16 euros. On parlera de paris 1X2.

Pour aller plus loin, on peut aussi parier sur le nombre de buts marqués. On parlera de paris over/under.

Chez le même bookmaker, si je paris 1 euro que la France gagne la coupe du monde, je fais un bénéfice de 18 euros.

  • Cote ou probabilité ?

Lorsque j’avais essayé d’expliquer l’origine de la loi logistique (ici), j’avais expliqué qu’il existait un lien simple entre probabilité et cote, la cote étant la probabilité que l’évènement se réalise, divisé par la probabilité qu’il ne se réaliste pas. Malheureusement, les choses sont un peu plus complexes dans les paris…
Zoomons un peu sur le match d’ouverture,


La cote est la valeur offerte la par le bookmarker, à laquelle on ajoute 1. La “probabilité” est alors l’inverse de cette cote.

résultat Bookie Offers Cote “probabilités”
Mexico 11/8 2.375 42.10%
South Africa 13/8 2.623 38.09%
Draw 11/5 3.200 31.25%
total 111.45%

A-t-on raté quelquechose ? car visiblement la “probabilité” n’est pas une vraie probabilité… En fait, supposer que l’on puisse construire une mesure de probabilité à partir des cotes doit pouvoir être relié au “théorème fondamental d’asset pricing” (et de probabilités risques neutres mentionnés tout à l’heure)

  • Relecture des cotes à l’aide du théorème fondamental

Autrement dit, on suppose qu’il existe une mesure https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-01.png telle que
https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-02.pnghttps://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-03.png est l’ensemble des gains possibles, et https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-04.png un équivalent certain.
On suppose qu’il existe un ensemble d’évènements https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-05.png (mutuellement exclusif comme on dit, formant une partition de https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-06.png), un seul pouvant survenir (en l’occurrence l’équipe qui reçoit gagne, ou l’équipe qui reçoit perd, ou il y a match nul). On considère un bookmaker qui accepte de payer https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-08.png si l’évènement i survient à un joueur qui aura parié 1 euro. On pourra légitimement pense que https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-09.png. Notre souhait est de relier ces https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-08.png et https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-10.png, si un lien quelconque pouvait exister. Ce problème avait été soulevé par Ramsey ou de Finetti.

En notant https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-11.png le montant total placé sur l’évènement https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-12.png. On pourra dire que l’on est à l’équilibre si https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-13.png est constant. Autrement dit, le ratio des cotes doit être l’inverse des ratios de montants placés,

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-15.pngOn peut ainsi s’intéresser à

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-16.png

qui est la fraction de l’argent qui sera effectivement rétribuée aux parieurs, ou https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-17.png sera la part gardée par le bookmaker. On peut penser qu’un bookmaker fixe https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-18.png, et alors

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-20.png

En fait, k peut être vu comme un taux d’actualisation (l’équivalent d’un https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-22.pngen mathématique financière). On peut d’ailleurs noter que si on note https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-25.png le produit

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-26.png

alors la stratégie consistant à parier

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-27.png

sur l’évènement https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-12.png, pour tout les évènements, aura un coût unitaire (j’ai ici constitué mon portefeuille si on revient à la théorie de l’arbitrage). Aussi

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-29.png

En l’occurrence, sur le match d’ouverture de la coupe du monde, on obtient https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-18.png de l’ordre de 90% (l’inverse de la somme de la dernière colonne). Autrement dit, le bookmaker prend de l’ordre de 10%.
A partir de là, on peut en déduire de ces prix d’Arrow Debreu une “probabilité implicite” qui est la probabilité risque neutre, ou la croyance des investisseurs dans la survenance des évènements. Pour cela, on pourrait poser

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-30.png

sauf que dans ce cas, compte tenu de la dernière relation, https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-34.png. On définie alors la probabilité implicite des parieurs sous la forme

https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-35.png

On a réussit à construire une mesure de probabilité https://f.hypotheses.org/wp-content/blogs.dir/253/files/2017/03/foot-pari-01.png, qui correspond à l’intuition des parieurs… mais qui n’a rien à voir avec la probabilité réelle. Si l’on compare les bookmakers, on note que les probabilités induites sont très proches,

et si on compare la part prise par le bookmaker sur ce match, on est là aussi sur des ordres de grandeurs comparables,

Justin Wolfers et Eric Zitzewitz, dans Prediction Markets paru dans le Journal of Economic Perspectives de 2004 (ici) expliquent d’ailleurs tout cela très clairement. Je peux aussi renvoyer à un document de travail datant de novembre dernier de Egon Franck, Erwin Verbeek, et Stephan Nüesch (en ligne ici).
J’ai parlé tout à l’heure de probabilité risque neutre, mais cela sous-entend que l’on puisse supposer les marchés efficients, et qu’il n’y ait absence d’opportunité d’arbitrage. C’est précisément ce qu’avait regardé Steven Levitt et Richard Gillici, dans un vieux papier, évoqué également . Pour résumer les conclusions, il n’y a pas d’opportunités d’arbitrage sur ces marchés, et il existe des “market makers”, c’est à dire des parieurs misant énormément, ce qui accroît considérablement la liquidité de ces marchés. Mais cette conclusion sur l’absence d’opportunité d’arbitrage a été largement remise en cause en pratique. Pour aller plus loin, on peut aussi regarder un article de Moris Eaton et David Freedman, Dutch Book against some ‘Objective’ Prior, paru dansBernoulli en 2004, en ligne . C’est marrant car cette relecture Bayésienne des jeux de pari peut être étudier en pratique, pour la coupe du monde de foot surworldcup.bayesialab.com (, merci Avner pour le lien). Je vais continuer de suivre ça lorsque les matchs commençerons, afin de voir les mises à jour des paris au fur et à mesure de l’évolution des matchs… à suivre donc.

Foot, probabilité, et assurance, partie 1

Depuis la fenêtre de mon bureau, je pourrais presque voir la grande banderolle sur le fronton du centre commercial de la Visitation,

Un vendeur d’électroménager proposer de rembourser certains achats sir la France gagne la coupe du monde de foot ! Cela me fait penser au court billet que j’avais fait l’an dernier, ici, comme quoi certains camping pouvaient rembourser les vacances des vacanciers en cas de mauvais temps…. Oui, on pourrait s’en douter, il y a un contrat d’assurance derrière – afin d’éviter que ce revendeur (il n’est pas le seul d’ailleurs) ne fasse faillite ! Des amis qui suivent le foot me faisaient remarqué que la prime d’assurance ne devaient pas être trop élevée….
Pour être un peu plus précis, Berkshire Hathaway a annoncé avoir assuré un de ses souscripteurs en cas de victoire de l’équipe de France lors de la prochaine coupe du monde. La perte maximale ne semble pas collossale, comme le notait Warren Duffet: « je pense que nous allons perdre 30 millions de dollars, ou quelque chose comme ça, si la France gagne ».

Quant aux probabilités dans le cas des vacances (ici), Meteo France propose des estimations objectives des probabilités. Dans le cas du foot, on peut faire comme en finance, et aller extraire les probabilités des marchés, en l’occurence des sites de pari en ligne, comme ici. En l’occurence, on apprend que la cote de la France est de l’ordre de 21… mais je reviendrais là dessus dans un autre billet !

Les modèles en réassurance

Publication d’un papier sur les modèles en réassurance dans la revue Risques (ici), suite à un questionnement sur la pertinence des modèles classiques utilisés par les réassureurs. La question initiale était partie de la constatation – que l’on retrouve ici ou – sur l’utilisation (ou la mauvaise utilisation) de modèles sophistiques en finance de marché, en essayant d’expliquer que – d’un point de vue épistémologique au moins – les modèles des réassureurs étaient plus robustes. En particulier, on notera que les modèles les plus anciens utilisés par les réassureurs (en particulier la loi de Pareto comme je l’avais évoqué ici) ont eu une légitimité pratique durant plusieurs décennies avant d’être justifiés par la théorie des valeurs extrêmes. Je ferais d’ailleurs bientôt un billet sur l’histoire des valeurs extrêmes en statistiques, en revenant en particulier sur les travaux de Gumbel ou de Fréchet.

Sinon le code utilisé dans le papier est en ligne ici, et la base

> sinpe = read.table("https://perso.univ-rennes1.fr/arthur.charpentier/sinpe.csv",header=TRUE,sep=";")
> head(sinpe)
      DSUR  MNTPE
1 19850206 240439
2 19851228 125674
3 19850504 488331
4 19851118 457347
5 19850220 990919
6 19851214 182939
> annee=as.numeric(substr(as.character(sinpe$DSUR),1,4))
> sinistres=sinpe$MNTPE[annee>1992]
> XS=sinistres/100000

On se limite ici aux sinistres survenus après 1992. Si l’on visualise ces montants de sinistres, on obtient

> datesur=as.Date(as.character(sinpe$DSUR),"%Y%m%d")
> jour=datesur[annee>1992]
> plot(jour,sinistres/100000,xlab="",ylab="Coût individuel",cex=.5,ylim=c(0,600))
> ded=50
> abline(h=ded)

On peut aussi faire le graphique Pareto-log-log,

> library(evir)
> n=length(X)
> plot(log(sort(X)),log((n:1)/(n+1)),
+ xlab="Coûts des sinistres (logarithme)",ylab="Fonction de survie (logarithme)",cex=.8)
> out <- gpd(XS, 15)
> XI=as.numeric(out$par.ests[1]); BETA=as.numeric(out$par.ests[2]) 
> x0=seq(2,8,.01)
> lines(x,-1/XI*(x-log(15)),col="red")

(l’ajustement de la loi de Pareto permettant de tracer la droite rouge) ou encore visualiser l’estimateur de Hill de l’indice de queue,

> hill(X)

Pour finir, le code suivant permet de calculer la prime pure (ou plus généralement une prime de Wang) soit de manière non-paramétrique (burning cost) ou bien en utilisant l’ajustement d’une loi de Pareto. Le papier étant un papier de vulgarisation, j’ai pris le seuil de manière arbitraire, sans aucune recherche de valeur “optimale”

> DEDUC = seq(10,50,by=5)
> lambda=0;  seuil=5
> WG1=WG2=rep(NA,length(DEDUC))
> for(k in 1:length(DEDUC)){
+ deductible=DEDUC[k]
+ out <- gpd(XS, seuil)
+ XI=as.numeric(out$par.ests[1]); BETA=as.numeric(out$par.ests[2]) 
+ G0=function(x){1-pgpd(x+seuil, xi = XI, mu = seuil, beta = BETA)}
+ G=function(x){(G0(x+deductible-seuil))/(G0(deductible-seuil))}
+ F=function(x){pnorm(qnorm(G(x))+lambda)}
+ (wang1=integrate(F, 0, Inf))
+ X=XS[XS>deductible]
+ n=length(X)
+ FS= function(z){
+ m=rep(NA,length(z))
+ for(i in 1:length(m)){
+ m[i]=sum(X>z[i]+deductible)/n}
+ return(m)
+ }
+ G=function(x){pnorm(qnorm(FS(x))+lambda)}
+ (wang2=sum(G(seq(0,800,.01))*.01))
+ WG1[k]=as.numeric(wang1$value)
+ WG2[k]=wang2
+ }
> plot(DEDUC,WG2-DEDUC,type='b',xlab="Niveau de la priorité ('00 000 euros)",ylab="Prime pure par sinistres réassuré",ylim=c(0,50))
> lines(DEDUC,WG1-DEDUC,type='b',col="red",pch=4)
> legend(10,50,c("Aujustement d'une loi de Pareto","'Burning cost'"),
+ col=c("red","black"),lty=1,cex=.8,pch=c(4,1))

Hypothèse d’indépendance en assurance

Il y a deux semaines, j’ai reçu un mail dans ma boite à l’ensae (que je consulte rarement) qui posait une vraie question. “Pour le modèle de risque collectif : S=X1+X2+…+XN. On suppose que les Xi et N sont indépendants (montant de sinistres et nombre de sinistres). Question : Dans la pratique (par exemple : assurance automobile), comment peut-on expliquer cette indépendance.

Sur la forme de la question, on mélange un peu théorie et pratique: c’est la théorie qui impose cette hypothèse, et effectivement, il convient de la confronter à la pratique afin d’utiliser les résultats qui découlent du modèle collectif (en particulier en terme de solvabilité, j’en parlerai à la fin). Mais cela pose toutefois une question très intéressante.

Pour rappels, cette hypothèse a été faite par Filip Lundberg quand il a proposé les premiers résultats  en 1903 (voire plus tôt), à l’époque où l’étude des processus était assez peu développée… Charles Spearman n’a introduit sa mesure de corrélation qu’en 1904, par exemple (même si on peut trouver des choses chez Francis Galton en 1888, puis chez Karl Pearson en 18921). Autrement dit, le premier modèle reposait sur les hypothèses les plus simples possibles (pour l’époque). Depuis, l’étude des processus ponctuels s’est beaucoup développée, et énormément de résultats ont été obtenus. Autrement dit, il existe des résultats théoriques permettant de s’affranchir de cette indépendance.

Petite remarque en passant, dans les livres avec Michel Denuit, on avait insisté longuement sur cette hypothèse d’indépendance… et c’est précisément sur ce point que Claude Bébéar avait ouvert la préface (ici) et qu’Hans Bühlmann avait clôturé la postface (). C’est d’ailleurs Hans Bühlmann qui notait en 1963 que “the independence hypothesis is so common to be made that many authors forget to mention it“.
Pour être un peu complet, il y a trois indépendances distinctes dans les hypothèses du modèle collectif:

  • d’indépendance entre les arrivées des sinistres, on parle plus proprement d’hypothèse d’un processus de Poisson homogène (les durées entre survenances suivent des lois exponentielles indépendantes),
  • d’indépendance entre les coûts (individuels) des sinistres,
  • d’indépendance entre les coûts de sinistres, et les arrivées.

C’est surtout la première hypothèse qui a été relâchée. On retrouvera des exemples dans les papiers suivants

  • Malinovskii, V.K. (1998). Non-Poissonian claims’ arrivals and calculation of the probability of ruin. Insurance: Mathematics and Economics, 22, 2, 123-138.
  • Gyllenberg, M. & Silvestrov, D.S. (2000). Cramer-Lundberg approximation for nonlinearly perturbed risk processes. Insurance: Mathematics and Economics, 26, 1, 75-90.

Sur les aspects pratiques, on peut retrouver ce phénomène en particulier sur les catastrophes naturelles qui sont très cycliques. L’exemple le plus connu et le plus étudié est les ouragans,

  • Parisi, F. & Lund, R. (2000). Seasonality and return periods of landfalling Atlantic basin hurricanes. Australian and New Zealand Journal of Statistics, 42, 3, 271-282.

Mais on a la même chose en assurance auto, à cause de la pluie et du brouillard (en France en tous cas2).
Pour la seconde, on peut trouver des choses dans les derniers papiers de Stéphane Loisel (ici).
Mais c’est le dernier point qui était évoqué, et seulement celui là… Avec la même dichotomie que tout à l’heure, on trouve des résultats théoriques, en particulier dans les papiers d’Hansjorg Albrecher

  • Albrecher, H. & Boxma, O.J. (2004). A ruin model with dependence between claim sizes and claim intervals. Insurance: Mathematics and Economics, 35, 2, 245-254.

Sur les aspects pratiques, l’exemple le plus classique et le plus étudié est celui des tremblements de terre. Pour faire très simple, un tremblement de terre est causé par une accumulation d’énergie: plus on attend, plus le tremblement de terre risque d’être important. Bref, d’un point de vue pratique, cette hypothèse peut être délicate à supposer. On avait utilisé un modèle ACD avec un processus marqué dans le cas des crues de rivières par exemple, dans un papier avec David Sibaï (ici). On modélisait un processus joint prenant en compte les durées des crues, les durées entre crue, et les importances des crues. Là aussi, intensités et durées ne sont pas indépendant.

Mais au delà de l’explication, il faut aussi – peut être – essayer de tester cette indépendance. Si quelqu’un a des données ou des résultats sur ce sujet, je suis preneur.

Pour conclure, je dirais que cette hypothèse d’indépendance est fondamentale. Si on la supprime, on peut perdre beaucoup de résultats classiques, sur la solvabilité par exemple. Pour reprendre une idée commune partagée par beaucoup de monde, dans l’Encyclopaedia of Financial Engineering and Risk Management, (ici) on apprend que “reinsurance is able to offer additional underwriting capacity for cedants, but also to reduce the probability of a direct insurer’s ruin“. En fait, ce résultat devient faux si l’on supprime cette hypothèse d’indépendance: on peut augmenter la probabilité de ruine en se réassurance ! La réassurance diminue alors la solvabilité de la compagnie d’assurance (ou tout du moins peut le faire). C’est dans un papier que j’ai soumis récemment, je garde donc tout ça pour un billet dans les mois à venir… à suivre donc.

1 Sur la corrélation de Pearson – que j’ai beaucoup critiqué sur ce blog – je renvoie à un très beau papier que je viens (seulement) de découvrir, de Joseph Rodgers et Alan Nicewander, intitulé Thirteen Ways to Look at the Correlation Coefficient (ici)
2 Si quelqu’un a des données pour illustrer ce point, je suis preneur !

Article (de vulgarisation) sur les mesures de risque

Parution d’un article sur l’histoire des mesures de risques, dans la revue Risques, en partant des débats suite à la vaccination, jusqu’à l’adoption de la VaR (Value-at-Risk, i.e un quantile statistique) sous la pression de JP Morgan. En particulier, je voulais rappeler dans ce débat le lien avec la “probabilité de ruine“, étudiée en actuariat depuis plus d’un siècle correspondant à la principale mesure de risque car explicitement liée à la solvabilité d’une compagnie d’assurance.

Article (de vulgarisation) sur les tables de mortalité

Parution d’un article sur l’histoire des tables de mortalité. Le but était d’expliquer la problématique de la construction des nouvelles tables, i.e. des tables prospectives, faites en prenant en compte la dynamique des taux de mortalité, avec les améliorations observées depuis une cinquantaine d’années (si ce n’est plus).

Les tables de mortalité sont un élément essentiel en actuariat puisque légalement, le seul rôle reconnu aux actuaires est précisément dans la certification des tables. Mais de plus, historiquement, les tables de mortalité sont intéressantes puisqu’elle ont permis aux actuaires de participer au développement de la théorie des probabilités. Sur un exemple simple, on peut ainsi voir une élégante application des calculs de lois conditionnelles.

Article (de vulgarisation) sur la crédibilité

Parution d’un court article sur la Théorie de la Crédibilité dans la revue Risques.

La théorie de la crédibilité est une jolie application de l’approche bayésienne de la statistique, puisque l’on cherche à déterminer la probabilité d’appartenir à une classe de risque conditionnellement à une expérience de sinistralité observée. La théorie développée par Hans Bühlmann propose d’ailleurs de jolies applications, en particulier sur les jeux de fléchettes, où l’on compare la moyenne sur un sous-groupe homogène (ou supposé l’être) avec la moyenne de la population totale. En faisant intervenir des variance intra et des variances inter, on arrive à un résultat relativement simple et élégant.