
I will give a talk at McGill university this afternoon, on “distorting probabilities in actuarial science“. Note that Louis Paul Rivest will give a talk just after, but at UQAM, at the statistical seminar (here)

I will give a talk at McGill university this afternoon, on “distorting probabilities in actuarial science“. Note that Louis Paul Rivest will give a talk just after, but at UQAM, at the statistical seminar (here)
I just finished some lectures notes on risk and insurance. The notes, that can be downloaded [pdf], are in French, and will be used at the JES (Journées d’Etudes Statistiques), organised at the CIRM (mentioned here). Previous notes on risk measures [pdf] and copulas [pdf]. Again, all comments are welcome…

I just finished some lectures notes on risk measures. The notes, that can be downloaded [pdf], are in French, and will be used at the JES (Journées d’Etudes Statistiques), organised at the CIRM (mentioned here). The short course will follow a short introductionary course by Jean Marc Tallon. He recently published on his website a survey on decision theory under uncertainty (here) which is almost what he will talk about in Marseille. All comments are welcome…

J’avais promis dans un commentaire que je mettrais bientôt en ligne un survey sur les copules…. après plusieurs mois de retard, le document est en ligne [pdf], et il est sobrement intitulé copules et risques multiples. Toutes les remarques et critiques sont les bienvenues ! Il s’agit d’un chapitre pour un livre dont je mettrais la référence en ligne ultérieurement. A priori, ce document devrait servir de base pour le cours qui sera donné dans un mois au CIRM (mentionné ici, dans le cadre des Journées d’Études Statistiques).
Cette année, les Journées d’Études Statistiques seront organisées du lundi 15 novembre au vendredi 19 (ici pour les inscriptions) au CIRM, à Marseille, et portera cette année sur les approches statistiques du risque.

Les journées sont organisées par Jean Jacques Droesbeke, Gilbert Saporta et Christine Thomas-Agnan. Et parmi les intervenants, on retrouvera Patrice Bertail, Anne Laure Fougères, Stéphane Loisel, Jean Marc Tallon, ou encore Eric Parent. Les journées de 2008 portaient sur les variables latentes et les mélanges (ici) et celles de 2006 sur les méthodes nonparamétriques en régression. Les contributions sont d’ailleurs régulièrement publiées. A suivre donc…
(pour reprendre le titre de l’exposition). J’interviendrais mercredi soir, toujours dans le cadre de la Biennale, dans un débat avec Julien Prévieux (ici) et Olivier Raingeard responsable Stratégies Economiques et Etudes, chez Neuflize OBC investissements. Le but sera d’apporter un éclairage au travail de Julien. A priori mon intervention sera axée autour de deux thèmes. Tout d’abord la difficulté de faire des prévisions, et d’anticiper l’avenir. Ou pour reprendre une expression de Niels Bohr, “prediction is very difficult, especially about the future” (repris par Jacques Chirac au début des années 90). J’illustrerais ce point par une relecture des prévisions faites par les plus grands économistes lors de la crise de 1929. Ensuite, le second thème m’avait été inspiré l’autre jour par la lecture d’un article dans le Canard Enchaîné,

J’ai eu envie de reparler de ce point suite à la discussion que nous avions eu la semaine dernière dans les débats sur les risques émergents, où nous cherchions la limite entre science et science fiction…

Par certains côtés, le high frequency trading ressemble à une histoire de science fiction, du genre “les algorithmes prennent le pouvoir“, ou comment se passer d’économistes sur les marchés financiers. Pour simplifier (avec un peu de mauvaise foi, j’en conviens), en faisant tourner des algorithmes sur des ordinateurs super-puissants, on délègue à la machine la décision d’acheter et de vendre des produits financiers, voire en l’occurrence des paquets de produits, sur des intervalles de temps très courts… L’intérêt est que pendant ce temps, les traders (les vrais) ont le temps pour venir lire un peu mon blog ! Il s’agit d’acheter des titres et de les revendre presque instantanément, afin de créer une courte période pendant laquelle les marchés ne sont plus efficients: on peut alors créer un arbitrage.

Certains font une différence entre le high frequency trading et le flash trading, ou encore high speed trading, mais personnellement j’ai du mal à saisir la nuance… Mais si les arbitragistes ont toujours existé (ce qui légitimait alors l’absence d’opportunité d’arbitrage), cette fois, ce sont les machines qui effectuent artificiellement des arbitrages au lieu de les traquer…
Paul Krugman avait été très critique à ce sujet: “the stock market is supposed to allocate capital to its most productive uses, such as by helping companies with good ideas raise money. It’s hard to see, however, how traders who place their orders one-thirtieth of a second faster than anyone else do anything productive” et un peu plus loin “HFT probably degrades the stock market’s function, because it’s a kind of tax on investors who lack access to super computers and at-exchange connectivity – which means that the money Goldman spends on those computers actually has a negative effect on national wealth” (ici).

Les images utilisées sont en ligne là (empruntés à une présentation de Mathieu Rosenbaum) et le flyer est en ligne ci-dessous,

Exposé à un petit déjeuner organisé par Milliman à Paris, sur le risque de réserve, et l’incertitude à un an
On Wednesday afternoon I will be giving a talk at the SCOR Reserving Seminar. The talk will be on modeling analogies in life and nonlife insurance. We will start by discussing data analogies, based on the Lexis diagram in life insurance and in nonlife (when modeling claims dynamics),
This will induce similarities in datasets used in life models, and in nonlife reserving
Further, in the two cases, logPoisson models are usually used, either to model the number of deaths, or the amount of payment. The main difference is that in nonlife insurance, forecasting future payments is rather simple,
But in life models, unfortunately, we need to forecast the behavior of year based parameters.

Note that this is also the case in nonlife insurance when an inflation factor is introduced.
To go further, the slides are available here.
ou l’histoire du quantitative risk management. Mercredi soir, je ferais un exposé lors de la biennale d’art contemporain, au couvent des Jacobins, ici.

L’exposé devrait commencer, a priori, par une discussion autour de l’origine des probabilités. On commencera par se demander pourquoi la théorie des probabilités est née aussi tard. Si les jeux de hasard dont très anciens, il a fallu attendre le XVIIIème siècle pour que naisse réellementle calcul des probabilités. Une explication simple peut toutefois être avancée. Quand on pense aux probabilités, on pense aux jeux de dés, ou aux jeux de cartes, qui sont généralement les premiers exemples que l’on introduit au lycée pour parler de probabilités. Or historiquement, les premiers dés (ou encore plus tôt les osselets, et autres astragales) sont mentionnés en Inde, en Egypte mais surtout à Rome.

Or en sciences, la recherche de “loi” signifie que l’on cherche “un rapport immuable entre plusieurs grandeurs“. Et s’il nous paraît évident qu’avec un dé, on a 1 chance sur 6 d’obtenir un “4” en le lançant, ce n’était pas vraiment le cas avec ces premiers dés, qui étaient très irréguliers.


Cette particularité physique fait qu’il ne pouvait exister de loi de probabilités. Une autre raison souvent invoquée est que la seule loi qui pouvait
régir le hasard était la loi divine. Bref, il a fallu attendre le XVIIème et surtout le XVIIIème siècle pour voir arriver le calcul des probabilités. Étrangement, cela correspond à la naissance des jeux de cartes. Le plus vieux jeu connu est un jeu chinois, datant de 1400, mais c’est surtout à l’époque de la révolution que les jeux de cartes se sont popularisés. Les jeux étant plus réguliers que les vieux dés, les calculs de probabilités étaient alors possibles….
Nous aborderons ensuite la naissance des tables de mortalités, et de l’assurance vie, pour finir avec la finance. Pour pouvoir bien comprendre les problématiques du monde financier, il sera important de revenir un peu sur la loi normale. Cette loi, souvent appelée loi de Gauss, a été obtenue par de très nombreux mathématiciens, initialement comme limite d’un modèle binomial, visualisé sous la forme d’une “planche de Galton“. Nous verrons comment cette loi s’est imposée dans les modèles financiers, alors qu’elle ne semble définitivement pas y être à sa place…. en tous les cas si l’on s’intéresse à des problèmes de gestion des risques.
Enfin, l’exposé devrait se terminer sur les blacks swan, et autres unknown unknown, ou comment appréhender des risques pour lesquels on ne dispose pas de probabilités. Nous parlerons alors d’ambiguïté, de probabilités subjectives, et de “nouveaux risques“…

Après la publication de l’opuscule ce qui vient à nous, i.e. le premier volet du catalogue de la Biennale d’Art Contemporain (ici), le second opuscule ce qui devient a été mis en ligne voilà 15 jours (ici), et finalement, le troisième – ce qui survient – vient d’être mis en ligne ce week-end (là). J’en parle parce que Julien Prévieux y a repris une interview que nous avions enregistré il y a quelques semaines, où nous discutions de la gestion des risques, des catastrophes improbables, et de la prédiction du futur en environnement incertain… Une expérience géniale, d’autant plus que Julien a une culture fabuleuse sur ces sujets, et surtout un œil très différents des chercheurs académiques, des étudiants, ou des praticiens de l’assurance ! Les discussions qu’on a pu avoir ont beaucoup nourri ma réflexion sur la prédiction des catastrophes, ceux qui survolent régulièrement le blog ont du s’en rendre compte !

La suite à l’ouverture de la biennale, avec en particulier le travail de Goldin & Senneby….
PS pour les amateurs, la vidéo dont est extrait le titre est en ligne ici,
Lundi 15, Michel Grun Rehomme avait présenté les travaux qu’il avait obtenu avec Noureddine Ben Lagha sur des problèmes d’écrêtement de coûts de sinistres, que l’on peut rapprocher de la détection de points atypiques, ou outliers. Ce matin, Alexander McNeil nous a rappelé que les bagplot pouvaient être très intéressants en gestion des risques (mentionné ici). Je ne peux pas m’empêcher de revenir un petit peu sur cette notion, en m’écartant des applications financières proposées par Alexander pour proposer des applications en démographie et en climatologie (inspiré par des travaux de Rob Hyndman).
Un outil classique (en dimension 1) est le boxplot, proposé par John Tukey en 1977. Par exemple, sur les coûts de sinistres en assurance auto, on obtient

On peut aussi faire un boxplot par classes (ou tranches) d’âge,

qui correspond, en passant à la limite (i.e. en considérant l’âge comme une variable continue), à un ensemble de régressions quantiles.

On peut aussi regarder l’impact de l’ancienneté du véhicule (à la souscription du contrat) sur le coût individuel des sinistres,

avec en rouge la régression (linéaire) du log du coût sur l’âge du véhicule. Là aussi, on peut faire des régressions quantiles,

Le code pour obtenir les régressions quantiles lissées est assez simple, une fois installé les library(quantreg) et library(splines),
> library(quantreg); library(splines) > fit = rq(log(cout)~bs(agecond,df=8),data=BASECOUT,tau=.5) > xu=seq(10,110) > yu=predict(fit,newdata=data.frame(agecond=xu)) > lines(xu,yu,col="red",lwd=2)
Cette notion a été généralisée en multivariée sous le nom de bagplot. Par exemple, pour déterminer la “médiane” en dimension 2, on va recherche un ensemble (appelé bag) contenant 50% des observations.
Cela se fait à l’aide du concept de profondeur statistique, introduite par John Tukey en 1975. En dimension 1, si

désigne la fonction de répartition, la “profondeur de demi-espace” s’écrit

qui est maximal pour la médiane (on obtient alors
). Plus généralement, pour un quantile d’ordre
,

Cette notion se généralise en dimension supérieure en posant

On notera que Fraiman et Muñiz ont proposé une extension en 2001. S’il n’y a pas d’ex-aequos, en dimension 1,

qui appartient à
, et dont la médiane est la plus profonde. Liu a proposé une profondeur dite simpliciale en 1984,

D’un point de vue statistique, la fonction de répartition est inconnue, mais on dispose de
. On note alors
l’équivalent empirique de la profondeur. En dimension 2, ça sera
où
. La méthode de construction est détaillée ci-dessous,
Pour cela, on note
le plus petit nombre d’observations contenu dans un demi plan passant par
. On note
l’ensemble des points
tels que
contienne au moins
points. On notera qu’on peut montrer que
, et que ces régions sont convexes. Rousseeuw et Ruts ont proposé un algorithme permettant de construire un tel ensemble de région en 1998. Sur l’exemple suivant, on considère 20 points en dimension 2,

Notons qu’en changeant de méthode, on obtient des résultats qui peuvent être très changeant.
> library(mnormt) > Z=rmnorm(20,mean=c(0,0),varcov=matrix(c(1,.6,.6,1),2,2)) > source("http://www.wiwi.uni-bielefeld.de/~wolf/software/R-wtools/bagplot/bagplot.R") > bagplot(Z,factor=1,dkmethod=1) > bagplot(Z,factor=1,dkmethod=2)

La méthodologie a été proposée par Rousseeuw, Ruts et Tukey en 1999 (ici).
On peut essayer de voir si les bags changent de forme lorsque la copule sous-jacente change. L’exemple suivant montre le bagplot d’un vecteur gaussien,

alors que l’exemple suivant montre le bagplot pour une copule duale de Clayton, avec des marges Gaussiennes.

Dans le premier cas, on retrouve que les bagplots ressemblent des ellipses (ce qui correspond à ce que j’avais raconté ici sur les ellipses de confiance). On retrouve cette ellipse sur le graphique dessous, avec 5000 points (simulés) au lieu de 200,

pour la copule Gaussienne, et

pour la copule de Clayton. La petite animation ci-dessous montre l’évolution des bag en fonction de la corrélation du vecteur Gaussien,

Considérons la base (célèbre) des coûts de sinistres, et des frais associés.
> library(evd); data(lossalae)
La figure ci-contre montre l’échantillon de 1500 points, avec le logarithme des coûts, et le logarithme des frais. Classiquement, on s’intéresse à la loi conditionnelle des frais sachant le coût du sinistre. On peut alors tracer des boxplot conditionnels (comme pour le coût des sinistres conditionnels à l’âge du véhicule),

Mais l’idée des bagplot est sensemblement différentes. On s’intéresse véritablement au couple de variables.

Rob Hyndman a également utilisé ces méthode de bagplot quand la taille devient infiniment grande, i.e. dans un cadre fonctionnel. Par exemple, on peut utiliser cette technique pour détecter des années atypiques sur des évolutions de température, ou dans un ajustement de modèle de type Lee-Carter en mortalité. Ces deux cas sont abordées par Rob Hyndman dans la library(rainbow). Pour faire simple et rapide, on peut définir une profondeur fonctionnelle,
Pour commencer, on peut regarder les température moyenne mensuelles de la température à la surface de la mer, entre 1951 et 2007, obtenue ici.

On note que 4 années se détachent des autres, 1982/1983 et 1997/1998, qui sont particulièrement élevées, mais pas seulement. Certaines semblent décallées de quelques mois. Le code est ici simplement
> library(rainbow) > fboxplot(data = ElNino, plot.type = "functional", type = "bag") > fboxplot(data = ElNino, plot.type = "bivariate", type = "bag")
Dans le cas des données démographiques, il faut bricoler un peu. Repartons des données français que nous avons étudiées plus d’une fois,
> DEATH=read.table("https://perso.univ-rennes1.fr/arthur.charpentier/R/FR-Deaths_1x1.txt",header=TRUE) > EXPOSURE=read.table("https://perso.univ-rennes1.fr/arthur.charpentier/R/FR-Exposures_1x1.txt",header=TRUE) > DEATH$Age=as.numeric(as.character(DEATH$Age)) > DEATH$Age[is.na(DEATH$Age)]=110 > EXPOSURE$Age=as.numeric(as.character(EXPOSURE$Age)) > EXPOSURE$Age[is.na(EXPOSURE$Age)]=110 > YEAR=unique(DEATH$Year);nC=length(YEAR) > AGE =unique(DEATH$Age);nL=length(AGE) > rownames(MUH)=AGE > colnames(MUH)=YEAR > rownames(MUF)=AGE > colnames(MUF)=YEAR > MUH=MUH[1:90,] > MUF=MUF[1:90,] > MUHF=fts(x = AGE[1:90], y = log(MUH), xname = "Age", + yname = "Log Mortality Rate") > MUFF=fts(x = AGE[1:90], y = log(MUF), xname = "Age", + yname = "Log Mortality Rate") > fboxplot(data = MUHF, plot.type = "functional", type = "bag") > fboxplot(data = MUHF, plot.type = "bivariate", type = "bag")
avec un code similaire pour les femmes. Le graphique suivant montre l’évolution des taux de mortalité des hommes en fonctions de leur âge, pour différentes années,


On observe que certaines années se détachent assez nettement, en particulier sur les âges allant de 15 à 40 ans. Comme le montre le graphique à gauche, ce sont les années de guerre qui ressortent fortement (surtout la première guerre mondiale). Pour les femmes, l’évolution des taux de mortalités en fonction des âges semble en revanche beaucoup plus régulière, puisqu’aucune année atypique ne semble ressortir,


Ceci se confirme sur le graphique de droite, où, contrairement aux hommes, aucune année ne semble réellement se détacher. Notons qu’au lieu de chercher des années atypiques, on peut chercher faire une lecture duale, en cherchant les âges qui se ont eut un changement en terme d’évolution du taux de mortalité sur un siècle différent. Par exemple pour les femmes, les taux de mortalité ont l’évolution suivante au cours du siècle,


ce qui permet de repérer quelques âges un peu atypiques, i.e. les bébés, qui ont eu un gain en terme de taux de mortalité considérable, relativement aux autres âges. En revanche, pour les hommes, il n’y a pas particulièrement d’âge qui soit statistiquement différent des autres,


Nous avons vu qu’il y avait presque toujours (pour les hommes comme pour les femmes) des outliers, i.e. des courbes atypiques. Il serait donc normal de s’attendre à en trouver dans les scénarios de prédiction. Les bagplot sont alors un outils intéressant. Si on regarde les prédictions obtenues par la méthode de Lee & Carter par exemple, ou plutôt des scénarios générés par la méthode de Lee & Carter,
> LCH <- fdm(BASEH,order=10) > LCHf=forecast(LCH,100,method="ets") > LCHg=simulate(LCHf,1) > LCHg1=as.matrix(LCHg[,,1]) > MUHf=LCHg1[1:90,] > MUHF=fts(x = AGE[1:90], y = log(MUHf), xname = "Age", + yname = "Log Mortality Rate") > library(rainbow) > fboxplot(data = MUHF, plot.type = "functional", type = "bag") > fboxplot(data = MUHF, plot.type = "bivariate", type = "bag")
On peut alors identifier clairement des années atypiques – pour un scenario donné. Bref, on a un outils pour vérifier que l’on génère effectivement des points atypiques, un peu extrêmes, mais surtout, on peut les identifier. On peut alors creuser un peu pour mieux comprendre ce qui se passe….

Pour aller plus loin sur ces histoires de bagplot et aux régressions quantiles, je renvoie ici ou là (Thierry Roncalli avait remis la régression quantile au goût du jour il y a quelques années, à l’époque où je programmais encore en Gauss, je renvoie aussi ici pour des applications financières).
En fait, le point de départ du billet était très lié d’une notion qui méritera un autre billet: comment définir des quantiles (et plus généralement des mesures de risques) dans un cadre multivarié….
Friday morning, I had the honor to discuss a presentation by Alexander McNeil, on Stress Testing and Reverse Stress Testing, at the Financial Risks International Forum on Risk Dependencies (here).

This was an opportunity to rediscover techniques I have studied briefly a few years ago, on outliers detection, namely the bagplot (I will probably upload a post on that topic soon, in French unfortunately). The slides of my discussion are available here.
http://freakonometrics.hypotheses.org/5338
The paper on the 2003 heat wave has been submitted a few months ago, and now, the preprint can be downloaded (here for the preprint version, or here on Hal). The paper has a long story, that I will probably summarize here, some day…
“Extremal events are difficult to model since it is difficult to characterize formally those events. The 2003 heat wave in Europe was not characterized by very high temperatures, but mainly the fact that night temperature were no cool enough for a long period of time. Hence, simulation of several models (either with heavy tailed noise or long range dependence) yielddifferent estimations for the return period of that extremal event. “
The paper has been presented in several conferences, in started a couple of days after the birth of Romane, in March 2005, in talks on dependencies in environmental series….

Christophe gave a talk at EM Lyon at the end of February at the Journées de Finance Inter-Ecoles de Commerce 2010 (here), about “Category-Based Tail Comovement“. I have uploaded Christophe’s slides here. The abstract of the joint paper (writen also with Emilios Galariotis) is the following, “traditional financial theory predicts that comovement in asset returns is due to fundamentals. An alternative view is that of Barberis and Shleifer (2003) and Barberis, Shleifer and Wurgler (2005) who propose a sentiment based theory of comovement, delinking it from fundamentals. In their paper they view comovement under the prism of the standard Pearsons correlation measure, implicitly excluding extreme market events, such as the latest financial crisis. Poon, Rockinger and Tawn (2004) have shown that under such events di¤erent types of comovement or dependence may co-exist, and make a clear distinction between the four types of dependence: perfect dependent, independent, asymptotically dependent and asymptotically independent. In this paper we extend the sentiment based theory of comovement so as to cover the whole spectrum of dependence, including extreme comovement such as the one that can be observed in nancial crises. One of the key contributions of this paper is that it formally proves that assets belonging to the same category comove too much in the tail and reclassifying an asset into a new category raises its tail dependence with that category“.
