Tag Archives: Pareto

Peut-on diversifier des risques extrêmes ?

Dans un contexte financier, diversifier les risques signifie investir dans une variété d’actifs, secteurs ou régions géographiques pour éviter que la mauvaise performance d’un investissement n’affecte trop l’ensemble du portefeuille. La diversification permet de réduire le risque, ou, dans sa formulation mathématique, de réduire la variance. Mais que se passe-t-il quand on est en présence de grands risques, de variance infinie ? Ou pire encore, d’espérance infinie ?

Risques extrêmes, et espérance infinie ?

Formaliser des grandeurs en lien avec des quantités aléatoires et incertaines est un exercice compliqué. Les probabilités, au sens où le mot est souvent entendu, sont définies comme des limites de fréquences observées par répétitions d’événements. La probabilité d’avoir 3 en lançant un dé est ⅙ car en lançant un dé un million de fois [1], un milliard de fois, la probabilité sera aussi proche qu’on veut de ⅙. C’est ce que dit la loi des grands nombres, dans sa version la plus faible. Dire que la probabilité qu’il pleuvra aujourd’hui est de ⅙ est totalement différent, car c’est un évènement unique. Si je me fais tremper par une averse aujourd’hui, cela ne permettra aucunement de dire que la probabilité n’était pas, a priori, de ⅙, et que le modèle météorologique s’est trompé. Tout ça pour rappeler que lorsqu’on fait de la modélisation, on va essayer d’imaginer les valeurs petites d’évènements rares, et qu’il est malheureusement très difficile de les valider.

Et quand on modélise les grands risques, les très grands risques, il n’est pas rare d’avancer l’idée que les risques sont de variance ou d’espérance infinie. Or la notion d’espérance infinie est un à la fois étrange, et probablement contre-intuitive [2].. Si on considère une variable aléatoire X positive (pour simplifier), et si on note S(x)=\mathbb{P}(X>x) la fonction de survie, et f(x) la densité (correspondant à l’opposé de la dérivée de S), on peut montrer que la moyenne empirique d’un million ou d’un milliards de tirage de cette variable va s’approcher autant qu’on veut d’une grandeur, appelée l’espérance mathématique\mathbb{E}(X) =\int_0^\infty S(x)dx= \int_0^\infty xf(x)dxRien de bien étonnant ici, c’est encore la loi des grands nombres, énoncée dès 1713 par Jacob Bernoulli (le “golden theorem” de Raper (2018)) et surtout Pierre-Simon Laplace, en 1814. A condition toutefois que cette intégrale soit finie. Ce qui n’est pas garanti. Par exemple, la loi de Pareto d’indice a vérifie S(x)=\mathbb{P}(X>x)=x^{-a}. Dès 1925, Karl-Gustaf Hagstroem avait noté que cette loi semblait particulièrement adaptée à la modélisation des grands risques, et donc en réassurance [3]. Et pour une variable qui suit une loi de Pareto d’indice 1, son espérance est, mathématiquement, infinie.

Que signifie cette espérance infinie ? Il n’y aura aucun “sinistre de coût infini”, et il sera toujours possible de calculer une moyenne empirique sur n observations. Mais cette moyenne va tendre vers l’infini quand n croit. Louis Bachelier, en évoquant le paradoxe de Saint Pétersbourg (qui est un jeu dont l’espérance de gain est infinie), rappelle que “un résultat paradoxal, dans les sciences mathématiques, provient nécessairement d’un défaut de notre intelligence inhabile à déchiffrer un ensemble trop complexe, inapte à se représenter l’infiniment grand (…) le bon sens ne peut être invoqué lorsqu’il s’agit de questions délicates ; il ne permet pas de reconnaître si l’aire comprise entre une courbe et son asymptote est finie ou non, si une série est convergente ou divergente”. Cette moyenne va tendre vers l’infini quand n croit, c’est-à-dire qu’on peut être certain que la moyenne va toujours dépasser n’importe quelle valeur aussi grande qu’on puisse l’imaginer. On peut le visualiser en haut de la Figure 1 avec 10 simulations de 100,000 valeurs. À gauche, le cas où la variance et l’espérance sont finies; au centre, la variance est infinie, et l’espérance finie; à droite, les deux sont infinies.

Figure 1: Évolution de la moyenne n\mapsto (x_1+\cdots+x_n)/n avec une loi d’espérance finie et de variance infinie à gauche, et une loi d’espérance infinie à droite.

Une autre grandeur intéressante est le ratio du maximum sur n observations sur la somme. Pour des variables d’espérance infinie, ce ratio ne tend pas vers 0. Il est alors possible, si les variables x désignent les coûts de sinistres, avec 100,000 sinistres d’espérance infinie, il est possible que le plus gros des sinistres représente plus de 90% de la charge totale.

Figure 2 : Évolution du ratio n\mapsto \max\{x_1,\cdots,x_n\}/(x_1+\cdots+x_n) avec une loi d’espérance finie et de variance infinie à gauche, et une loi d’espérance infinie à droite.

On le voit, cette propriété est importante, mais elle est difficile à identifier car il s’agit d’une propriété fondamentale du modèle sous-jacent, en lien avec la distribution des observations, puisqu’il est toujours possible de calculer la moyenne. Par exemple, la suite suivante correspond à huit valeurs obtenues en tirant au hasard une loi de Pareto d’indice 1 (et donc théoriquement d’espérance infinie)

1.657442 || 4.138543 || 15.592108 || 1.429090

1.684843 || 1.186745 || 1.341435 || 3.308316

Comment savoir si un ensemble de coûts de sinistres suit un loi d’espérance finie, ou pas ? L’approche classique, présentée par exemple dans Zajdenweber (1996, 2000), consiste à utiliser le graphique dit de Pareto, avec le logarithme des coûts sur l’axe des abscisses, et le logarithme de la probabilité de survie en ordonnées. Si les points sont alignés suivant une droite de pente -a, alors la loi de Pareto de paramètre a est parfaitement adaptée. En effet, si \mathbb{P}(X>x)=x^{-a}, alors, en prenant le logarithme des deux grandeurs, et si on ordonne l’échantillon (x_1\leq x_2\leq\cdots\leq x_n), alors \log\left(\frac{n-i}{n}\right)=-a\cdot \log(x_i)Et si la pente est trop modérée, plus grande que -1, alors les coûts sont d’espérance infinie.

Figure 3: Graphique de Pareto, avec \log((n-i)/n) sur l’axe des ordonnées et \log(x_i) sur l’axe des abscisses. Les points sont alignés suivant une droite, de pente -a, correspondant à une loi de Pareto d’indice a. a\leq 1 signifie que les risques sont d’espérance infinie.

Cette hypothèse d’indice de Pareto proche de 1 n’est pas irréaliste quand on parle de catastrophes naturelles, ou industrielles,

  • ouragans, Hsieh (1999), a\sim1.5
  • incendies entreprises, Biffis et al. (2014), a\sim1.25
  • tremblement de terre, Sornette et al. (1996), a\sim1
  • tsunamis, Embrechts et al. (2024), a\sim1
  • risque opérationnel, Moscadelli (2004) et Chavez-Demoulin et al. (2006) a\sim1
  • risque cyber, Eling et al. (2019) a\sim1
  • risque nucléaires, Hofert et al. (2012), a\in(0.6;0.7)

De la diversification des grands risques

Au lieu de travailler par type de risque, on peut envisager l’agrégation de ces risques, tous ensemble. Heuristiquement, avoir des portefeuilles avec des risques d’inondation, de tremblement de terre, ou de sécheresse pourrait offrir un peu de “diversification”. Le concept de “diversification” peut être introduit avec la loi des grands nombres, dont on parlait auparavant, et il sera très proche de l’idée même d’assurance, de mutualisation des risques. Smith & Kane (1994), par exemple, rappellent que la contribution d’un n+1-ième risque, indépendant, dans un groupe de n risques, tarifés de manière actuariellement juste, permet généralement de faire marginalement diminuer le risque, ce qui renforce la mutualisation des risques par l’assureur. Cet effet de diversification marche encore, même si les risques sont corrélés (mais pas parfaitement corrélés, et les gains de diversification diminuent avec la corrélation, comme le rappelait Charpentier (2011)).

Mais bien souvent, quand on parle de “diversification” on pense aux travaux d’Harry Markowitz ou d’Arthur Roy en finance dans les années 1950, comme base de la théorie du portefeuille. Cette théorie montre comment des investisseurs rationnels peuvent utiliser la diversification, correspondant à la corrélation entre actifs, afin d’optimiser leur portefeuille financier. Dans cette approche, on suppose généralement que la préférence des investisseurs pour un couple risque / rendement peut être décrite par une fonction d’utilité quadratique. Autrement dit, seuls le rendement attendu (l’espérance de gain) et la volatilité (l’écart type) ou la variance, sont les paramètres considérés par l’investisseur. Ce que montre cette littérature, c’est qu’un investisseur peut réduire le risque de son portefeuille simplement en détenant des actifs qui ne sont pas (ou peu) corrélés, donc en diversifiant ses placements. Il peut alors obtenir la même espérance de rendement en diminuant la variabilité de son portefeuille.

Mais que se passe-t-il si la variance n’existe plus ? Cette question revient à questionner l’utilisation de la loi normale pour modéliser les rendements financiers. La loi normale était intéressante en partie parce qu’elle vérifie une propriété de stabilité par sommation[4]. Garder cette propriété tout en considérant une loi ayant davantage d’extrêmes que la loi normale, revient à utiliser les lois “stables” étudiées par Paul Lévy, comme le proposait[5] Benoit Mandelbrot dans les années 1960.

Dans le cas où la variance est infinie, il convient d’utiliser une mesure de risque plus générale que l’écart-type, et heuristiquement, la “diversification” est liée à la sous-additivité de la mesure de risque : un portefeuille contenant la moyenne des avoirs de deux autres portefeuilles a un risque plus faible de la moyenne des risques des deux autres portefeuilles. Daníelsson et al. (2013) rappellent qu’en présence de grands risques (d’espérance infinie), la diversification ne fonctionne plus. Cette propriété avait été décrite et discutée par Paul Samuelson dès 1967, Stephen Ross en 1976, ou plus récemment Rustam Ibragimov,  Dwight Jaffee, Johan Walden, Paul Embrech ou Ruodo Wang, entre autres. L’introduction de Ibragimov et al. (2015) l’explique bien, “there are limitations to diversification with such risk distributions [heavy-tailed distribution]. Specifically, whereas diversification is preferred by risk-averse agents when risks are thin-tailed (the traditional case that has been extensively studied), it may actually be hurtful for agents to diversify when risks are heavy-tailed […] nondiversification traps may arise when risk distributions have heavy left tails and insurance providers have limited liability ”. Ces propriétés, largement discutées d’un point de vue mathématiques, sont compliquées à faire admettre car elles sont théoriques, et contre-intuitives. De plus, il est souvent difficile de savoir pour qui la diversification devient dangereuse, puisqu’il y a plusieurs acteurs, les assurés, les assureurs, les réassureurs, l’état. Ibragimov et al. (2011) donnent des éléments de réponse, “when these risks are thin-tailed, risk-sharing is always optimal for both individual intermediaries and society. But, with moderately heavy-tailed risks, risk-sharing may be suboptimal for society, although individual intermediaries still benefit from it […]. and it is well-known that diversification may be suboptimal in the extremely heavy-tailed case”.

Depuis une vingtaine d’années, les exemples où la diversification ne fonctionne pas sont nombreux, et connus des praticiens. Fabozzi et al. (2014), évoquant la crise financière le rappellent “The financial crisis has clearly shown that when you need diversification most, it may not work.” Quand on s’intéresse aux risques liés aux catastrophes climatiques, on voit que ces risques sont extrêmes, potentiellement inassurables car d’espérance potentiellement infinie. L’inassurabilité signifie surtout qu’un mécanisme de marché n’a pas de sens, sans intervention de l’État. On pourrait aussi penser qu’il pourrait être intéressant de diversifier les risques, en offrant une couverture multi-périls (comme le propose le mécanisme cat-nat actuel), ou bien en envisageant une diversification géographique, par exemple au niveau européen, comme le suggéraient récemment Carlo Cimbri, Thierry Derez et Philippe Lallemand. Mais la littérature scientifique nous rappelle que cette diversification est dangereuse, en tous cas inenvisageable sans une intervention forte et claire des États.

Références

Biffis, E., & Chavez, E. (2014). Tail risk in commercial property insurance. Risks, 2(4), 393–410.

Charpentier, A. (2011). La loi des grands nombres et le théorème central limite comme base de l’assurabilité ? Risques, 86.

Chavez-Demoulin, V., Embrechts, P., & Nešlehová, J. (2006). Quantitative models for operational risk: extremes, dependence and aggregation. Journal of Banking & Finance, 30(10), 2635-2658.

Chen, Y., Embrechts, P., & Wang, R. (2024). An unexpected stochastic dominance: Pareto distributions, dependence, and diversification. Operations Research.

Cimbri, C., Derez, T. & Lallemand, P. (2024). Mutualisons l’assurance pour offrir aux Européens une protection à la hauteur des risques actuels ! La Tribune, 23 mai.

Daníelsson, J., Jorgensen, B. N., Samorodnitsky, G., Sarma, M., & de Vries, C. G. (2013). Fat tails, VaR and subadditivity. Journal of econometrics, 172(2), 283-291

Eling, M., & Wirfs, J. (2019). What are the actual costs of cyber risk events? European Journal of Operational Research, 272(3), 1109–1119.

Embrechts, P., Hofert, M., & Chavez-Demoulin, V. (2024). Risk Revealed: Cautionary Tales, Understanding and Communication. Cambridge University Press.

Fabozzi, F. J., Focardi, S. M., Jonas, C.: Investment Management: A Science to Teach or an Art to Learn?. CFA Institute Research Foundation (2014)

Fama, E. F. (1965). Portfolio analysis in a stable Paretian market. Management science, 11(3), 404-419.

Hagstroem, K.-G. (1925). Pareto and reinsurance. Scandinavian Actuarial Journal, 216–248

Hofert, M., & Wüthrich, M. V. (2012). Statistical review of nuclear power accidents. Asia-Pacific Journal of Risk and Insurance, 7(1).

Hsieh, P.-H. (1999). Robustness of tail index estimation. Journal of Computational and Graphical Statistics, 8(2), 318–332.

Ibragimov, R., & Walden, J. (2007). The limits of diversification when losses may be large. Journal of banking & finance, 31(8), 2551-2569.

Ibragimov, R., Jaffee, D., & Walden, J. (2011). Diversification disasters. Journal of financial economics, 99(2), 333-348.

Ibragimov, M., Ibragimov, R., & Walden, J. (2015). Heavy-tailed distributions and robustness in economics and finance (Vol. 214). Springer.

Lévy, Paul (1925). Calcul des probabilités. Paris: Gauthier-Villars.

Mandelbrot, B. (1960). The Pareto–Lévy Law and the Distribution of Income. International Economic Review. 1 (2): 79–106.

Markowitz, H. (1952). Portfolio Selection, Journal of Finance, 7 (1), 77-91.

Markowitz, H. (1971). Portfolio selection : efficient diversification of investments. Yale University Press.

Moscadelli, M. (2004). The modelling of operational risk: experience with the analysis of the data collected by the Basel committee. Technical Report 517, Banca d’Italia

Raper, S. (2018). Turning points: Bernoulli’s golden theorem. Significance, 15(4), 26-29.

Ross, S. A. (1976). A note on a paradox in portfolio theory. Unpublished Mimeo, University of Pennsylvania.

Roy, A. D. (1952). Safety first and the holding of assets. Econometrica, 431-449.

Samuelson, P. A. (1967). Efficient portfolio selection for Pareto-Lévy investments. Journal of financial and quantitative analysis, 2(2), 107-122.

Sornette, D., Knopoff, L., Kagan, Y. Y., & Vanneste, C. (1996). Rank‐ordering statistics of extreme events: Application to the distribution of large earthquakes. Journal of Geophysical Research: Solid Earth, 101(B6), 13883-13893.

Smith, M. L., & Kane, S. A. (1994). The law of large numbers and the strength of insurance. In Insurance, Risk Management, and Public Policy: Essays in Memory of Robert I. Mehr (pp. 1-27). Dordrecht: Springer Netherlands.

Zajdenweber, D. (1996). Extreme values in business interruption insurance. Journal of Risk and Insurance, 95-110.

Zajdenweber, D. (2000). Économie des extrêmes. Flammarion.

1. Le cas des dés est un peu particulier car la géométrie du cube, en particularité sa régularité (on parle d’hexaèdre régulier, à 6 faces), permet d’inférer la probabilité sans faire la moindre expérience

2. La littérature théorique des probabilités s’est largement construite sur l’idée de variables d’espérances finies, et il est très dur de s’en passer (tout raisonnement “en moyenne” devenant impossible)

3. Il faudra attendre les années 1970, et les travaux de Guus Balkema ou Laurens de Haan, pour avoir une preuve mathématique de ce résultat. L’école néerlandais de statistique a fait des avancées majeures sur l’analyse des évènements extrêmes suite au raz-de-marée de 1953 en mer du Nord, qui a eu des conséquences majeures et désastreuses aux Pays-Bas, comme le rappellent Embrechts et al. (2024)

4. La somme (ou la moyenne) de variables normales indépendantes suit aussi une loi normale

5. Il appelle ces lois Pareto-Lévy pour souligner la forme des queues de distributions, correspondant à des lois de type Pareto, sur les pertes extrêmes (à gauche) et les gains extrêmes (à droite)

2024 Optimization Days, (algorithmic) collusions in games

Tomorrow, I will attend the 2024 Optimization Days, in Montréal. I will present some work we did last Fall with Philipp Ratz and Suzie Grondin, on (algorithmic) collusions in games, “Market Pricing with Reinforcement Learning” (the paper will be available soon)

Several recent articles have attempted to gain a better understanding of algorithmic collusion (Calvano et al. (2020), Klein (2021), Banchio & Mantegazza (2022) Rocher et al. (2023)). For example, in Calvano et al. (2020), a simulation study showed that for a simplified market environment, basic Q-Learning Agents can learn to collude tacitly, in order to propose higher prices and increase their combined profit. Inspired by some Iterated Prisoners Dilemma, we derive some reinforcement learning algorithm to investigate and discuss several recent results and their robustness, and explain how reinforcement learning differs from simpler strategies and which conditions lead to unfavorable outcomes from a consumer perspective. In particular, we first describe the reinforcement learning problem in a more general manner and investigate the influence of the hyper-parameters. We then consider two situations separately. One, similar in spirit to Rocher et al. (2023), assumes that the market is in equilibrium and that a general agent tries to exploit a pricing strategy of an incumbent agent. The second, more general, approach consists of an agent continuously updating their own policy.

The starting point was Calvano et al. (2020),

For classical games, the mathematical framework is the following

for example, with the prisoner’s dilemma

Then, consider repeated games, and possible collusion

The next step is to include randomness, with (dynamic) stochastic games

and standard equations

(I describe quickly the different concepts). Finally, we can move from here to reinforcement learning, and Q-learning

The idea will be to play (or to interact) to learn that matrix

with the following interpretations, for the different parameters

Then, we will play a little bit, on the framework introduced to present the prisoner’s dilemma, for instance to understand the importance of \beta, using in the \epsilon-greedy approach, with \epsilon_t=\exp(-\beta t)

That is our first approach to the concept of collusion : agents don’t need to “cooperate” to have collusion

Then, we will use the experiment of Calvano et al. (2020) to get more complex discussions…

Brief talk on non-diversification of extreme risks, for France Stratégie

Tomorrow, I was invited to give a (brief) talk at our working group, at France Stratégies, on (non) diversification of extreme risks. Slides are online, and results are related to recent papers by Paul Embrechts and Ruodu Wang. More precisely, here are some references

But first, before discussing large risks, I need to get back (quickly) on the Pareto distribution,

To visualize Pareto tails, one can consider the Pareto plot. If points are on a straight line with (negative) slope \alpha, then observations are Pareto distributed, with tail index precisely \alpha. Depending on the slope (compared with -1), risks have either finite or infinite mean.

Infinite mean is not that common actually. It is hard to visualize what it means, actually because for any (finite) n, the empirical average \displaystyle{\overline{x}=\frac{1}{n}\sum_{i=1}^nx_i} always exists. To visualize what’s going on, we can plot the ratio \max\{x_i\} over the sum. That could be related to the concept of “top share” in inequality.

On the left, risks with finite variance (and of course finite mean). In the middle, infinite variance by finite mean. After a while, it is quite rare to have the maximum weighting for more than 1% in the total sum. With infinite mean, on the right (not too far from the limit, since \alpha is here 0.95 – finite mean means that \alpha exceeds one).

Now, if we get back to risks and insurance, recall basic things on stochastic dominance,

Then we have the following results (that is actually the most important slide)

I did include a slide with the mathematical proof (that is quite lovely actually, and straightforward)

Pareto models for risk management

Our paper, with Emmanuel Flachaire, “Pareto models for risk management” is now online…

The Pareto model is very popular in risk management, since simple analytical formulas can be derived for financial downside risk measures (Value-at-Risk, Expected Shortfall) or reinsurance premiums and related quantities (Large Claim Index, Return Period). Nevertheless, in practice, distributions are (strictly) Pareto only in the tails, above (possible very) large threshold. Therefore, it could be interesting to take into account second order behavior to provide a better fit. In this article, we present how to go from a strict Pareto model to Pareto-type distributions. We discuss inference, and derive formulas for various measures and indices, and finally provide applications on insurance losses and financial risks.

Pareto Models for Top Incomes

This week, The Society for the Study of Economic Inequality (ECINEQ) organised the Eighth ECINEQ Meeting 2019  in Paris, hosted by the Paris School of Economics and the World Inequality Lab. Emmanuel Flachaire was there to present our joint work on Pareto Models for Top Incomes. Slides are also available


The paper is still available on hal, and the package (TopIncomes) is also available from github,

library(devtools)
install_github("freakonometrics/TopIncomes")
library(TopIncomes)

Pareto Models for Top Incomes

With Emmanuel Flachaire, we uploaded on hal a paper on Pareto Models for Top Incomes,

Top incomes are often related to Pareto distribution. To date, economists have mostly used Pareto Type I distribution to model the upper tail of income and wealth distribution. It is a parametric distribution, with an attractive property, that can be easily linked to economic theory. In this paper, we first show that modelling top incomes with Pareto Type I distribution can lead to severe over-estimation of inequality, even with millions of observations. Then, we show that the Generalized Pareto distribution and, even more, the Extended Pareto distribution, are much less sensitive to the choice of the threshold. Thus, they provide more reliable results. We discuss different types of bias that could be encountered in empirical studies and, we provide some guidance for practice. To illustrate, two applications are investigated, on the distribution of income in South Africa in 2012 and on the distribution of wealth in the United States in 2013.

This paper was presented at and UCSB and in several workshops this spring, and this Summer, Emmanuel will present it at ECINEQ.

Note that a R package is also available on github, TopIncomes.

Extended Scale Free Networks

With Emmanuel Flachaire, we recently uploaded a short article, Extended Scale-Free Networks, on arxiv.

Recently, Broido & Clauset (2019) mentioned that (strict) Scale-Free networks were rare, in real life. This might be related to the statement of Stumpf, Wiuf & May (2005), that sub-networks of scale-free networks are not scale-free. In the later, those sub-networks are asymptotically scale-free, but one should not forget about second-order deviation (possibly also third order actually). In this article, we introduce a concept of extended scale-free network, inspired by the extended Pareto distribution, that actually is maybe more realistic to describe real network than the strict scale free property. This property is consistent with Stumpf, Wiuf & May (2005): sub-network of scale-free larger networks are not strictly scale-free, but extended scale-free.

Autres Données pour le cours de Statistiques

Encore quelques données pour faire un TP de statistique. Ce sont des données de coûts d’ouragans, aux Etats-Unis,

> library(gdata)
> db=read.xls(
+     "http://sciencepolicy.colorado.edu/publications/special/public_data_may_2007.xls",
+     sheet=1)
> stupidcomma = function(x){
+  x=as.character(x)
+  for(i in 1:10){x=sub(",","",as.character(x))}
+  return(as.numeric(x))}
> base=db[,1:4]
> base$Base.Economic.Damage=
Vectorize(stupidcomma)(db$Base.Economic.Damage)
> base$Normalized.PL05=Vectorize(stupidcomma)(db$Normalized.PL05)
> base$Normalized.CL05=Vectorize(stupidcomma)(db$Normalized.CL05)

Lire la base est un peu pénible, à cause de virgules qui traînent comme séparateur de milliers. Mais peu importe, le petit code permet de nettoyer la base.

  • Fréquence d’ouragans

La première étape pourra être de travailler sur la fréquence. On pourra ajuster des lois de Poisson, ou binomiales, ou binomiales négatives, et faire des tests de stabilité du paramètre, avec le temps (on pourra  couper en 4 ou 5 blocs).

> TB <- table(base$Year)
> years <- as.numeric(names(TB))
> counts <- as.numeric(TB)
> years0=(1900:2005)[which(!(1900:2005)%in%years)]
> db <- data.frame(years=c(years,years0),
+       counts=c(counts,rep(0,length(years0))))
> db[88:93,]
   years counts
88  2003      3
89  2004      6
90  2005      6
91  1902      0
92  1905      0
93  1907      0
> plot(years,counts,type='h')

  • Coût des ouragans

Dans un second temps, on pourra travailler sur le coût des ouragans

> plot(base$Normalized.PL05/1e9,type="h")

On pourra tenter d’ajuster des lois, log normale, gamma, Pareto, etc. Faire des tests d’ajustement. Et tester la stabilité des paramètres, dans le temps (en coupant en 2 blocs, par exemple, ou davantage).

Calcul(s) d’information de Fisher

La semaine passée, on avait fait quelques calculs pour obtenir l’information de Fisher pour des lois classiques. Je voulais juste remettre au propre les calculs pour les lois à plusieurs paramètres. Pour la loi Gamma,

la log-vraisemblance s’écrit

de telle sorte que

Ici, même pas besoin de prendre une espérance car la Hessienne est constante

Continue reading Calcul(s) d’information de Fisher

“A 99% TVaR is generally a 99.6% VaR”

Almost 6 years ago, I posted a brief comment on a sentence I found surprising, by that time, discovered in a report claiming that

the expected shortfall […] at the 99 % level corresponds quite closely to the […] value-at-risk at a 99.6% level

which was inspired by a remark in Swiss Experience report,

expected shortfall […] on a 99% confidence level […} corresponds to approximately 99.6% to 99.8% Value at Risk

Continue reading “A 99% TVaR is generally a 99.6% VaR”

Modeling Earthquake Dynamics

In 2012, with Marilou Durand, student at UQAM, we have been working on the seismic gap hypothesis, see e.g. McCann et al. (1978) or Kagan & Jackson (1991), or to be more specific, on the dynamics between earthquakes magnitude (or seismic moment) and inter-occurence durations. Our paper should appear soon in the Journal of Seismology,

In this paper, we investigate questions arising in Parsons & Geist (2012). Pseudo causal models connecting magnitudes and waiting times are consider, through generalized regression. We do use conditional model (magnitude given previous waiting time, and conversely) as an extension to joint distribution model described in Nikoloulopoulos & Karlis (2008). On the one hand, we fit a Pareto distribution for earthquake magnitudes, where the tail index is a function of waiting time following previous earthquake; on the other hand, waiting times are modeled using a Gamma or a Weibull distribution, where parameters are function of the magnitude of the previous earthquake. We use those two models, alternatively, to generate the dynamics of earthquake occurrence, and to estimate the probability of occurrence of several earthquakes within a year, or a decade.

The paper is online on https://hal.archives-ouvertes.fr/.

Income distribution and Tour de France

A few days ago, Jean-François Mignot published an interesting article entitled Tour de France 2014 : pourquoi le vainqueur gagne 100 fois plus que le 10e. In this article, we have the following graph, with the income of the cyclist, as a function of his final ranking (the data where downloaded from http://sportbuzzbusiness.fr/)

> bike=read.csv(
+ "http://freakonometrics.free.fr/tourdefrance.csv",
+ sep=";",header=TRUE,dec=" ")

> bike[1:19,"prime"]=bike[1:19,"prime"]*1000
> plot(bike,log="y",type="b",
+ xlab="(Final) rank",ylab="Bonus")

As pointed out by Jean-François, if the winner gets a lot of money, the bonus decreases fast, very fast actually. Gini index is very high here

> library(ineq)
> ineq(X,type="Gini")
[1] 0.910461

and if we look at Lorenz curve, indeed, the Tour de France is not very equalitarian,

Continue reading Income distribution and Tour de France

Earthquake dynamics

I just upload on http://hal.archives-ouvertes.fr/hal-00871883 a joint paper entitled Modeling earthquake dynamics.

In this paper, we investigate questions arising in Parsons & Geist (2012). Pseudo causal models connecting magnitudes and waiting times are consider, through generalized regression. We do use conditional model (magnitude given previous waiting time, and conversely) as an extension to joint distribution model described in Nikoloulopoulos & Karlis (2008). On the one hand, we fit a Pareto distribution for earthquake magnitudes, where the tail index is a function of waiting time following previous earthquake; on the other hand, waiting times are modeled using a Gamma or a Weibull distribution, where parameters are function of the magnitude of the previous earthquake. We use those two models, alternatively, to generate the dynamics of earthquake occurrence, and to estimate the probability of occurrence of several earthquakes within a year, or a decade.

L’espérance est un opérateur linéaire, so what ?

Oui, “l’espérance est un opérateur linéaire”. On n’arrête pas d’insister sur cette propriété dans la plupart des cours de probabilité. En fait, je pense que cette propriété a deux implications importantes. La première est que l’on interprète souvent cette phrase en disant que si http://freakonometrics.blog.free.fr/public/perso5/espl01.gif intégrable, alors pour tout http://freakonometrics.blog.free.fr/public/perso5/espl4.gif et http://freakonometrics.blog.free.fr/public/perso5/espl6.gifhttp://freakonometrics.blog.free.fr/public/perso5/espl7.gif. La conséquence de cette propriété (qui est juste) est que http://freakonometrics.blog.free.fr/public/perso5/espl09.gif dès lors que la transformation n’est pas linéaire (ou au moins, il n’y a aucune raison pour qu’il y ait égalité).

Mais cette linéarité dit davantage. Elle dit que pour toutes variables aléatoires http://freakonometrics.blog.free.fr/public/perso5/espl01.gifet http://freakonometrics.blog.free.fr/public/perso5/espl2.gif (définies sur le même espace), http://freakonometrics.blog.free.fr/public/perso5/espl3.gif, pour tout http://freakonometrics.blog.free.fr/public/perso5/espl4.gif et http://freakonometrics.blog.free.fr/public/perso5/espl6.gif. Et ça c’est fort. En particulier, on ne dit pas qu’il faut que http://freakonometrics.blog.free.fr/public/perso5/espl01.gif et http://freakonometrics.blog.free.fr/public/perso5/espl2.gif sont des variables indépendantes. Car cette propriété est valide quelle que soit la dépendance qui pourrait exister entre http://freakonometrics.blog.free.fr/public/perso5/espl01.gif et http://freakonometrics.blog.free.fr/public/perso5/espl2.gif.

Pourtant @Arnaud (qui passe souvent à l’occasion sur le blog) m’a laissé un couple de questions par courriel: “la dépendance modifie-t-elle la moyenne ?[…] sur des exemples simples en R, la moyenne est toujours perturbée”. L’idée était que les espérances étaient approchées numériquement par simulation. Or les méthodes de Monte Carlo reposent sur la loi des grands nombres et sur le théorème central limite. En particulier, si http://freakonometrics.blog.free.fr/public/perso5/espl34.gif, et que l’on simule les couples http://freakonometrics.blog.free.fr/public/perso5/espl10.gif, alors

http://freakonometrics.blog.free.fr/public/perso5/espl31.gif

autrement dit

http://freakonometrics.blog.free.fr/public/perso5/espl32.gif

i.e. la vitesse de convergence est affectée par la dépendance, pas la valeur vers laquelle on va tendre (car la moyenne tend vers l’espérance, qui est linéaire). En particulier, la convergence sera d’autant plus lente que http://freakonometrics.blog.free.fr/public/perso5/espl33.gif sera grande. Donc effectivement, l’approximation pourrait être relativement mauvaise si on est sur des couples présentant une forte dépendance.

Par exemple, si on s’amuse à simuler 100 couples http://freakonometrics.blog.free.fr/public/perso5/espl10.gif Gaussiens, avec

http://freakonometrics.blog.free.fr/public/perso5/espl11.gif

on a les valeurs suivantes pour la moyenne de ce couple (obtenu en générant 10,000 échantillons de 100 paires), avec en abscisse la corrélation entre les deuxvariables

le trait rouge est la moyenne empirique des moyennes obtenues, et les régions sont délimitées par les quantiles à 5% (et 95%), 10% (et 90%) et 25% (et 75%). En moyenne, les simulations donnent la même chose, peu importe la dépendance. Mais plus la dépendance est forte, plus la variance sera grande, et plus la convergence sera lente (et les simulations auront d’autant plus tendance à s’éloigner – ou se disperser autour – de la vraie valeur). Mais cette réponse est partielle, car on a supposé que la variance était finie. Or cette hypothèse n’est pas nécessaire pour assurer la convergence de la moyenne vers l’espérance (et donc pour utiliser des méthodes de simulations). Que se passerait-il avec des lois de variance infinie ?

Pour autre chose que les vecteurs Gaussiens (par exemple des variables de variance infinie, comme des lois de Pareto) on peut utiliser le code suivant (on continue pour l’instant à utiliser une copule Gaussienne),

library(mnormt)
library(copula)
library(evir)
set.seed(1)
ns=100
R=seq(-.95,.95,by=.05)
M=BINF1=BSUP1=rep(NA,length(R))
for(i in 1:length(R)){
r=R[i]
norm.cop = normalCopula(r, dim = 2)
S=rep(NA,20000)
for(j in 1:20000){
U=rcopula(norm.cop,ns)
X=cbind(qgpd(U[,1], .7 ,1),qgpd(U[,2], .5 ,1))
S[j]=mean(X[,1]+X[,2])}
BINF1[i]=quantile(S,.05)
BSUP1[i]=quantile(S,.95)
M[i]=mean(S)
}
plot(R,M,col="white",ylim=range(c(BINF1,BSUP1)))
polygon(c(R,rev(R)),c(BINF1,rev(BSUP1)),
col="light yellow",border=NA)
lines(R,BINF1,lty=2)
lines(R,BSUP1,lty=2)
lines(R,M,lwd=2,col="red")
esperance=1+1/(1-.7)+1+1/(1-.5)
segments(min(R),esperance,max(R),esperance,col="blue")

Sur cette somme de deux lois de Pareto (comme dans le code ci-dessus), on obtient numériquement

Autrement dit, ici, l’effet dépendance semble avoir un impact plus faible sur l’approximation de la moyenne. On peut aussi essayer de changer la copule, par exemple mettre une copule de type Clayton (avec en abscisse cette fois le tau de Kendall),

(qui présente de la dépendance dans la queue inférieure) ou la copule duale (qui présente de la dépendance dans la queue supérieure)

Bref, la structure de la dépendance ne semble pas trop changer l’estimation de la moyenne (ou plutôt la vitesse de la convergence). On peut aussi se demander s’il y a un effet dimension. Par exemple, si au lieu de simuler des couples, on simule des vecteurs de plus grande taille. Par exemple, un vecteur échangeable en dimension 10, avec des marges normales centrées réduites,

norm.cop =normalCopula(r, dim = 10,dispstr="ex")

Moralité ? effectivement, la dépendance a un impact sur la vitesse de convergence quand on travaille sur des vecteurs aléatoires. Mais de manière assez surprenante, c’est surtout le cas pour la loi normale. Et étrangement, cet impact ne semble pas lié à de la dépendance extrême, ou à la dimension…