Next Thursday, I will give the fourth lecture of the PhD course on advanced tools for econometrics, on quantile and expectile regressions. Slides are available online.
Tag Archives: L1
Probabilité et contre-intuition
Je suis tombé un peu par hasard sur un vieux papier de Peter Enis, Enis (1973), qui revient sur une relation que l’on prend toujours pour acquis (moi le premier) à savoir . Mais il faut des hypothèses complémentaires pour que cette relation soit vraie. Le fait que existe par exemple ne suffit pas ! (je laisse les amateurs de résultats contre-intuitifs le temps de réfléchir à cette affirmation)
Supposons par exemple que , conditionnellement à , suive une loi normale centrée, d’écart-type ,
où est une variable (strictement) positive. Presque sûrement quelle que soit la loi de . Et donc . Mais si la loi de présente des queues “trop épaisses” (sans pour autant être extrême pour autant d’ailleurs), il est fort possible que ne soit plus intégrable ! Par exemple (c’est ce que propose Enis (1973)), on peut supposer que suit une loi Gamma de paramètres 1/2 et 2, i.e. de densité
Dans ce cas, suit une loi de Cauchy, qui n’est pas d’espérance finie. C’est pénible, hein ?
Bon, d’un autre côté, c’est très lié à la définition de l’espérance conditionnelle retenue. En l’occurrence, j’utilisais l’espérance de la loi conditionnelle. Mais je ferais peut être un billet un jour sur les diverses constructions de l’espérance conditionnelle.
Tests on tail index for extremes
Since several students got the intuition that natural catastrophes might be non-insurable (underlying distributions with infinite mean), I will post some comments on testing procedures for extreme value models.
A natural idea is to use a likelihood ratio test (for composite hypotheses). Let denote the parameter (of our parametric model, e.g. the tail index), and we would like to know whether is smaller or larger than (where in the context of finite versus infinite mean ). I.e. either belongs to the set or to its complementary . Consider the maximum likelihood estimator , i.e.
Let and denote the constrained maximum likelihood estimators on and respectively,
Either and (on the left), or and (on the right)
So likelihood ratios
are either equal to
or
If we use the code mentioned in the post on profile likelihood, it is easy to derive that ratio. The following graph is the evolution of that ratio, based on a GPD assumption, for different thresholds,
> base1=read.table( + "http://freakonometrics.free.fr/danish-univariate.txt", + header=TRUE) > library(evir) > X=base1$Loss.in.DKM > U=seq(2,10,by=.2) > LR=P=ES=SES=rep(NA,length(U)) > for(j in 1:length(U)){ + u=U[j] + Y=X[X>u]-u + loglikelihood=function(xi,beta){ + sum(log(dgpd(Y,xi,mu=0,beta))) } + XIV=(1:300)/100;L=rep(NA,300) + for(i in 1:300){ + XI=XIV[i] + profilelikelihood=function(beta){ + -loglikelihood(XI,beta) } + L[i]=-optim(par=1,fn=profilelikelihood)$value } + plot(XIV,L,type="l") + PL=function(XI){ + profilelikelihood=function(beta){ + -loglikelihood(XI,beta) } + return(optim(par=1,fn=profilelikelihood)$value)} + (L0=(OPT=optimize(f=PL,interval=c(0,10)))$objective) + profilelikelihood=function(beta){ + -loglikelihood(1,beta) } + (L1=optim(par=1,fn=profilelikelihood)$value) + LR[j]=L1-L0 + P[j]=1-pchisq(L1-L0,df=1) + G=gpd(X,u) + ES[j]=G$par.ests[1] + SES[j]=G$par.ses[1] + } > > plot(U,LR,type="b",ylim=range(c(0,LR))) > abline(h=qchisq(.95,1),lty=2)
with on top the values of the ratio (the dotted line is the quantile of a chi-square distribution with one degree of freedom) and below the associated p-value
> plot(U,P,type="b",ylim=range(c(0,P))) > abline(h=.05,lty=2)
In order to compare, it is also possible to look at confidence interval for the tail index of the GPD fit,
> plot(U,ES,type="b",ylim=c(0,1)) > lines(U,ES+1.96*SES,type="h",col="red") > abline(h=1,lty=2)
To go further, see Falk (1995), Dietrich, de Haan & Hüsler (2002), Hüsler & Li (2006) with the following table, or Neves & Fraga Alves (2008). See also here or there (for the latex based version) for an old paper I wrote on that topic.
Convergences de variables aléatoires
Le schéma – ou diagramme – des relations entre les modes convergences ressemble à ce qui est présenté sur la droite. C’est grosso modo ce que j’ai dit en cours (sans le représenter explicitement).
Je ne vais pas démontrer ces implications car ce sont des théorèmes (qui peuvent donc se trouver dans n’importe quel textbook de probabilité).
En revanche, un étudiant m’avait demandé si les réciproques étaient vraies. Comme toujours en maths, si les réciproques étaient toujours vraies, on le mettrait. Donc ici les réciproques sont généralement fausses. On peut toutefois se demander quand ces réciproques peuvent être vraies…et quand elles sont fausses.
- de la convergence en proba à la convergence en moyenne
Commençons par le plus simple (à mon avis). Il existe un cas particulier où cette réciproque est vraie: le cas de variables aléatoires bornées. Autrement dit, si et que l’on a pour tout , alors pour tout .
Bon, en fait la condition est un peu trop forte, et il suffit que la suite soit uniformément intégrable.
Maintenant, il existe aussi des cas où cette réciproque sera fausse (et on se doute qu’en construisant une suite non bornée, on devrait y arriver). Par exemple, supposons que pour tout ,
On peut montrer que , car en effet
Toutefois, certes la suite converge dans L1, mais vers une limite différente, étant donné que pour tout . De plus, et donc la suite ne converge pas dans L2.
- de la convergence en loi à la convergence en proba
Un exemple simple ici: si converge en loi vers une constante, alors on aura convergence en probabilité (vers la même constante).
Maintenant la réciproque est relativement simple, l’idée étant que n’implique en rien , au sens où , pour tout . Supposons maintenant que l’on ait à la fois et , où on va supposer que est une loi symétrique. La symétrie signifie que . Notons que l’on a alors forcément . Supposons que la réciproque soit toujours vraie, alors on devrait avoir , et donc on aurait que , ce qui n’arrive que si est la constante .
- de la convergence en proba vers la convergence presque sûre
Je ne vais pas m’étendre sur la construction d’exemples pour lesquels la réciproque est fausse (formellement, il suffit de changer d’espace de probabilité sous-jacent, je peux renvoyer vers les notes de cours de Philippe Briand (ici) et Hélène m’a suggéré également les exercices en ligne là). Par contre, il existe des cas importants où la réciproque est vraie.
Considérons une suite de variables indépendantes et identiquement distribuées . Posons alors On peut alors montrer que si et seulement si (ça doit être du Borel-Cantelli).
- de la convergence en loi à la convergence presque sûre
Je ne vais pas non plus m’étendre davantage, mais on a un résultat qui ressemble à ce que je disais auparavant. En fait, il existe un théorème (dit de Skorohod) qui permet de dire que si on a une convergence en loi, alors on peut construite une suite de variables aléatoires qui
convergera presque sûrement. Formellement on a que si , alors il existe une suite et une variable , telles que et telles que . Mais de manière générale, si la suite n’est pas construite comme il faut ( par en quelques sortes) alors il est assez rare d’avoir la réciproque.
Statistiques, rappels de probas
Avant de commencer les travaux pratiques de vendredi, quelques rappels sur les notions de convergence.
- Convergence en loi
Soit une suite de variables aléatoires, de telle sorte que soit la fonction de répartition de . On dira que la suite converge en loi vers la variable aléatoire de loi si
en tout point de continuité de . On notera
La convergence en loi est la forme la plus faible de convergence: en général, elle n’implique pas les autres formes de convergence que nous verrons, alors que ces autres formes de convergence impliquent la convergence en loi.
De manière équivalente, on aura convergence en loi si et seulement si, pour toute fonction bornée
En particulier, on aura convergence en loi si et seulement si on a convergence des fonctions génératrice en tout point.
- Convergence en probabilité
La suite converge en probabilité vers la variable aléatoire si
que l’on notera
Parmi les résultats classiques, on a aussi que si
et
alors . C’est ce mode de convergence qui intervient dans la loi faible des grands nombres.
si est une suite de variables aléatoires indépendantes et identiquement distribuées d’espérance et de variance et que l’on considére la moyenne empirique
alors et
Donc .
- Convergence presque sure
La suite converge en probabilité vers la variable aléatoire si
ou encore
que l’on notera
La convergence presque sûre implique une convergence en probabilité.
La convergence presque sûre est utilisée dans la loi forte des grands nombres.
- Convergences L1 et L2
La suite converge en norme L1 vers la variable aléatoire X si
et on parlera de convergence en moyenne quadratique, ou L2, si
- Convergences et transformations
Comme nous le (re)verrons vendredi matin, la transformation des variables aléatoires est un point fondamental en statistique. Soit une fonction continue en tout point d’un ensemble tel que , alors
si alors
si alors
si alors
Pour aller plus loin sur les notions de convergence, je renvois au livre de Adrianus Willem van der Vaart, Asymptotic Statistics, paru chez Cambridge University Press.
- Transformations
Sinon sur les transformations, je devrais présenter (en cours) la formule classique de transformation d’une variable à densité par une fonction bijective et dérivable, . La formule est de la forme
En fait, si on se souvient que , ou , on peut aussi écrire
L’intérêt de cette relation est qu’elle peut se généraliser en dimension quelconque. Si (toujours avec une transformation bijective possédant un Jacobien strictement positif), on a
avec . Je peux renvoyer ici pour quelques compléments (et exemples). Mais nous reviendrons plus tard sur le cas multivarié…
Detecting distributions with infinite mean
In a post I published a few month ago (in French, here, based on some old paper,there), I mentioned a statistical procedure to test if the underlying distribution of an i.i.d. sample had a finite mean (based on extreme value results). Since I just used it on a small dataset (yes, with real data), I decided to post the R code, since it is rather simple to use. But instead of working on that dataset, let us see what happens on simulated samples. Consider =200 observations generated from a Pareto distribution
(here =2, as a start)
> a=2 > X=runif(200)^(-1/a)
Here, we will use the package developped by Mathieu Ribatet,
> library(RFA)
- Using Generalized Pareto Distribution (and LR test)
A first idea is to fit a GPD distribution on observations that exceed a threshold >1.
Since we would like to test (against the assumption that the expected value is finite, i.e. ), it is natural to consider the likelihood ratio
Under the null hypothesis, the distribution of should be chi square distribution with one degree of freedom. As mentioned here, the significance level is attained with a higher accuracy by employing Bartlett correction (there). But let us make it as simple as possible for the blog, and use the chi-square distribution to derive the p-value.
Since it is rather difficult to select an appropriate threshold, it can be natural (as in Hill’s estimator) to consider , and thus, to fit a GPD on the largest values. And then to plot all that on a graph (like the Hill plot)
> Xs=rev(sort(X)) > s=0;G=rep(NA,length(Xs)-14);Gsd=G;LR=G;pLR=G > for(i in length(X):15){ + s=s+1 + FG=fitgpd(X,Xs[i],method="mle") + FGc=fitgpd(X,Xs[i],method="mle",shape=1) + G[s]=FG$estimate[2] + Gsd[s]=FG$std.err[2] + FGc$fixed + LR[s]=FGc$deviance-FG$deviance + pLR[s]=1-pchisq(LR[s],df=1) + }
Here we keep the estimated value of the tail index, and the associated standard deviation of the estimator, to draw some confidence interval (assuming that the maximum likelihood estimate is Gaussian, which is correct only when n is extremely large). We also calculate the deviance of the model, the deviance of the constrained model (), and the difference, which is the log likelihood ratio. Then we calculate the p-value (since under the likelihood ratio statistics has a chi-square distribution).
If =2, we have the following graph, with on top the p-value (which is almost null here), the estimation of the tail index he largest values (and a confidence interval for the estimator),
If =1.5 (finite mean, but infinite variance), we have
i.e. for those two models, we clearly reject the assumption of infinite mean (even if gets too close from 1, we should consider thresholds large enough). On the other hand, if =1 (i.e. infinite mean) we clearly accept the assumption of infinite mean (whatever the threshold),
- Using Hill’s estimator
An alternative could be to use Hill’s estimator (with Alexander McNeil’s package). See here for more details on that estimator. The test is simply based on the confidence interval derived from the (asymptotic) normal distribution of Hill’s estimator,
> library(evir) > Xs=rev(sort(X)) > HILL=hill(X) > G=rev(HILL$y) > Gsd=rev(G/sqrt(HILL$x)) > pLR=1-pnorm(rep(1,length(G)),mean=G,sd=Gsd)
Again, if =2, we clearly rejct the assumption of infinite mean,
and similarly, if =1.5 (finite mean, but infinite variance)
Here the test is more robust than the one based on the GPD. And if =1 (i.e. infinite mean), again we accept ,
Note that if =0.7, it is still possible to run the procedure, and hopefully, it suggests that the underlying distribution has infinite mean,
(here without any doubt). Now you need to wait a few days to see some practical applications of the idea (there was on in the paper mentioned above actually, on business interruption insurance losses).
Ecart absolue ou écart type ?
Un petit billet très court pour répondre à une question d’élèves de licence. L’erreur quadratique moyen est définie comme
alors que l’erreur absolue moyenne est définie comme
(que je définie ici comme l’écart à la moyenne, certain considérant la distance à la médiane, qui minimise cette quantiié, alors que la moyenne minimise l’écart quadratique, mais je reviendrais là dessus bientôt, sur l’histoire de la loi normale).
Souvent ces quantités sont présentées comme des mesures de la même quantité, que l’on appellerait “dispersion” autour de la moyenne.
Si l’on prend deux observations, ces quantités sont rigoureusement identiques, car
compte tenu du fait que
En revanche, comme le montre le graphique ci-dessous,
Aussi, avec davantage de termes, la différence peut devenir significativement différente. En particulier, comme le notent Goldstein et Taleb (2007), en ligne ici, dans le cas Gaussien centré réduit,
Autrement dit, ces quantités peuvent parfaitement être différentes. Sur l’exemple ci-dessous, on considère un groupe de 4 individus, trois ayant le même revenu, et le dernier ayant un revenu plus important. On s’arrange pour que le revenu moyen soit constant (100 ici) et on regarde comment se comportent ces deux quantités lorsque le revenu du dernier individu s’accroît (de celui des autres).
(j’ai autorisé les revenus négatifs pour la simplicité des calculs et pour avoir un joli dessin). On en conclue qu’un écart significativement différent entre l’écart-type (L2) et l’écart absolu (L1) signifie simplement qu’il y a probablement des points aberrants dans la base (aberrants au sens “sensiblement différents“, des “outliers“).