Statistiques, rappels de probas

Avant de commencer les travaux pratiques de vendredi, quelques rappels sur les notions de convergence.

  • Convergence en loi

Soit http://freakonometrics.free.fr/blog/latex/conver15.png une suite de variables aléatoires, de telle sorte que http://freakonometrics.free.fr/blog/latex/conver62.png soit la fonction de répartition de http://freakonometrics.blog.free.fr/public/maths/conv99.png. On dira que la suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en loi vers la variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png de loi http://freakonometrics.blog.free.fr/public/maths/montone2.png si

http://freakonometrics.free.fr/blog/latex/conver6%c3%b4.png

en tout point de continuité de http://freakonometrics.blog.free.fr/public/maths/montone2.png. On notera

http://freakonometrics.free.fr/blog/latex/conver6.png

La convergence en loi est la forme la plus faible de convergence: en général, elle n’implique pas les autres formes de convergence que nous verrons, alors que ces autres formes de convergence impliquent la convergence en loi.

De manière équivalente, on aura convergence en loi si et seulement si, pour toute fonction bornée

http://freakonometrics.free.fr/blog/latex/conver54.png

En particulier, on aura convergence en loi si et seulement si on a convergence des fonctions génératrice en tout point.

  • Convergence en probabilité

La suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en probabilité vers la variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png si

http://freakonometrics.free.fr/blog/latex/conv50.png

que l’on notera

http://freakonometrics.free.fr/blog/latex/conver4.png

Parmi les résultats classiques, on a aussi que si

http://freakonometrics.free.fr/blog/latex/conver40.png

et

http://freakonometrics.free.fr/blog/latex/conver31.png

alors http://freakonometrics.free.fr/blog/latex/conver30.png. C’est ce mode de convergence qui intervient dans la loi faible des grands nombres.
si http://freakonometrics.free.fr/blog/latex/conver26.png est une suite de variables aléatoires indépendantes et identiquement distribuées d’espérance http://freakonometrics.free.fr/blog/latex/conver27.png et de variance http://freakonometrics.free.fr/blog/latex/conver28.png et que l’on considére la moyenne empirique

http://freakonometrics.free.fr/blog/latex/conver24.png

alors  http://freakonometrics.free.fr/blog/latex/conver22.png et

http://freakonometrics.free.fr/blog/latex/conver21.png

Donc http://freakonometrics.blog.free.fr/public/maths/conv98.png.

  • Convergence presque sure

La suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en probabilité vers la variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png si

http://freakonometrics.free.fr/blog/latex/conver13.png

ou encore

http://freakonometrics.free.fr/blog/latex/conver12.png

que l’on notera

http://freakonometrics.free.fr/blog/latex/conver2.png

La convergence presque sûre implique une convergence en probabilité.
La convergence presque sûre est utilisée dans la loi forte des grands nombres.

  • Convergences L1 et L2

La suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en norme L1 vers la variable aléatoire X si

http://freakonometrics.free.fr/blog/latex/conver11.png

et on parlera de convergence en moyenne quadratique, ou L2, si

http://freakonometrics.free.fr/blog/latex/conver10.png
  • Convergences et transformations

Comme nous le (re)verrons vendredi matin, la transformation des variables aléatoires est un point fondamental en statistique. Soit http://freakonometrics.free.fr/blog/latex/conver7.png une fonction continue en tout point d’un ensemble http://freakonometrics.free.fr/blog/latex/conver9.png tel que http://freakonometrics.free.fr/blog/latex/conver8.png, alors
si http://freakonometrics.free.fr/blog/latex/conver6.png alors http://freakonometrics.free.fr/blog/latex/conver5.png
si http://freakonometrics.free.fr<br />
/blog/latex/conver4.png alors http://freakonometrics.free.fr/blog/latex/conver3.png
si http://freakonometrics.free.fr/blog/latex/conver2.png alors http://freakonometrics.free.fr/blog/latex/converg1.png
Pour aller plus loin sur les notions de convergence, je renvois au livre de Adrianus Willem van der Vaart, Asymptotic Statistics, paru chez Cambridge University Press.

  • Transformations

Sinon sur les transformations, je devrais présenter (en cours) la formule classique de transformation d’une variable à densité par une fonction bijective et dérivable, http://freakonometrics.blog.free.fr/public/perso/changevar999.png. La formule est de la forme

http://freakonometrics.blog.free.fr/public/perso/changementvar1.png

En fait, si on se souvient que http://freakonometrics.blog.free.fr/public/perso/changevar3.png, ou http://freakonometrics.blog.free.fr/public/perso/changevar4.png, on peut aussi écrire

http://freakonometrics.blog.free.fr/public/perso/changevar2.png

L’intérêt de cette relation est qu’elle peut se généraliser en dimension quelconque. Si http://freakonometrics.blog.free.fr/public/perso/changevar99.png (toujours avec une transformation bijective possédant un Jacobien http://freakonometrics.blog.free.fr/public/perso/changecar8.png strictement positif), on a

http://freakonometrics.blog.free.fr/public/perso/changevar5.png

avec http://freakonometrics.blog.free.fr/public/perso/changevar7.png. Je peux renvoyer ici pour quelques compléments (et exemples). Mais nous reviendrons plus tard sur le cas multivarié…

Statistiques, STT2700, cours 05/01

Petite précision suite au cours de ce matin: le cours du vendredi a lieu de 10.30 à 11.30 (il y avait une faute de frappe sur le plan de cours ici). Pour les billets liés au cours, il faut aller .

Côté travaux pratiques, ils commencent ce vendredi, et l’énoncé est en ligne ici (j’ai repris les exercices de la session d’automne).

Enfin, petit complément par rapport à une question posée à la fin du cours. Un élève m’avait demandé s’il ne fallait pas supposer la fonction de répartition dérivable pour définir une densité. Une variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png est continue si sa fonction de répartition http://freakonometrics.blog.free.fr/public/maths/montone2.png est continue. http://freakonometrics.blog.free.fr/public/maths/montone2.png est par ailleurs croissante. Aussi, on peut montrer que http://freakonometrics.blog.free.fr/public/maths/montone2.png est dérivable presque partout. Comme le montrent Douglas S. Kurtz, Jaroslav Kurzweil et Charles Swartz dans Theories of integration: the integrals of Riemann, Lebesgue, Henstock,

ou plus particulièrement, on a le résultat suivant

On retrouve le même résultat, appelé théorème de Lebesgue dans l’ouvrage de Yeh, Real analysis: theory of measure and integration

Maintenant pour associer densité et dérivée, il faut faire un peu attention (cf le commentaire ici). Maintenant, en faisant quelques raccourcis (supposer la fonction à variations finies par exemple), on a le résultat suivant. Si http://freakonometrics.blog.free.fr/public/maths/montone2.png est supposée continue, la densité est une fonction http://freakonometrics.blog.free.fr/public/maths/montone4.png qui vérifie

http://freakonometrics.blog.free.fr/public/maths/montone3.png

En fait, comme le montrent les théorèmes ci-dessus, cette densité est unique, sauf aux points de non dérivabilité de http://freakonometrics.blog.free.fr/public/maths/montone2.png, qui sont de mesure nulle, autrement dit http://freakonometrics.blog.free.fr/public/maths/montone4.png est unique presque partout. Et, pour les points où http://freakonometrics.blog.free.fr/public/maths/montone2.png est dérivable,

http://freakonometrics.blog.free.fr/public/maths/montone5.png

et ailleurs… ? peu importe, en fait….
Considérons la fonction de répartition suivante, continue et dérivable partout, sauf en 0, et à variations finies.

La densité est alors, pour http://freakonometrics.blog.free.fr/public/maths/monontone6.png

http://freakonometrics.blog.free.fr/public/maths/monotone7.png

c’est à dire 1/2 sur http://freakonometrics.blog.free.fr/public/maths/monontone11.png et 1/4 sur http://freakonometrics.blog.free.fr/public/maths/monotone12.png,

et peu importe la valeur (finie) donnée en 0: on peut définir http://freakonometrics.blog.free.fr/public/maths/monotone13.png la dérivée à droite, et http://freakonometrics.blog.free.fr/public/maths/monotone15.png la dérivée à gauche, par exemple (si ces dérivées existent), de telle sorte que

http://freakonometrics.blog.free.fr/public/maths/monotone20.png

Bref, la densité est définie pour une loi continue (sans autre hypothèse), presque toujours. Pour aller plus loin, je renvoie ici par exemple….

 

Encore une année record…

Comme l’a noté la blogosphère ces dernières heures, il semble que des records aient (encore) été battus en terme de catastrophes naturelles: “catastrophes naturelles : une année 2010 exceptionnelle” (ici) ou “2010, année record des catastrophes naturelles” (). Maintenant on peut remonter un peu dans le temps aussi: “catastrophes naturelles: 2008 bat des records” (ici) ou “2008 a battu des records de catastrophes naturelles” (), “en 2007, les catastrophes naturelles ont atteint un nombre record” (ici), “catastrophes naturelles : 2005 bat des records en matière d’intensité et de coûts” (ici) ou “les catastrophes ont entraîné une facture record en 2005” (), “déjà record, le bilan 2004 des catastrophes naturelles s’alourdit” (ici), “année 2000 : record de catastrophes naturelles” (ici) et “catastrophes naturelles : encore une année record” (en 2000, ) etc, etc.

Bon, en tant que statisticien, les rares résultats que je connaisse sur les records sont des théorèmes en log (i.e. en variation lente). Si http://freakonometrics.hypotheses.org/files/2015/12/record01.png est une suite de variables i.i.d. et que l’on définie les durées entre records,

http://freakonometrics.hypotheses.org/files/2015/12/records02.png

http://freakonometrics.hypotheses.org/files/2015/12/record03.png, avec http://freakonometrics.hypotheses.org/files/2015/12/record04.png. Alfred Rényi a montré que

http://freakonometrics.hypotheses.org/files/2015/12/record08.png

alors que Marcel Neuts a montré que

http://freakonometrics.hypotheses.org/files/2015/12/record09.png

En particulier, on note que

http://freakonometrics.hypotheses.org/files/2015/12/record11.png

Autrement dit, plus le temps avance, plus les records doivent devenir rares.
Par exemple, regardons la simulation suivante. Considérons un processus Poissonnien homogène, http://freakonometrics.hypotheses.org/files/2015/12/catnat01.png, avec les dates des catastrophes, et http://freakonometrics.hypotheses.org/files/2015/12/catnat02.png leur coût.

On note

http://freakonometrics.hypotheses.org/files/2015/12/catnat04.png

le nombre annuel de catastrophes (éventuellement, on ne considère que les catastrophes dont le cout dépasse un seuil prédéfini, comme cela semble généralement être le cas).

On peut définir le processus de records,

http://freakonometrics.hypotheses.org/files/2015/12/catnat07.png

qui ressemble à ça

Bon, maintenant, si on a des records tous les ans (ou presque) c’est probablement que l’hypothèse i.i.d. n’était pas valide.
Supposons par exemple qu’il y ait de l’inflation, i.e. les coût sont http://freakonometrics.hypotheses.org/files/2015/12/catnat03.png.

Dans ce cas, le processus de nombre d’événements annuels est

et celui des records

Si on répète l’expérience un grand nombre de fois, le nombre moyen d’événements par année me cesse de croître (en rouge ci-dessous)

et le processus de records moyen (avec le cas i.i.d. en bleu),

Autrement dit, si l’inflation est trop importante, il est possible d’avoir régulièrement de nouveaux records.
Une autre possibilité est de supposer qu’il n’y a pas d’inflation, mais que le nombre de sinistres ne cesse de croître (ici un processus de Poisson à intensité linéaire), c’est à dire une fréquence plus importante des événements climatiques extrêmes

Le nombre annuel de catastrophes est alors

soit, si l’on considère le processus de records

Là encore, si l’on répète l’expérience un grand nombre de fois, le nombre moyen de catastrophes ne cesse de croître

alors que le processus de records a la moyenne suivante

Bref, il est possible d’avoir effectivement des records presque tous les ans. Cela signifie probablement que les sinistres coûtent de plus en plus cher (hausse de la valeur à risque), mais aussi probablement que les catastrophes sont de plus en plus fréquentes. On retrouve finalement ce que je disais il y a quelques mois maintenant (ici).

C’était si vieux que ça 77 ans ?

Lors de l’ouverture des cadeaux de Noël, et que nous discutions de Tintin avec les enfants, il y a eu un long débat (sans fin) sur “pourquoi on ne peut plus lire Tintin après 77 ans” ? Tintin est ce reporter inventé au début du XXème siècle par Hergé, dont le nom a donné naissance au Journal de Tintin en septembre 1946 (ou plutôt à Kuifje, dans la version flamande, qui a été traduite en français en 1948), dont le sous-titre était « Le journal des jeunes de 7 à 77 ans ». Bon, autant le 7 ans peut se comprendre (même si ma fille prétendait que quand même, elle avait le droit de lire Tintin si elle voulait), mais le 77 ans a donné lieu a de grandes discussions… Surtout que d’un air docte, j’ai du affirmer “en 1948, après la guerre, 77 ans c’était très très très vieux” (genre Mathusalem quoi, ou Dumbledore, pour reprendre une référence qu’ils connaissent) “alors que maintenant...

Ah, si j’avais su… Pour rappel, en 1948, en France, l’espérance de vie à la naissance était de 74 ans, environ, et la fonction de survie (à la naissance) ressemblait à ça,

autrement dit, la probabilité qu’une personne née en 1948 atteigne 77 ans était de 2 chances sur 3. En fait, si on regarde pour les personnes en vie en 1948 (disons nées après 1900 pour faire simple), la probabilité d’atteindre 77 ans en fonction de leur année de naissance ressemblait à ça,

ou de manière duale, le quantile à 66.67% est (à la naissance)

Si on compare à aujourd’hui, un 77 ans en 1948 correspondrait à un 85 ans en 2010 (en terme d’age atteint avec la même probabilité). Et pas 99 ans comme cela est dit parfois sur les boites de jeux…. Moralité, faut jamais croire son père quand il veut faire son intéressant les soirs de Noël ! (mais les autres jours, si… non mais).

The return period of the 2003 heat wave

The paper on “on the return period of the 2003 heat wave” has been published online here, before Christmas. It should be published soon by Climatic Change, http://link.springer.com/article/...

Extremal events are difficult to model since it is difficult to characterize formally those events. The 2003 heat wave in Europe was not characterized by very high temperatures, but mainly the fact that night temperature were no cool enough for a long period of time. Hence, simulation of several models (either with heavy tailed noise or long range dependence) yield different estimations for the return period of that extremal event.

To go further on the impact on mortality (which was not the aim of the paper), there is a paper in Nature (here).