Next Thursday, I will give the fourth lecture of the PhD course on advanced tools for econometrics, on quantile and expectile regressions. Slides are available online.
Tag Archives: L2
Probabilité et géométrie
Une des formules les plus importantes en probabilité (je trouve) est la “formule des probabilités totales” qui dit tout simplement que
que l’ont peut aussi écrire, à l’aide de la formule de Bayes
Une des conséquences de ce résultat est la “law of total expectation“, souvent appelé théorème de double projection,
que l’on écrit souvent sous la forme raccourcie (dans la formule de droite, le premier symbole est un espérance, c’est à dire une intégrale, et donc un nombre réel, alors que le second indique que l’on travaille sur une espérance conditionnelle, c’est à dire une variable aléatoire). Mais comme toujours dans les relations simplifiée, il faut savoir de quoi on parle.
La démonstration est simple
soit
ou enfin
tout simplement.
L’interprétation est encore plus simple (pour utiliser un exemple que j’aime de plus en plus) : si est le poids d’une personne , et
le sexe, alors
c’est à dire que le poids moyen d’une personne prise au hasard est un barycentre (damned, je fais déjà de la géométrie) entre le poids moyen des hommes et le poids moyen des femmes, les poids pour le calcul du barycentre étant liés aux proportions d’hommes et de femmes. Tout simplement.
Il existe une autre relation classique en probabilité (connue en statistiques sous le nom de “formule de décomposition de la variance”) qui dit que
Là aussi, on a une écriture un peu simplificatrice, que l’on va essayer de décortiquer un peu. Pour ça, le plus simple est de faire un peu de géométrie. Car oui, dans les espaces de variables aléatoire, on peut faire de la géométrique. En particulier des projections (orthogonales). Mais avant, de faire des projections, il faut des distances, des angles, une notion d’orthogonalité, etc.
- Rappels de géométrie
Pour parler d’orthogonalité, il faut une notion de produit scalaire. Pour rappel, un produit scalaire, sur un espace , c’est défini par
- une notion de symétrie
- de bilinéarité
- de positivité,
- et le produit scalaire est dit défini
implique
De ce produit scalaire, on peut déduire une norme
En effet, on retrouve la propriété d’homogénéité, (c’est pour ça que l’on prend la racine carrée), et
si et seulement si
. On a aussi l’inégalité de Cauchy-Schwarz,
qui va impliquer l’inégalité triangulaire
On dira que deux vecteurs sont orthogonaux, noté si
. Dans ce cas, on a la relation de Pythagore,
Autre objet intéressant, la projection orthogonale. Rappelons tout d’abord que si , on dira que
si
y pour tout
. Et on notera
On a alors des résultats intéressants. En particulier, pour tout , il existe un unique
tel que
On peut aussi montrer que . On parlera alors de projection orthogonale de
sur
, et on pourra noter
. Tout cela est assez standard dans les espaces de dimension finie (on pensera à
pour avoir un peu d’intuition). On connait plein de choses sur les projections orthogonales, il suffit de penser dans
pour avoir un peu d’intuition. Par exemple, si
, alors
Cette relation est vraie dans , mais aussi dans des espaces plus généraux. C’est ce qu’on appelle le théoreme de double projection (on qu’on devrait voir réapparaître sur les variables aléatoires).
- Géométrie dans les espaces de variables aléatoires
L’espace des variables aléatoires de variance finie – – peut être muni d’une telle opération, de produit scalaire,
La norme est alors . En fait, on voit qu’on s’avance sur un terrain glissant ici, car pour avoir un produit scalaire, il faudrait que
si et seulement si
, et pour avoir une norme il faudrait que
si et seulement si
. Le soucis technique ici est que
signifie que
et pas
pour tout
. Bref, l’égalité est a comprendre au sens presque partout. Mais c’est un point de détail (ici). Techniquement, comme l’explique justement Williams (1991) dans le chapitre 6,
est précisément l’espace
(classique en probabilité) quotienté par cette relation d’équivalence
.
Un sous-espace de est l’espace des constante,
, que je noterais aussi
. On notera que, comme rappelé dans tous les cours que je donne
c’est à dire que
L’espérance est la projection orthogonale sur l’espace des constantes. Et
Un autre sous-espace de qui sera intéressant est le suivant. Si
, on notera
Par exemple, on peut considérer une variable de Bernoulli, où
. Dans ce cas, le sous-espace est équivalent au sous-espace des combinaisons linéaires,
Techniquement, je pense que
mais il semblerait qu’on ait égalité stricte… Mais comme je veux parler de projection sans parler de l’espace , on va continuer avec mon interprétation heuristique, et je ne parlerais pas de
. Je fais des projections sur des sous-espaces de
, pas sur des
-algèbres.
Si , on posera
qui sera la solution du problème de moindres carrés
On notera que , et on retrouve ici l’écriture standard d’un modèle de régression,
. On parlera alors d’espérance conditionnelle. Qui est ici une variable aléatoire, par construction. En fait, l’unicité de la variable aléatoire est possible précisément parce que tout a l’heure, on définissait une égalité presque sure.
On avait rappelé le théor`eme de double projection tout a l’heure. Et comme , alors
ce qui se traduit par la relation bien connue
En économétrie (linéaire) et dans les premiers cours de séries temporelles, on introduit un autre type d’opérateur car on ne projette pas dans des espaces aussi gros que . On introduit souvent l’opérateur d’espérance linéaire, avec
où (comme on l’avait introduit tout à l’heure)
et pour les séries temporelles stationnaires,
Oui, si le processus est stationnaire, je peux régresser sur tout le passé, mais dans ce cas, je pense qu’il faut fermer l’espace afin de projeter dessus…
Bon, maintenant, on voit que mon interprétation géométrique est bancale… en effet, je ne peux définir mon espérance conditionnelle (voire mon espérance tout court) à l’aide de projections orthogonales que si je suis dans un espace muni qu’un tel opérateur. Et si est un espace de Hilbert, ce n’est pas le cas de
. Pourtant, nul besoin d’être dans
pour définir une espérance conditionnelle… Je pense que l’astuce peut être de noter que si
appartient à
mais pas
, on peut quand même s’en sortir car
est un espace de Banach et on a malgré tout des notions de convergences. Et
est dense dans
. Bref, en faisant un peu de limite, pour peut étendre ce qu’on vient de faire pour les variables qui ne sont pas de carré intégrable…
Visuellement (il serait peut-être temps de faire des dessins, non ?) on a
On voit apparaître un paquet de relations sur ce dessin, que ce soit des doubles projections, mais aussi le théorème de Pythagore. Mais prenons notre temps…
- et la constante ?
Maintenant, si on regarde un peu détails, il y a des choses étranges. Par exemple se traduit ici par
. Mais ce n’est pas ce qu’on utilise classiquement comme notion d’orthogonalité. On a davantage l’habitude de voir
Qu’est ce qu’on a raté ? L’idée est de poser , et
, c’est à dire que l’on va travailler sur les variables centrées. On peut noter que
et on va définir la covariance entre X et Y a partir des vecteurs translatés,
et la corrélation comme
où est l’angle entre les vecteurs
et
. On dira que
si
(au sens géométrique du terme), qui correspond a la relation classique
). Le théroreme de Pythagore nous dit que si
, alors
Ce qui se traduit par
si les variables sont orthogonales.
Maintenant, on était allé un peu plus loin tout a l’heure, avec des variables correspondant à des espérances conditionnelles. Par exemple, la formule de décomposition de la variance. On peut reprendre l’égalité du théorème de Pythagore, avec
et
On note facilement que , car
alors que
, par construction de la projection orthogonale. Aussi le théorème de Pythagore nous dit que
Pour le terme de gauche, c’est assez facile,
Pour le premier terme de droite, la aussi, c’est facile, car , par le théorème de double projection, et donc
Pour le dernier terme, a droite, c’est plus vicieux. Disons qu’on va l’identifier a une variance conditionnelle (je n’ai toujours pas défini formellement de variable aléatoire appelée “variance conditionnelle“), i.e.
On retrouve alors la formule de décomposition de la variance, en variance intra et variance inter.
Cette formule est classique en statistique, en régression (les résidus sont orthogonaux a , on aura donc une partie de la variance qui sera expliquée par nos variables explicatives
et une partie qui sera dite non expliquée) ou en crédibilité (je peux renvoyer cette fois à l’exemple des jeux de fléchettes de Philbrick (1982)). Promis, on reparlera de géométrie cet hiver, quand je ferais les lois multivariées en cours (avec cette fois des notions d’invariance, de rotations, de symétries, etc)
Convergences de variables aléatoires
Le schéma – ou diagramme – des relations entre les modes convergences ressemble à ce qui est présenté sur la droite. C’est grosso modo ce que j’ai dit en cours (sans le représenter explicitement).
Je ne vais pas démontrer ces implications car ce sont des théorèmes (qui peuvent donc se trouver dans n’importe quel textbook de probabilité).
En revanche, un étudiant m’avait demandé si les réciproques étaient vraies. Comme toujours en maths, si les réciproques étaient toujours vraies, on le mettrait. Donc ici les réciproques sont généralement fausses. On peut toutefois se demander quand ces réciproques peuvent être vraies…et quand elles sont fausses.
- de la convergence en proba à la convergence en moyenne
Commençons par le plus simple (à mon avis). Il 
existe un cas particulier où cette réciproque est vraie: le cas de variables aléatoires bornées. Autrement dit, si 
et que l’on a 
pour tout 
, alors 
pour tout 
.
Bon, en fait la condition est un peu trop forte, et il suffit que la suite 
soit uniformément intégrable.
Maintenant, il existe aussi des cas où cette réciproque sera fausse (et on se doute qu’en construisant une suite non bornée, on devrait y arriver). Par exemple, supposons que pour tout ,
On peut montrer que 
, car en effet
Toutefois, certes la suite converge dans L1, mais vers une limite différente, étant donné que 
pour tout . De plus, 
et donc la suite ne converge pas dans L2.
- de la convergence en loi à la convergence en proba
Un exemple simple ici: si converge en loi vers une constante, alors on aura convergence en probabilité (vers la même constante).
Maintenant la réciproque est relativement simple, l’idée étant que 
n’implique en rien 
, au sens où 
, pour tout 
. Supposons maintenant que l’on ait à la fois 
et , où on va supposer que 
est une loi symétrique. La symétrie signifie que 
. Notons que l’on a alors forcément 
. Supposons que la réciproque soit toujours vraie, alors on devrait avoir 
, et donc on aurait que 
, ce qui n’arrive que si est la constante 
.
- de la convergence en proba vers la convergence presque sûre
Je ne vais pas m’étendre sur la construction d’exemples pour lesquels la réciproque est fausse (
formellement, il suffit de changer d’espace de probabilité sous-jacent, je peux renvoyer vers les notes de cours de Philippe Briand (ici) et Hélène m’a suggéré également les exercices en ligne là). Par contre, il existe des cas importants où la réciproque est vraie.
Considérons une suite de variables indépendantes et identiquement distribuées . Posons alors 
On peut alors montrer que 
si et seulement si 
(ça doit être du Borel-Cantelli).
- de la convergence en loi à la convergence presque sûre
Je ne vais pas non plus m’étendre davantage, mais on a un résultat qui ressemble à ce que je disais auparavant. En fait, il existe un théorème (dit de Skorohod) qui permet de dire que si on a une convergence en loi, alors on peut construite une suite de variables aléatoires qui
convergera presque sûrement. Formellement on a que si , alors il existe une suite 
et une variable 
, telles que 
et 
telles que 
. Mais de manière générale, si la suite n’est pas construite comme il faut ( par en quelques sortes) alors il est assez rare d’avoir la réciproque.
Statistiques, rappels de probas
Avant de commencer les travaux pratiques de vendredi, quelques rappels sur les notions de convergence.
- Convergence en loi
Soit 
une suite de variables aléatoires, de telle sorte que 
soit la fonction de répartition de 
. On dira que la suite converge en loi vers la variable aléatoire 
de loi 
si
en tout point de continuité de . On notera
La convergence en loi est la forme la plus faible de convergence: en général, elle n’implique pas les autres formes de convergence que nous verrons, alors que ces autres formes de convergence impliquent la convergence en loi.
De manière équivalente, on aura convergence en loi si et seulement si, pour toute fonction bornée
En particulier, on aura convergence en loi si et seulement si on a convergence des fonctions génératrice en tout point.
- Convergence en probabilité
La suite converge en probabilité vers la variable aléatoire si
que l’on notera
Parmi les résultats classiques, on a aussi que si
et
alors 
. C’est ce mode de convergence qui intervient dans la loi faible des grands nombres.
si 
est une suite de variables aléatoires indépendantes et identiquement distribuées d’espérance 
et de variance 
et que l’on considére la moyenne empirique
alors 
et
Donc 
.
- Convergence presque sure
La suite converge en probabilité vers la variable aléatoire si
ou encore
que l’on notera
La convergence presque sûre implique une convergence en probabilité.
La convergence presque sûre est utilisée dans la loi forte des grands nombres.
- Convergences L1 et L2
La suite converge en norme L1 vers la variable aléatoire X si
et on parlera de convergence en moyenne quadratique, ou L2, si
- Convergences et transformations
Comme nous le (re)verrons vendredi matin, la transformation des variables aléatoires est un point fondamental en statistique. Soit 
une fonction continue en tout point d’un ensemble 
tel que 
, alors
si alors 
si alors 
si alors 
Pour aller plus loin sur les notions de convergence, je renvois au livre de Adrianus Willem van der Vaart, Asymptotic Statistics, paru chez Cambridge University Press.
- Transformations
Sinon sur les transformations, je devrais présenter (en cours) la formule classique de transformation d’une variable à densité par une fonction bijective et dérivable, 
. La formule est de la forme
En fait, si on se souvient que 
, ou 
, on peut aussi écrire
L’intérêt de cette relation est qu’elle peut se généraliser en dimension quelconque. Si 
(toujours avec une transformation bijective possédant un Jacobien 
strictement positif), on a
avec 
. Je peux renvoyer ici pour quelques compléments (et exemples). Mais nous reviendrons plus tard sur le cas multivarié…
Ecart absolue ou écart type ?
Un petit billet très court pour répondre à une question d’élèves de licence. L’erreur quadratique moyen est définie comme
alors que l’erreur absolue moyenne est définie comme
(que je définie ici comme l’écart à la moyenne, certain considérant la distance à la médiane, qui minimise cette quantiié, alors que la moyenne minimise l’écart quadratique, mais je reviendrais là dessus bientôt, sur l’histoire de la loi normale).
Souvent ces quantités sont présentées comme des mesures de la même quantité, que l’on appellerait “dispersion” autour de la moyenne.
Si l’on prend deux observations, ces quantités sont rigoureusement identiques, car
compte tenu du fait que
En revanche, comme le montre le graphique ci-dessous,
Aussi, avec davantage de termes, la différence peut devenir significativement différente. En particulier, comme le notent Goldstein et Taleb (2007), en ligne ici, dans le cas Gaussien centré réduit,
Autrement dit, ces quantités peuvent parfaitement être différentes. Sur l’exemple ci-dessous, on considère un groupe de 4 individus, trois ayant le même revenu, et le dernier ayant un revenu plus important. On s’arrange pour que le revenu moyen soit constant (100 ici) et on regarde comment se comportent ces deux quantités lorsque le revenu du dernier individu s’accroît (de celui des autres).
(j’ai autorisé les revenus négatifs pour la simplicité des calculs et pour avoir un joli dessin). On en conclue qu’un écart significativement différent entre l’écart-type (L2) et l’écart absolu (L1) signifie simplement qu’il y a probablement des points aberrants dans la base (aberrants au sens “sensiblement différents“, des “outliers“).