Une des formules les plus importantes en probabilité (je trouve) est la “formule des probabilités totales” qui dit tout simplement que

que l’ont peut aussi écrire, à l’aide de la formule de Bayes

Une des conséquences de ce résultat est la “law of total expectation“, souvent appelé théorème de double projection,

que l’on écrit souvent sous la forme raccourcie  (dans la formule de droite, le premier symbole est un espérance, c’est à dire une intégrale, et donc un nombre réel, alors que le second indique que l’on travaille sur une espérance conditionnelle, c’est à dire une variable aléatoire). Mais comme toujours dans les relations simplifiée, il faut savoir de quoi on parle.

La démonstration est simple

soit

ou enfin

tout simplement.

L’interprétation est encore plus simple (pour utiliser un exemple que j’aime de plus en plus) : si est le poids d’une personne , et le sexe, alors

c’est à dire que le poids moyen d’une personne prise au hasard est un barycentre (damned, je fais déjà de la géométrie) entre le poids moyen des hommes et le poids moyen des femmes, les poids pour le calcul du barycentre étant liés aux proportions d’hommes et de femmes. Tout simplement.

Il existe une autre relation classique en probabilité (connue en statistiques sous le nom de “formule de décomposition de la variance”) qui dit que

Là aussi, on a une écriture un peu simplificatrice, que l’on va essayer de décortiquer un peu. Pour ça, le plus simple est de faire un peu de géométrie. Car oui, dans les espaces de variables aléatoire, on peut faire de la géométrique. En particulier des projections (orthogonales). Mais avant, de faire des projections, il faut des distances, des angles, une notion d’orthogonalité, etc.

• Rappels de géométrie

Pour parler d’orthogonalité, il faut une notion de produit scalaire. Pour rappel, un produit scalaire, sur un espace , c’est défini par

• une notion de symétrie
• de bilinéarité
• de positivité,
• et le produit scalaire est dit défini  implique

De ce produit scalaire, on peut déduire une norme

En effet, on retrouve la propriété d’homogénéité, (c’est pour ça que l’on prend la racine carrée), et  si et seulement si . On a aussi l’inégalité de Cauchy-Schwarz,

qui va impliquer l’inégalité triangulaire

On dira que deux vecteurs sont orthogonaux, noté  si . Dans ce cas, on a la relation de Pythagore,

Autre objet intéressant, la projection orthogonale. Rappelons tout d’abord que si , on dira que  si y pour tout . Et on notera

On a alors des résultats intéressants. En particulier, pour tout , il existe un unique  tel que

On peut aussi montrer que . On parlera alors de projection orthogonale de  sur , et on pourra noter . Tout cela est assez standard dans les espaces de dimension finie (on pensera à pour avoir un peu d’intuition). On connait plein de choses sur les projections orthogonales, il suffit de penser dans  pour avoir un peu d’intuition. Par exemple, si , alors

Cette relation est vraie dans , mais aussi dans des espaces plus généraux. C’est ce qu’on appelle le théoreme de double projection (on qu’on devrait voir réapparaître sur les variables aléatoires).

• Géométrie dans les espaces de variables aléatoires

L’espace des variables aléatoires de variance finie –  – peut être muni d’une telle opération, de produit scalaire,

La norme est alors . En fait, on voit qu’on s’avance sur un terrain glissant ici, car pour avoir un produit scalaire, il faudrait que  si et seulement si , et pour avoir une norme il faudrait que  si et seulement si . Le soucis technique ici est que  signifie que  et pas  pour tout . Bref, l’égalité est a comprendre au sens presque partout. Mais c’est un point de détail (ici). Techniquement, comme l’explique justement Williams (1991) dans le chapitre 6,  est précisément l’espace  (classique en probabilité) quotienté par cette relation d’équivalence .

Un sous-espace de  est l’espace des constante, , que je noterais aussi . On notera que, comme rappelé dans tous les cours que je donne

c’est à dire que

L’espérance est la projection orthogonale sur l’espace des constantes. Et

Un autre sous-espace de  qui sera intéressant est le suivant. Si , on notera

Par exemple, on peut considérer une variable de Bernoulli,  où . Dans ce cas, le sous-espace est équivalent au sous-espace des combinaisons linéaires,

Techniquement, je pense que

mais il semblerait qu’on ait égalité stricte… Mais comme je veux parler de projection sans parler de l’espace , on va continuer avec mon interprétation heuristique, et je ne parlerais pas de . Je fais des projections sur des sous-espaces de , pas sur des -algèbres.

Si , on posera

qui sera la solution du problème de moindres carrés

On notera que , et on retrouve ici l’écriture standard d’un modèle de régression, . On parlera alors d’espérance conditionnelle. Qui est ici une variable aléatoire, par construction. En fait, l’unicité de la variable aléatoire est possible précisément parce que tout a l’heure, on définissait une égalité presque sure.

On avait rappelé le théor`eme de double projection tout a l’heure. Et comme , alors

ce qui se traduit par la relation bien connue

En économétrie (linéaire) et dans les premiers cours de séries temporelles, on introduit un autre type d’opérateur car on ne projette pas dans des espaces aussi gros que . On introduit souvent l’opérateur d’espérance linéaire, avec

où (comme on l’avait introduit tout à l’heure)

et pour les séries temporelles stationnaires,

Oui, si le processus est stationnaire, je peux régresser sur tout le passé, mais dans ce cas, je pense qu’il faut fermer l’espace afin de projeter dessus…

Bon, maintenant, on voit que mon interprétation géométrique est bancale… en effet, je ne peux définir mon espérance conditionnelle (voire mon espérance tout court) à l’aide de projections orthogonales que si je suis dans un espace muni qu’un tel opérateur. Et si est un espace de Hilbert, ce n’est pas le cas de . Pourtant, nul besoin d’être dans pour définir une espérance conditionnelle… Je pense que l’astuce peut être de noter que si appartient à mais pas , on peut quand même s’en sortir car est un espace de Banach et on a malgré tout des notions de convergences. Et  est dense dans . Bref, en faisant un peu de limite, pour peut étendre ce qu’on vient de faire pour les variables qui ne sont pas de carré intégrable…

Visuellement (il serait peut-être temps de faire des dessins, non ?) on a

On voit apparaître un paquet de relations sur ce dessin, que ce soit des doubles projections, mais aussi le théorème de Pythagore. Mais prenons notre temps…

• et la constante ?

Maintenant, si on regarde un peu détails, il y a des choses étranges. Par exemple se traduit ici par . Mais ce n’est pas ce qu’on utilise classiquement comme notion d’orthogonalité. On a davantage l’habitude de voir

Qu’est ce qu’on a raté ? L’idée est de poser , et , c’est à dire que l’on va travailler sur les variables centrées. On peut noter que

et on va définir la covariance entre X et Y a partir des vecteurs translatés,

et la corrélation comme

où  est l’angle entre les vecteurs  et . On dira que  si (au sens géométrique du terme), qui correspond a la relation classique ). Le théroreme de Pythagore nous dit que si , alors

Ce qui se traduit par

si les variables sont orthogonales.

Maintenant, on était allé un peu plus loin tout a l’heure, avec des variables correspondant à des espérances conditionnelles. Par exemple, la formule de décomposition de la variance. On peut reprendre l’égalité du théorème de Pythagore, avec

et

On note facilement que , car  alors que , par construction de la projection orthogonale. Aussi le théorème de Pythagore nous dit que

Pour le terme de gauche, c’est assez facile,

Pour le premier terme de droite, la aussi, c’est facile, car , par le théorème de double projection, et donc

Pour le dernier terme, a droite, c’est plus vicieux. Disons qu’on va l’identifier a une variance conditionnelle (je n’ai toujours pas défini formellement de variable aléatoire appelée “variance conditionnelle“), i.e.

On retrouve alors la formule de décomposition de la variance, en variance intra et variance inter.

Cette formule est classique en statistique, en régression (les résidus sont orthogonaux a , on aura donc une partie de la variance qui sera expliquée par nos variables explicatives  et une partie qui sera dite non expliquée) ou en crédibilité (je peux renvoyer cette fois à l’exemple des jeux de fléchettes de Philbrick (1982)). Promis, on reparlera de géométrie cet hiver, quand je ferais les lois multivariées en cours (avec cette fois des notions d’invariance, de rotations, de symétries, etc)