Je vais prendre 10 minutes pour continuer la discussion amorcée ici . Le carré de la corrélation est parfois interprété comme la “proportion de variance de Y expliquée par X“. Pour Rodgers and Nicewander (1988) il s’agit d’une “covariance standardisée” (où on transforme – de manière affine – les variables pour qu’elles soient alors de variance unitaire). J’avais essayé de trouver une interprétation en tant que probabilité de covariation (ou disons de concordance pour être plus juste), ou plutôt comme fonction de cette probabilité (Eisenbach et Falk (1984) notent d’ailleurs que certains étudiants pensent que les deux sont égales pour des variables positivement corrélées). Aujourd’hui je vais plutôt essayer de voir s’il n’existerait pas des interprétations “naturelles” de cette mesure de corrélation.

• Le cas du vecteur Gaussien et l’interprétation géométrique

Dans le cas du vecteur Gaussien, on avait évoqué que la corrélation (au sens de Pearson) pouvait être reliée à une probabilité de concordance, dans un précédant billet. Mais sinon, si on revient à la construction des vecteurs sphériques (que je devrais évoquer bientôt), on verra que la corrélation apparaissait naturellement, dans la matrice de rotation.
Comme le rappellent Dominque Drouet-Mari et Samuel Kotz, il existe aussi une interprétation géométrique du coefficient de corrélation. Comme nous l’avions rappelé ici, les courbes de niveau de la densité du vecteur Gaussien sont des ellipses (on supposera que l’on s’intéresse à un vecteur centré). Comme le montre la figure ci-dessous, le coefficient de corrélation indique la pente des tangents des courbes de niveaux avec les axes des coordonnées.

• La corrélation dans les tableaux de contingence 2×2

Mais c’est surtout dans le cas des tableaux de contingence que l’on devrait voir apparaître la corrélation. L’idée sous-jacente étant que la corrélation est très liée  à l’espérance du produit, qui dans le cas des lois de Bernoulli suit toujours une loi de Bernoulli. Et comme l’espérance est alors interprétée comme une probabilité pour ces variables dichotomiques, on ne devrait pas être surpris de voir apparaître de la corrélation de Pearson apparaître “naturellement“.
Dans le cas de variables qualitatives (disons un couple de variables de Bernoulli), la corrélation vaut

Aussi, on peut montrer facilement que la corrélation est nulle (dans le cas 2×2) si et seulement si les lignes (mais aussi les colonnes) sont proportionnelles, c’est à dire si et seulement les deux variables sont indépendantes.

• où on voit apparaître des régression,

Comme on le voit en économétrie, le coefficient de corrélation entre X et Y est compris entre la pente de la régression de Y sur X, et celle de la régression de X sur Y. Et plus précisément, on peut montrer (par un rapide calcul) que

ou encore

la signe étant donné par les coefficients de régressions (qui sont forcément de même signe). Autrement dit, comme l’avaient noté Rodgers et Nicewander (1988), la corrélation est la moyenne géométrique des pentes.

• et où on voit apparaître des probabilités conditionnelles…

Revenons dans le cas 2×2. Dans ce cas, les coefficients de régression (oui, ça peut paraître surprenant de s’intéresser à une régression linéaire pour deux variables dichotomiques, mais c’est pour la simplicité des calculs) s’interprètent comme des différences entre des probabilités conditionnelles, i.e.

soit

ce qui s’écrit enfin

Cette différence entres les probabilités conditionnelles – quand on lit horizontalement dans le tableau de contingence – se lit

Rappelons que ces différences de probabilités ne sont pas encore la corrélation linéaire, mais simplement un des termes dans la moyenne géométrique. Ce qui n’empêche pas de voir une confusion dans certains ouvrages, dont Shweder (1977) qui prétend que la corrélation est “a comparison between two conditional probabilities“, ou encore Ward et Jenkins (1965), pour qui, “perhaps the simplest formulation of contingency which is adequate to the case of unequal marginal frequencies involves a comparison of two conditional probabilities“. Cette idée est aussi évoquée dans Jennings, Amabile et Ross (1982), lorsqu’ils écrivent “one satisfactory method, for example, might involve comparing proportions (i.e., comparing the proportion of diseased people manifesting the particular symptom with the proportion of nondiseased people manifesting that symptom)“.
En fait, cette différence entre les probabilités conditionnelles pourrait davantage être vu comme une mesure causale que comme une mesure de corrélation (mais ça sera l’objet d’un autre billet, qui sera la suite de celui là).
Bref, la corrélation est la moyenne géométique des différences des probabilités conditionelles à la fois en lisant verticalement et horizon
talement le tableau de contingence, i.e.

• une apparition naturelle de la corrélation, dans un tableau 2×2

Bref, comme je l’évoquais un peu plus haut, il n’est pas surprenant de voir apparaître la corrélation au sens de Personne dans les tableaux de contingence (2×2, ne généralisons pas trop non plus). En fait, on retrouve la notation suivante dans Falk et Well (1996), si on suppose que les deux variables ont la même loi

et c’est d’ailleurs assez commun de voir cette écriture en épidémiologie. Le coefficient de corrélation est alors parfois appelé “probability of identity by descent“, comme dans Falk (1993).