Oui, “l’espérance est un opérateur linéaire”. On n’arrête pas d’insister sur cette propriété dans la plupart des cours de probabilité. En fait, je pense que cette propriété a deux implications importantes. La première est que l’on interprète souvent cette phrase en disant que si
intégrable, alors pour tout
et
,
. La conséquence de cette propriété (qui est juste) est que
dès lors que la transformation n’est pas linéaire (ou au moins, il n’y a aucune raison pour qu’il y ait égalité).
Mais cette linéarité dit davantage. Elle dit que pour toutes variables aléatoires
et
(définies sur le même espace),
, pour tout
et
. Et ça c’est fort. En particulier, on ne dit pas qu’il faut que
et
sont des variables indépendantes. Car cette propriété est valide quelle que soit la dépendance qui pourrait exister entre
et
.
Pourtant @Arnaud (qui passe souvent à l’occasion sur le blog) m’a laissé un couple de questions par courriel: “la dépendance modifie-t-elle la moyenne ?[…] sur des exemples simples en R, la moyenne est toujours perturbée”. L’idée était que les espérances étaient approchées numériquement par simulation. Or les méthodes de Monte Carlo reposent sur la loi des grands nombres et sur le théorème central limite. En particulier, si
, et que l’on simule les couples
, alors

autrement dit

i.e. la vitesse de convergence est affectée par la dépendance, pas la valeur vers laquelle on va tendre (car la moyenne tend vers l’espérance, qui est linéaire). En particulier, la convergence sera d’autant plus lente que
sera grande. Donc effectivement, l’approximation pourrait être relativement mauvaise si on est sur des couples présentant une forte dépendance.
Par exemple, si on s’amuse à simuler 100 couples
Gaussiens, avec

on a les valeurs suivantes pour la moyenne de ce couple (obtenu en générant 10,000 échantillons de 100 paires), avec en abscisse la corrélation entre les deuxvariables

le trait rouge est la moyenne empirique des moyennes obtenues, et les régions sont délimitées par les quantiles à 5% (et 95%), 10% (et 90%) et 25% (et 75%). En moyenne, les simulations donnent la même chose, peu importe la dépendance. Mais plus la dépendance est forte, plus la variance sera grande, et plus la convergence sera lente (et les simulations auront d’autant plus tendance à s’éloigner – ou se disperser autour – de la vraie valeur). Mais cette réponse est partielle, car on a supposé que la variance était finie. Or cette hypothèse n’est pas nécessaire pour assurer la convergence de la moyenne vers l’espérance (et donc pour utiliser des méthodes de simulations). Que se passerait-il avec des lois de variance infinie ?
Pour autre chose que les vecteurs Gaussiens (par exemple des variables de variance infinie, comme des lois de Pareto) on peut utiliser le code suivant (on continue pour l’instant à utiliser une copule Gaussienne),
library(mnormt) library(copula) library(evir) set.seed(1) ns=100 R=seq(-.95,.95,by=.05) M=BINF1=BSUP1=rep(NA,length(R)) for(i in 1:length(R)){ r=R[i] norm.cop = normalCopula(r, dim = 2) S=rep(NA,20000) for(j in 1:20000){ U=rcopula(norm.cop,ns) X=cbind(qgpd(U[,1], .7 ,1),qgpd(U[,2], .5 ,1)) S[j]=mean(X[,1]+X[,2])} BINF1[i]=quantile(S,.05) BSUP1[i]=quantile(S,.95) M[i]=mean(S) } plot(R,M,col="white",ylim=range(c(BINF1,BSUP1))) polygon(c(R,rev(R)),c(BINF1,rev(BSUP1)), col="light yellow",border=NA) lines(R,BINF1,lty=2) lines(R,BSUP1,lty=2) lines(R,M,lwd=2,col="red") esperance=1+1/(1-.7)+1+1/(1-.5) segments(min(R),esperance,max(R),esperance,col="blue")
Sur cette somme de deux lois de Pareto (comme dans le code ci-dessus), on obtient numériquement

Autrement dit, ici, l’effet dépendance semble avoir un impact plus faible sur l’approximation de la moyenne. On peut aussi essayer de changer la copule, par exemple mettre une copule de type Clayton (avec en abscisse cette fois le tau de Kendall),

(qui présente de la dépendance dans la queue inférieure) ou la copule duale (qui présente de la dépendance dans la queue supérieure)

Bref, la structure de la dépendance ne semble pas trop changer l’estimation de la moyenne (ou plutôt la vitesse de la convergence). On peut aussi se demander s’il y a un effet dimension. Par exemple, si au lieu de simuler des couples, on simule des vecteurs de plus grande taille. Par exemple, un vecteur échangeable en dimension 10, avec des marges normales centrées réduites,
norm.cop =normalCopula(r, dim = 10,dispstr="ex")

Moralité ? effectivement, la dépendance a un impact sur la vitesse de convergence quand on travaille sur des vecteurs aléatoires. Mais de manière assez surprenante, c’est surtout le cas pour la loi normale. Et étrangement, cet impact ne semble pas lié à de la dépendance extrême, ou à la dimension…

Hier matin, au moment de quitter la maison, j’ai jeté un œil à la météo (car à Montréal le temps est très changeant, pas seulement d’un jour sur l’autre, comme je l’avis mentionné en arrivant en septembre, 
la variable indicatrice indiquant s’il pleut, ou pas (1 s’il pleut, et 0 sinon) à l’instant
. Supposons qu’il existe un processus latent sous-jacent,
tel que

qui peut encore s’écrire
ou, ce qui sera pleut être plus utile ensuite
Avec notre modèle latent, cette probabilité peut s’écrire
c’est à dire en notant
la fonction de répartition (jointe) du vecteur aléatoire
cette probabilité s’écrit
Or Wassily Hoeffding a montré qu’il était possible d’encadrer une fonction de répartition, avec les bornes suivantes: pour tout 


où 

(qui est associée à la probabilité d’avoir de la pluie pendant une heure en moyenne) et de la corrélation
(qui est associée à la dynamique du processus). Pour simplifier, si on prend 






En cours, nous avons poursuivi sur la loi multinomiale, et le test du chi-deux. Je voulais mettre un petit billet pour récapituler les différents points, et montrer une application numérique (nous reviendrons en détails mercredi sur des applications des outils vus jusqu’à présent).
peut prendre
modalités, notées
, avec
. On posera
appartient au simplexe de
au sens où



). Mais plus généralement, on finira les calculs permettant d’établir que, pour 

).

avec
et pour
.
est
.
est une matrice de projection si elle est idempotente, i.e.
. Ses valeurs propres sont alors 0 ou 1, et si
est le nombre de fois où 1 est valeur propre, et si
, alors
.
. Alors

(qui est aussi le nombre de fois où 1 est valeur propre). Donc


de dimension
. Posons
, pour
le rang de
, en supposant que les 
pour
sont des variables indépendantes.
pouvant prendre toutes les deux deux modalités (disons deux lois binomiales). On est alors face a une loi multinomiale à 4 modalités
avec probabilité 
avec probabilité 
avec probabilité 
avec probabilité 




et
. tels que
et
. On a alors
contraintes sur les paramètres. Ces deux contraintes additionnelles font que la statistique de test s’écrit
i.e.
d’après le théorème de Cochrane.
Sur les