Oui, “l’espérance est un opérateur linéaire”. On n’arrête pas d’insister sur cette propriété dans la plupart des cours de probabilité. En fait, je pense que cette propriété a deux implications importantes. La première est que l’on interprète souvent cette phrase en disant que si 
intégrable, alors pour tout 
et 
, 
. La conséquence de cette propriété (qui est juste) est que 
dès lors que la transformation n’est pas linéaire (ou au moins, il n’y a aucune raison pour qu’il y ait égalité).
Mais cette linéarité dit davantage. Elle dit que pour toutes variables aléatoires et 
(définies sur le même espace), 
, pour tout et . Et ça c’est fort. En particulier, on ne dit pas qu’il faut que et sont des variables indépendantes. Car cette propriété est valide quelle que soit la dépendance qui pourrait exister entre et .
Pourtant @Arnaud (qui passe souvent à l’occasion sur le blog) m’a laissé un couple de questions par courriel: “la dépendance modifie-t-elle la moyenne ?[…] sur des exemples simples en R, la moyenne est toujours perturbée”. L’idée était que les espérances étaient approchées numériquement par simulation. Or les méthodes de Monte Carlo reposent sur la loi des grands nombres et sur le théorème central limite. En particulier, si 
, et que l’on simule les couples 
, alors
autrement dit
i.e. la vitesse de convergence est affectée par la dépendance, pas la valeur vers laquelle on va tendre (car la moyenne tend vers l’espérance, qui est linéaire). En particulier, la convergence sera d’autant plus lente que 
sera grande. Donc effectivement, l’approximation pourrait être relativement mauvaise si on est sur des couples présentant une forte dépendance.
Par exemple, si on s’amuse à simuler 100 couples Gaussiens, avec
on a les valeurs suivantes pour la moyenne de ce couple (obtenu en générant 10,000 échantillons de 100 paires), avec en abscisse la corrélation entre les deuxvariables
le trait rouge est la moyenne empirique des moyennes obtenues, et les régions sont délimitées par les quantiles à 5% (et 95%), 10% (et 90%) et 25% (et 75%). En moyenne, les simulations donnent la même chose, peu importe la dépendance. Mais plus la dépendance est forte, plus la variance sera grande, et plus la convergence sera lente (et les simulations auront d’autant plus tendance à s’éloigner – ou se disperser autour – de la vraie valeur). Mais cette réponse est partielle, car on a supposé que la variance était finie. Or cette hypothèse n’est pas nécessaire pour assurer la convergence de la moyenne vers l’espérance (et donc pour utiliser des méthodes de simulations). Que se passerait-il avec des lois de variance infinie ?
Pour autre chose que les vecteurs Gaussiens (par exemple des variables de variance infinie, comme des lois de Pareto) on peut utiliser le code suivant (on continue pour l’instant à utiliser une copule Gaussienne),
library(mnormt) library(copula) library(evir) set.seed(1) ns=100 R=seq(-.95,.95,by=.05) M=BINF1=BSUP1=rep(NA,length(R)) for(i in 1:length(R)){ r=R[i] norm.cop = normalCopula(r, dim = 2) S=rep(NA,20000) for(j in 1:20000){ U=rcopula(norm.cop,ns) X=cbind(qgpd(U[,1], .7 ,1),qgpd(U[,2], .5 ,1)) S[j]=mean(X[,1]+X[,2])} BINF1[i]=quantile(S,.05) BSUP1[i]=quantile(S,.95) M[i]=mean(S) } plot(R,M,col="white",ylim=range(c(BINF1,BSUP1))) polygon(c(R,rev(R)),c(BINF1,rev(BSUP1)), col="light yellow",border=NA) lines(R,BINF1,lty=2) lines(R,BSUP1,lty=2) lines(R,M,lwd=2,col="red") esperance=1+1/(1-.7)+1+1/(1-.5) segments(min(R),esperance,max(R),esperance,col="blue")
Sur cette somme de deux lois de Pareto (comme dans le code ci-dessus), on obtient numériquement
Autrement dit, ici, l’effet dépendance semble avoir un impact plus faible sur l’approximation de la moyenne. On peut aussi essayer de changer la copule, par exemple mettre une copule de type Clayton (avec en abscisse cette fois le tau de Kendall),
(qui présente de la dépendance dans la queue inférieure) ou la copule duale (qui présente de la dépendance dans la queue supérieure)
Bref, la structure de la dépendance ne semble pas trop changer l’estimation de la moyenne (ou plutôt la vitesse de la convergence). On peut aussi se demander s’il y a un effet dimension. Par exemple, si au lieu de simuler des couples, on simule des vecteurs de plus grande taille. Par exemple, un vecteur échangeable en dimension 10, avec des marges normales centrées réduites,
norm.cop =normalCopula(r, dim = 10,dispstr="ex")
Moralité ? effectivement, la dépendance a un impact sur la vitesse de convergence quand on travaille sur des vecteurs aléatoires. Mais de manière assez surprenante, c’est surtout le cas pour la loi normale. Et étrangement, cet impact ne semble pas lié à de la dépendance extrême, ou à la dimension…
Hier matin, au moment de quitter la maison, j’ai jeté un œil à la météo (car à Montréal le temps est très changeant, pas seulement d’un jour sur l’autre, comme je l’avis mentionné en arrivant en septembre, 
la variable indicatrice indiquant s’il pleut, ou pas (1 s’il pleut, et 0 sinon) à l’instant 
. Supposons qu’il existe un processus latent sous-jacent, 
tel que
qui peut encore s’écrire
ou, ce qui sera pleut être plus utile ensuite
Avec notre modèle latent, cette probabilité peut s’écrire
c’est à dire en notant 
la fonction de répartition (jointe) du vecteur aléatoire 
cette probabilité s’écrit
Or Wassily Hoeffding a montré qu’il était possible d’encadrer une fonction de répartition, avec les bornes suivantes: pour tout 
où 
(qui est associée à la probabilité d’avoir de la pluie pendant une heure en moyenne) et de la corrélation 
(qui est associée à la dynamique du processus). Pour simplifier, si on prend 
En cours, nous avons poursuivi sur la loi multinomiale, et le test du chi-deux. Je voulais mettre un petit billet pour récapituler les différents points, et montrer une application numérique (nous reviendrons en détails mercredi sur des applications des outils vus jusqu’à présent).
peut prendre 
modalités, notées 
, avec 
. On posera
appartient au simplexe de 
au sens où
). Mais plus généralement, on finira les calculs permettant d’établir que, pour 
).
avec 
et pour 
.
est 
.
est une matrice de projection si elle est idempotente, i.e. 
. Ses valeurs propres sont alors 0 ou 1, et si 
est le nombre de fois où 1 est valeur propre, et si 
, alors 
.
. Alors
(qui est aussi le nombre de fois où 1 est valeur propre). Donc
de dimension 
. Posons 
, pour 
le rang de 
, en supposant que les 
pour 
sont des variables indépendantes.
pouvant prendre toutes les deux deux modalités (disons deux lois binomiales). On est alors face a une loi multinomiale à 4 modalités
avec probabilité 
avec probabilité 
avec probabilité 
avec probabilité 
et 
. tels que 
et 
. On a alors 
contraintes sur les paramètres. Ces deux contraintes additionnelles font que la statistique de test s’écrit
i.e. 
d’après le théorème de Cochrane.
Sur les