Category Archives: STT2700

Un peu de terminologie statistique

Suite à quelques questions (anodines) posées au fil du cours de statistique, je prends 5 minutes pour refaire le point sur les abréviations qui me semblent classiques, mais qui le ne sont peut-être pas (car je n’ai pas l’habitude d’enseigner en deuxième année, pour ceux qui en doutaient encore).

Tout d’abord des locutions latines. Par exemple i.e. n’est pas Internet Explorer mais vient du latin id est et signifie donc c’est-à-dire. Parmi les petites locutions proches, e.g. vient du latin exempli gratia, et signifie littéralement par la grâce de l’exemple mais on retiendra que cela signifie par exemple.

A l’occasion, il m’arrive d’utiliser ca qui est une abréviation du latin circa, signifiant environ.Et quid signifie en latin quoi. Sinon dans les textbook, q.e.d. vient du latin quod erat demonstrandum, que l’on traduit souvent par ce qu’il fallait démontrer, ou cqfd. Enfin, vs est une contraction du latin versus signifiant comparé à. Bon, je pense avoir fait le tour pour les expressions latines.

Du côté des lettres grecques couramment utilisées en statistique, α i.e. alpha, et β i.e. beta, que l’on verra apparaître dans les erreurs de tests statistiques. Γ est une fonction qu’il pourrait être utile d’utiliser dans les calculs d’intégrales (correspondant à une généralisation de la factorielle). δ i.e. delta, apparaît dans la notation de la masse de Dirac. ε i.e. epsilon que l’on retrouve un peu partout en analyse pour dénoter une constante qui peut être aussi petite qu’on le souhaite. θ i.e. theta qui correspond au paramètre de nos lois, mais parfois on utilisera aussi λ i.e. lambda qui apparaît comme paramètre de la loi de Poisson ou de la loi exponentielle. μ i.e. mu qui désigne généralement la moyenne d’une variable aléatoire, ν i.e. nu qui désigne les degrés de liberté dans les lois de Student ou de Fisher. ρ i.e. rho qui désigne parfois la corrélation. σ i.e. sigma qui désigne l’écart-type d’une variable aléatoire. χ i.e. khi (ou chi) qui apparaît souvent avec une puissance 2, dans la loi du chi-deux. Et enfin ω i.e. omega qui désigne un état de la nature, appartenant à Ω (la lettre majuscule).

Voilà pour le premier point de terminologie. Je me laisse la possibilité de poursuivre, en particulier sur les abréviations plus mathématiques (comme les p.s. ou en anglais a.s., ou autres w.r.t.). Toutes les suggestions sont les bienvenues…

Échantillonnage, TCL et LGN

Mercredi matin, nous allons aborder l’échantillonnage. Nous allons partir d’un échantillon http://freakonometrics.free.fr/blog/lgn01.png, supposé indépendant et identiquement distribué. Le modèle sous-jacent est la collection de variables aléatoires http://freakonometrics.free.fr/blog/lgn02.pngindépendantes et identiquement distribuées. Dans un premier temps, on s’intéressera à la moyenne de l’échantillon, correspondant à une réalisation de la variable aléatoire http://freakonometrics.free.fr/blog/lgn04.png définie par

http://freakonometrics.free.fr/blog/lgn05.png

Afin d’avoir des résultats sur le comportement de la moyenne, on rappellera deux théorèmes importants: la loi des grands nombres et le théorème central limite. Afin d’illustrer ces théorèmes, considérons le cas de tirages de PILE et FACE. On suppose que http://freakonometrics.free.fr/blog/lgn06.png désigne la variable aléatoire correspondant au fait d’avoir obtenu PILE au http://freakonometrics.free.fr/blog/lgn07.pngème tirage. On remet des pièces à une centaine d’élèves (chaque élève correspond à une couleur différente), et on regarde la moyenne du nombre de PILE obtenus sur les http://freakonometrics.free.fr/blog/lgn10.png premiers lancers. Et on regarde ce qui se passe quand n augmente. La loi de grands nombres permet d’affirmer que

http://freakonometrics.free.fr/blog/lgn11.png

ici, si l’on suppose que la pièce n’est pas biaisée, soit

http://freakonometrics.free.fr/blog/lgn12.png

pour la version faible, ou pour la version forte

http://freakonometrics.free.fr/blog/lgn13.png

soit

http://freakonometrics.free.fr/blog/lgn16.png

C’est ce que l’on observe ci-dessous, chaque trait correspondant à la trajectoire http://freakonometrics.free.fr/blog/lgn21.png obtenue par un élève. Un histogramme est représenté à droite.

http://freakonometrics.free.fr/animation-cv-binomiale.gif

On peut aussi centrer (ici retrancher http://freakonometrics.free.fr/blog/lgn22.png) et réduire (ici mulplier par http://freakonometrics.free.fr/blog/lgn23.png) la moyenne empirique pour étudier une éventuelle convergence. On pose alors

http://freakonometrics.free.fr/blog/lgn24.png

Le théorème central limite garantie que

http://freakonometrics.free.fr/blog/lgn27.png

On a toujours l’histogramme des valeurs obtenues, au bout de http://freakonometrics.free.fr/blog/lgn10.png tirages, par les élèves, avec en rouge la densité de la loi normale centrée réduire. Et là encore, l’expérience semble valider la théorie…

http://freakonometrics.free.fr/animation-cv-CR.gif

Maintenant, pour ceux qui doutent, la base est en ligne ici, et je mets le code pour commencer à jouer avec…

M=read.table("http://freakonometrics.blog.free.fr/public/data/PILEFACE.txt")
nl=ncol(M)
nj=nrow(M)
M1=matrix(M=="PILE",nj,nl)
MS=M1
for(l in 2:nl){MS[,l]=
(apply(M1[,1:l],1,mean)-.5)/sqrt(.25/l)}
arret=100
COULEUR= rev(rainbow(nj))
HIST=hist(MS[,arret])
plot(1:nl,MS[1,],ylim=(c(-3,3)),col="white",
xlim=c(0,250),xlab="Nombre de lancers de pièces",
ylab="Nombre moyen de PILE, centré réduit")
for(j in 1:nj){
lines(1:arret,MS[j,1:arret],col=COULEUR[j])
}
abline(v=arret)

Statistiques, rappels de probas

Avant de commencer les travaux pratiques de vendredi, quelques rappels sur les notions de convergence.

  • Convergence en loi

Soit http://freakonometrics.free.fr/blog/latex/conver15.png une suite de variables aléatoires, de telle sorte que http://freakonometrics.free.fr/blog/latex/conver62.png soit la fonction de répartition de http://freakonometrics.blog.free.fr/public/maths/conv99.png. On dira que la suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en loi vers la variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png de loi http://freakonometrics.blog.free.fr/public/maths/montone2.png si

http://freakonometrics.free.fr/blog/latex/conver6%c3%b4.png

en tout point de continuité de http://freakonometrics.blog.free.fr/public/maths/montone2.png. On notera

http://freakonometrics.free.fr/blog/latex/conver6.png

La convergence en loi est la forme la plus faible de convergence: en général, elle n’implique pas les autres formes de convergence que nous verrons, alors que ces autres formes de convergence impliquent la convergence en loi.

De manière équivalente, on aura convergence en loi si et seulement si, pour toute fonction bornée

http://freakonometrics.free.fr/blog/latex/conver54.png

En particulier, on aura convergence en loi si et seulement si on a convergence des fonctions génératrice en tout point.

  • Convergence en probabilité

La suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en probabilité vers la variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png si

http://freakonometrics.free.fr/blog/latex/conv50.png

que l’on notera

http://freakonometrics.free.fr/blog/latex/conver4.png

Parmi les résultats classiques, on a aussi que si

http://freakonometrics.free.fr/blog/latex/conver40.png

et

http://freakonometrics.free.fr/blog/latex/conver31.png

alors http://freakonometrics.free.fr/blog/latex/conver30.png. C’est ce mode de convergence qui intervient dans la loi faible des grands nombres.
si http://freakonometrics.free.fr/blog/latex/conver26.png est une suite de variables aléatoires indépendantes et identiquement distribuées d’espérance http://freakonometrics.free.fr/blog/latex/conver27.png et de variance http://freakonometrics.free.fr/blog/latex/conver28.png et que l’on considére la moyenne empirique

http://freakonometrics.free.fr/blog/latex/conver24.png

alors  http://freakonometrics.free.fr/blog/latex/conver22.png et

http://freakonometrics.free.fr/blog/latex/conver21.png

Donc http://freakonometrics.blog.free.fr/public/maths/conv98.png.

  • Convergence presque sure

La suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en probabilité vers la variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png si

http://freakonometrics.free.fr/blog/latex/conver13.png

ou encore

http://freakonometrics.free.fr/blog/latex/conver12.png

que l’on notera

http://freakonometrics.free.fr/blog/latex/conver2.png

La convergence presque sûre implique une convergence en probabilité.
La convergence presque sûre est utilisée dans la loi forte des grands nombres.

  • Convergences L1 et L2

La suite http://freakonometrics.free.fr/blog/latex/conver15.png converge en norme L1 vers la variable aléatoire X si

http://freakonometrics.free.fr/blog/latex/conver11.png

et on parlera de convergence en moyenne quadratique, ou L2, si

http://freakonometrics.free.fr/blog/latex/conver10.png
  • Convergences et transformations

Comme nous le (re)verrons vendredi matin, la transformation des variables aléatoires est un point fondamental en statistique. Soit http://freakonometrics.free.fr/blog/latex/conver7.png une fonction continue en tout point d’un ensemble http://freakonometrics.free.fr/blog/latex/conver9.png tel que http://freakonometrics.free.fr/blog/latex/conver8.png, alors
si http://freakonometrics.free.fr/blog/latex/conver6.png alors http://freakonometrics.free.fr/blog/latex/conver5.png
si http://freakonometrics.free.fr<br />
/blog/latex/conver4.png alors http://freakonometrics.free.fr/blog/latex/conver3.png
si http://freakonometrics.free.fr/blog/latex/conver2.png alors http://freakonometrics.free.fr/blog/latex/converg1.png
Pour aller plus loin sur les notions de convergence, je renvois au livre de Adrianus Willem van der Vaart, Asymptotic Statistics, paru chez Cambridge University Press.

  • Transformations

Sinon sur les transformations, je devrais présenter (en cours) la formule classique de transformation d’une variable à densité par une fonction bijective et dérivable, http://freakonometrics.blog.free.fr/public/perso/changevar999.png. La formule est de la forme

http://freakonometrics.blog.free.fr/public/perso/changementvar1.png

En fait, si on se souvient que http://freakonometrics.blog.free.fr/public/perso/changevar3.png, ou http://freakonometrics.blog.free.fr/public/perso/changevar4.png, on peut aussi écrire

http://freakonometrics.blog.free.fr/public/perso/changevar2.png

L’intérêt de cette relation est qu’elle peut se généraliser en dimension quelconque. Si http://freakonometrics.blog.free.fr/public/perso/changevar99.png (toujours avec une transformation bijective possédant un Jacobien http://freakonometrics.blog.free.fr/public/perso/changecar8.png strictement positif), on a

http://freakonometrics.blog.free.fr/public/perso/changevar5.png

avec http://freakonometrics.blog.free.fr/public/perso/changevar7.png. Je peux renvoyer ici pour quelques compléments (et exemples). Mais nous reviendrons plus tard sur le cas multivarié…

Statistiques, STT2700, cours 05/01

Petite précision suite au cours de ce matin: le cours du vendredi a lieu de 10.30 à 11.30 (il y avait une faute de frappe sur le plan de cours ici). Pour les billets liés au cours, il faut aller .

Côté travaux pratiques, ils commencent ce vendredi, et l’énoncé est en ligne ici (j’ai repris les exercices de la session d’automne).

Enfin, petit complément par rapport à une question posée à la fin du cours. Un élève m’avait demandé s’il ne fallait pas supposer la fonction de répartition dérivable pour définir une densité. Une variable aléatoire http://freakonometrics.blog.free.fr/public/maths/montone-deriv1.png est continue si sa fonction de répartition http://freakonometrics.blog.free.fr/public/maths/montone2.png est continue. http://freakonometrics.blog.free.fr/public/maths/montone2.png est par ailleurs croissante. Aussi, on peut montrer que http://freakonometrics.blog.free.fr/public/maths/montone2.png est dérivable presque partout. Comme le montrent Douglas S. Kurtz, Jaroslav Kurzweil et Charles Swartz dans Theories of integration: the integrals of Riemann, Lebesgue, Henstock,

ou plus particulièrement, on a le résultat suivant

On retrouve le même résultat, appelé théorème de Lebesgue dans l’ouvrage de Yeh, Real analysis: theory of measure and integration

Maintenant pour associer densité et dérivée, il faut faire un peu attention (cf le commentaire ici). Maintenant, en faisant quelques raccourcis (supposer la fonction à variations finies par exemple), on a le résultat suivant. Si http://freakonometrics.blog.free.fr/public/maths/montone2.png est supposée continue, la densité est une fonction http://freakonometrics.blog.free.fr/public/maths/montone4.png qui vérifie

http://freakonometrics.blog.free.fr/public/maths/montone3.png

En fait, comme le montrent les théorèmes ci-dessus, cette densité est unique, sauf aux points de non dérivabilité de http://freakonometrics.blog.free.fr/public/maths/montone2.png, qui sont de mesure nulle, autrement dit http://freakonometrics.blog.free.fr/public/maths/montone4.png est unique presque partout. Et, pour les points où http://freakonometrics.blog.free.fr/public/maths/montone2.png est dérivable,

http://freakonometrics.blog.free.fr/public/maths/montone5.png

et ailleurs… ? peu importe, en fait….
Considérons la fonction de répartition suivante, continue et dérivable partout, sauf en 0, et à variations finies.

La densité est alors, pour http://freakonometrics.blog.free.fr/public/maths/monontone6.png

http://freakonometrics.blog.free.fr/public/maths/monotone7.png

c’est à dire 1/2 sur http://freakonometrics.blog.free.fr/public/maths/monontone11.png et 1/4 sur http://freakonometrics.blog.free.fr/public/maths/monotone12.png,

et peu importe la valeur (finie) donnée en 0: on peut définir http://freakonometrics.blog.free.fr/public/maths/monotone13.png la dérivée à droite, et http://freakonometrics.blog.free.fr/public/maths/monotone15.png la dérivée à gauche, par exemple (si ces dérivées existent), de telle sorte que

http://freakonometrics.blog.free.fr/public/maths/monotone20.png

Bref, la densité est définie pour une loi continue (sans autre hypothèse), presque toujours. Pour aller plus loin, je renvoie ici par exemple….