Tag Archives: moyenne

INF7100, statistiques

La seconde partie de mon intervention sur la science des données, dans le cadre du cours INF7100 portera sur les statistiques, univariées et multivarirées. Le plan sera le suivant

  • 201: De la Statistique aux Sciences de Données pdf video (14:24)
  • 211: Fonctions Usuelles en Statistique (fonction de réparition, densité, histogramme) pdf video (28:37)
  • 221: Indicateurs Statistique: Valeur Centrale (moyenne) pdf video (32:56)
  • 222: Indicateurs Statistique: Dispersion (variance, inégalités) pdf video (22:21)
  • 223: Indicateurs Statistique: Approximations (approximation normale) pdf video (18:42)
  • 224: Indicateurs Statistique: Quantiles pdf video (24:54)
  • 231: Inférence (statistique bayésienne) pdf video (39:33)
  • 241: Tests Statistiques (1) (tests, significativité, p-value) pdf video (43:41)
  • 242: Tests Statistiques (2) (erreurs) pdf video (16:51)
  • 261: Statistiques Bivariées pdf video (25:16)
  • 271: Statistiques Multivariées: Projections pdf video (29:06)
  • 272: Statistiques Multivariées: Clusters pdf video (32:21)
  • 281: Réseaux et Graphs pdf video (32:40)
  • 291: Données Chronologiques pdf video (29:01)

 

C’est normal ! (partie 1) et si la normalité n’existait pas?

Il y a quelques semaines, je discutais avec une collègue juriste (alors que j’essayais de glaner des statistiques juridiques), et alors que l’on parlait alors de la lenteur de l’instruction, ou de l’inversion de la charge de la preuve (je ne me souviens plus) j’ai été supris qu’elle me dise que “c’est normal“. Je sais qu’un juriste et un statisticien ne donnent pas forcément le même sens aux mots, et cette phrase m’a dérangé parce qu’une situation qui pourrait sembler “normale” (car observée régulièrement) n’est pas pour autant “juste” (c’est le paradoxe is/ought de Hume, mais j’en parlerais dans un autre billet).

Le point de départ est de comprendre ce qu’est la normalité “empirique”, telle qu’observée dans une population. Ce qui pourrait être “normal” pour un statisticien. Pour commencer, je pensais revenir sur un exemple raconté dans The End of Average de Todd Rose, qui essaye de montrer, exemples à l’appui, que l’homme moyen n’existe pas.

  • L’homme moyen de Quételet

Au XIXème siècle, si plusieurs astronomes mesuraient la vitesse d’un même objet céleste, ils obtenaient (souvent) plusieurs mesures différentes. Pour savoir “laquelle” utiliser dans leurs calculs, l’idée d’utiliser “la méthode des moyennes” s’est rapidement imposée – comme le rappelle Stahl (2006), et surtout Sheynin (1973) – cette “moyenne” ayant une précision plus grande que n’importe quelle autre grandeur (ou dirait aujourd’hui “statistique”).

Adolphe Quetelet fut, semble-t-il, le premier à appliquer ce calcul de moyennes à des mesures humaines, introduisant son fameux concept d'”homme moyen”. Comme j’en avais parlé dans un précédant billet, la moyenne est une grande particulière, dont le sens n’est pas forcément clair. Si on définit la moyenne à l’aide d’une minimisation d’erreur quadratique, on a une interprétation en terme de prévision (on retrouve ici la notion de mesure elicitable dont je parlais dans mon dernier cours): la taille moyenne est la taille de “devrait” mesurer une personne tirée au hasard (à une variation aléatoire – et imprévisible – près). En 1846 dans une lettre (publiée dans l’ouvrage Lettres sur la théorie des probabilités, appliquée aux sciences morales) Adolphe Quételet utilise l’image de la statue du gladiateur pour expliquer ce que peut être l’homme moyen.

  • L’interprétation de Francis Galton

Ce homme moyen a beaucoup plu à l’époque, en particulier au sein de l’école anglaise eugéniste, dirigée à l’époque par Francis Galton, même si ce dernier s’intéresse surtout aux déviations par rapport à cette norme (déviation vers le haut et déviation vers le bas). Comme le rappelle Bulmer (2004),the deviations from that average—upwards towards genius, and downwards towards stupidity—must follow the law that governs deviations from all true averages“. Les travaux de Galton ont visé à comprendre ces déviations. Si Florence Nightingale affirmait que “the Average Man is God’s Will“, Galton de son côté s’intéressait davantage au caractère héréditaire. Mais cet “homme moyen” a-t-il pour autant du sens ?

  • L’être humain moyen n’existe pas

Une anecdote intéressante est celle de deux statues, à Cleveland, celles de Norma et Normann. L’artiste Abram Belskie et l’obstetricien Robert Latou Dickinson ont réalisé ensemble ces statues, en 1943. La particularité est qu’aucun modèle n’a été représenté. En fait, il s’agissait de représenter une femme et un homme qui avaient les mensurations moyennes de l’époque.

Une fois ces statues réalisées, un concours a été organisé pour trouver qui ces statues pouvaient bien représenter. Plusieurs milliers de personnes de l’Ohio ont envoyé leurs mensurations, mais aucun ne correspondaient à celles des statues. Certes, plusieurs centaines avaient la même taille. Plusieurs centaines avaient le même tour de poitrine. Mais aucune n’avait toutes les bonnes mesures. Car comme l’explique Todd Rose, l’homme n’est pas unidimensionnel: c’est sur plusieurs dimensions qu’on le mesure.

Et chercher à le résumer en une grandeur unidimensionnel est beaucoup trop réducteur. C’est ce qu’il montre dans son livre sur les tests d’intelligence, par exemple, où un même QI peut être associé à deux personnes très différentes. Pareil pour décider de recruter quelqu’un, se focaliser sur un seul indicateur n’a pas de sens. Le soucis quand on travaille dans un contexte multivarié, c’est que la moyenne perd de son sens. Pour reprendre le titre d’un billet mis en ligne voilà 6 mois, être moyen peut être extraordinaire.

  • La malédiction de la dimension (en grande dimension, l’espace est très vide…)

En fait, ce problème est bien connu par les statisticiens, sous le nom de “fléau de la dimension“. Prenons un exemple simple: supposons qu’une grandeur d’intérêt suive une loi normale https://latex.codecogs.com/gif.latex?\mathcal{N}(\mu,\sigma^2), par exemple le poids, la taille, le tour de poitrine, etc. On pourrait dire que la norme, c’est se trouver dans un intervalle https://latex.codecogs.com/gif.latex?[\mu\pm%201.5%20\cdot\sigma]. Si on a une loi normale, cette situation survient dans 85% des cas,

> (1-2*pnorm(-1.5))
[1] 0.8663856

Et 15% seront vues comme “anormales”. Elles peuvent être anormalement petites, ou anormalement grandes. C’est le dessin ci-dessous: on regarde ici seulement une dimension

On peut maintenant regarder deux dimensions, le poids et la taille, par exemple. La norme serait ici que dans les deux dimensions, on soit dans l’intervalle https://latex.codecogs.com/gif.latex?[\mu\pm%201.5%20\cdot\sigma]. Si les grandeurs sont indépendantes, la probabilité que les deux grandeurs soient “normale” est de 75%

> (1-2*pnorm(-1.5))^2
[1] 0.750624

En dimension deux, 75% des observations sont “normales”, et 25% sont “anormales”

En dimension 3, on passe à 65%

> (1-2*pnorm(-1.5))^3
[1] 0.6503298

pour 35% d’observations “anormales” (plus du tiers)

Etc. En dimension cinq, on passe en dessous de 50%

> (1-2*pnorm(-1.5))^5
[1] 0.4881532

autrement dit, être dans la norme dans les 5 dimensions, ce n’est plus le cas de la majorité. Et en dimension vingt, ceux qui sont “normaux” sont plutôt atypiques, avec une proportion de l’ordre de 5%,

> (1-2*pnorm(-1.5))^20
[1] 0.0567838

Bref, la normalité est un concept particulièrement étrange sur le plan empirique, car intuitivement associé à l’idée d’une majorité. Alors que ce n’est pas le cas, la normalité étant justement atypique.

Échantillonnage, TCL et LGN

Mercredi matin, nous allons aborder l’échantillonnage. Nous allons partir d’un échantillon http://freakonometrics.free.fr/blog/lgn01.png, supposé indépendant et identiquement distribué. Le modèle sous-jacent est la collection de variables aléatoires http://freakonometrics.free.fr/blog/lgn02.pngindépendantes et identiquement distribuées. Dans un premier temps, on s’intéressera à la moyenne de l’échantillon, correspondant à une réalisation de la variable aléatoire http://freakonometrics.free.fr/blog/lgn04.png définie par

http://freakonometrics.free.fr/blog/lgn05.png

Afin d’avoir des résultats sur le comportement de la moyenne, on rappellera deux théorèmes importants: la loi des grands nombres et le théorème central limite. Afin d’illustrer ces théorèmes, considérons le cas de tirages de PILE et FACE. On suppose que http://freakonometrics.free.fr/blog/lgn06.png désigne la variable aléatoire correspondant au fait d’avoir obtenu PILE au http://freakonometrics.free.fr/blog/lgn07.pngème tirage. On remet des pièces à une centaine d’élèves (chaque élève correspond à une couleur différente), et on regarde la moyenne du nombre de PILE obtenus sur les http://freakonometrics.free.fr/blog/lgn10.png premiers lancers. Et on regarde ce qui se passe quand n augmente. La loi de grands nombres permet d’affirmer que

http://freakonometrics.free.fr/blog/lgn11.png

ici, si l’on suppose que la pièce n’est pas biaisée, soit

http://freakonometrics.free.fr/blog/lgn12.png

pour la version faible, ou pour la version forte

http://freakonometrics.free.fr/blog/lgn13.png

soit

http://freakonometrics.free.fr/blog/lgn16.png

C’est ce que l’on observe ci-dessous, chaque trait correspondant à la trajectoire http://freakonometrics.free.fr/blog/lgn21.png obtenue par un élève. Un histogramme est représenté à droite.

http://freakonometrics.free.fr/animation-cv-binomiale.gif

On peut aussi centrer (ici retrancher http://freakonometrics.free.fr/blog/lgn22.png) et réduire (ici mulplier par http://freakonometrics.free.fr/blog/lgn23.png) la moyenne empirique pour étudier une éventuelle convergence. On pose alors

http://freakonometrics.free.fr/blog/lgn24.png

Le théorème central limite garantie que

http://freakonometrics.free.fr/blog/lgn27.png

On a toujours l’histogramme des valeurs obtenues, au bout de http://freakonometrics.free.fr/blog/lgn10.png tirages, par les élèves, avec en rouge la densité de la loi normale centrée réduire. Et là encore, l’expérience semble valider la théorie…

http://freakonometrics.free.fr/animation-cv-CR.gif

Maintenant, pour ceux qui doutent, la base est en ligne ici, et je mets le code pour commencer à jouer avec…

M=read.table("http://freakonometrics.blog.free.fr/public/data/PILEFACE.txt")
nl=ncol(M)
nj=nrow(M)
M1=matrix(M=="PILE",nj,nl)
MS=M1
for(l in 2:nl){MS[,l]=
(apply(M1[,1:l],1,mean)-.5)/sqrt(.25/l)}
arret=100
COULEUR= rev(rainbow(nj))
HIST=hist(MS[,arret])
plot(1:nl,MS[1,],ylim=(c(-3,3)),col="white",
xlim=c(0,250),xlab="Nombre de lancers de pièces",
ylab="Nombre moyen de PILE, centré réduit")
for(j in 1:nj){
lines(1:arret,MS[j,1:arret],col=COULEUR[j])
}
abline(v=arret)

Moyenne géométrique versus moyenne arithmétique…

L’autre jour, j’étais de surveillance d’examen. Pour passer le temps, j’ai survolé l’énoncé, et je me souviens avoir lu “montrez que la moyenne arithmétique est plus grande que la moyenne géométrique“. Ayant généralement tendance à préférer les copies où il y a peu à lire, mais avec de jolis dessins, j’ai eu envie de proposer une correction sans écrire un mot aux étudiants (qui semblaient souffrir dans leur démonstration). Il suffit de monter que

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/moyennes-latex.png

Ben voilà,

quod erat demonstrandum. Non ? On note en plus que l’on a égalité si et seulement si les nombres sont égaux…. Allez, pour convaincre les sceptiques, je rajoute une deuxième preuve… Bon, en fait je peux prouver que

mais c’est la même chose, non ?