Time for a break, the blog will be down for a few weeks, while I will be in France…
Monthly Archives: July 2011
Comparer des notes entre pays
A Montréal, l’an passé, le principal souvenir que je garderai de mon cours est le mal que j’ai eu à comprendre comment mettre des notes. Je ne ferais pas un billet sur la difficulté à évaluer le niveau d’un étudiant (car j’ai toujours détesté les examens, aussi bien en tant qu’étudiant que prof), mais j’ai une une réelle difficulté à comprendre ce que vaut une note… Par exemple, un C, ça correspond à quoi (avec mon référentiel de prof français) ? C’est bien ou pas ? C’est quoi la moyenne ?
La seule information dont on dispose pour mettre les notes est le tableau ci-contre. Et autant je pense voir ce qu’est un travail “excellent“, ou “faible“, mais “passable” ? Car le tableau me dit qu’un élève qui a 50 sur 100 a une note passable, ce qui est aussi la référence que l’on utilise en France. Sauf que les élèves ont commence à me dire que 50, c’est pas terrible… qu’une note moyenne ici c’était plutôt 60, voire 65. Bref, sous-entendu (voire entendu, tout court), “monsieur, vous devez remonter les notes“. Et comme je l’ai prouve ici, il ne faut jamais croire les élèves…
Et effectivement, dans un vieux rapport datant des années 90 (en maths et informatiques), je suis tombé sur le graphique suivant
qui donne la distribution “typique” des notes. Autrement dit, la médiane est à 63,ce qui signifie que plus de moitie a une note qui est “bien“,”très bien” voire “excellent“. En revanche, une distribution comme celle dessous est considérée comme “dure et discriminatoire”
Pour mieux comprendre les notations au Canada et en France, j’ai voulu faire une petite étude (non, je ne reviendrai pas sur les notes). On continue aujourd’hui àtrouver ce genre de distribution à Montréal. Par exemple, si on considère les cours, analyse (en première année), algèbre linéaire et calcul, on a les histogrammes suivants
Et effectivement, dans un vieux rapport datant des années 90 (en maths et informatiques), je suis tombé sur le graphique suivant
qui donne la distribution “typique” des notes. Autrement dit, la médiane est à 63,ce qui signifie que plus de moitie a une note qui est “bien“,”très bien” voire “excellent“. En revanche, une distribution comme celle dessous est considérée comme “dure et discriminatoire”Pour mieux comprendre les notations au Canada et en France, j’ai voulu faire une petite étude (non, je ne reviendrai pas sur les notes). On continue aujourd’hui àtrouver ce genre de distribution à Montréal. Par exemple, si on considère les cours, analyse (en première année), algèbre linéaire et calcul, on a les histogrammes suivants
ce qui donne le boxplot suivant
i.e. pour les cours algèbre linéaire et calcul on est effectivement sur des moyennes autour de 60. Prenons maintenant, a titre de comparaison, des cours de maths, dans une université française, en l’occurrence a Rennes, comme analyse (en première année), arithmétique et algèbre linéaire, on a des histogrammes beaucoup plus plats,
A titre de comparaison, j’ai été voir du cote du département de Sciences Économiques, avec macroéconomie, microéconomie et mathématiques appliquées, on a
i.e. on retrouve de belles gaussiennes pour les cours d’économie, mais une distribution assez différente pour le cours de maths,
On a effectivement des distributions assez différentes, généralement, en première année à l’université, entre le Canada et la France. Ce qui explique que les profs, lorsque les étudiants souhaitent passer d’un pays a l’autre ne regarde plus vraiment les notes, mais plus le rang de l’étudiant au sein de sa promotion. D’ailleurs, si on fait un graphique quantile-quantile, avec les cours de maths à Montréal versus les cours de maths a Rennes, on a le graphique suivant
autrement dit, une note de 50 à Montréal correspond à 33 en France (soit 6.5 sur 20), alors que 50 en France (10 sur 20) correspond a 59 à Montréal. On retrouve la encore le fait qu’une note médiane correspond à 60 ici… c’est a dire un C. Il va falloir que je m’adapte l’année prochaine….
De la créativité des gangsters
Pendant mon séjour récent en Nouvelle Angleterre, j’ai survolé le livre de Leonard Mlodinow, the drunkard’s walk. Et au hasard de mes lectures, je suis tombé sur la petite histoire suivante
Autrement dit, en utilisant les cinq derniers chiffres d’une quantité économique comme le us treasury balance, on aurait un générateur de nombre aléatoire…
Par contre la suite est un peu plus surprenante,
La loi de Benford (que j’avais pu évoquer ici ou là) parle des premiers chiffres, mais cette fois on parle deslast five digits. Donc visiblement l’évoquation n’est pas pertinente ici. Mais qui sait ? Ca reste malgré tout une histoire intéressante. Considérons – histoire de tester cette légende – les deux sources de données suivantes,http://treasurydirect.gov/ et http://economagic.com/. Sur ce dernier site, un petit travail de mise en forme des données est nécessaire.
b1=read.table("http://freakonometrics.free.fr/debtus1.txt", header=TRUE,sep="\t") b2=read.table("http://freakonometrics.free.fr/debtus2.txt", header=TRUE) X1=as.character(b1$Dollar.Amount) n1=nchar(X1) Y1=substr(X1,n1-8,n1-3) X1=as.numeric(substr(Y1,1,2))*1000+as.numeric(substr(Y1,4,6)) x=X1/100000 X2=b2$DEBT Y2=trunc(as.numeric(X2)) X2=as.character(Y2) n2=nchar(X2) Y2=substr(X2,n2-4,n2) y=as.numeric(Y2)/100000 y=y[y<1]
Pour rappel, un générateur aléatoire (standard) vérifie deux propriétés importantes
- les nombres doivent être tirés suivant une loi uniforme sur [0,1], i.e. ici, si on divise les nombres à 5 chiffres par 10000,
- les tirages doivent être indépendants entre eux.
La première propriété semble assez naturelle, et correspond à l’histoire racontée dans un commentaire posté ici (expliquant comment un casino avait été au bord de la faillite car une roulette faisait sortir certains chiffres trop souvent, et j’essayais de comprendre comment utiliser l’information qu’un chiffre sort plus souvent). La seconde est probablement encore plus importante.
- Visualisation de la distribution
La première idée est de visualiser la densité de nos séries de chiffres. Pour éviter les problèmes de bord (et comme c’est juste en introduction) on va utiliser un histogramme, et pas une estimation à noyau.
On obtient pour la première série la courbe rouge, et pour la seconde la courbebleue,
On note qu’a priori, pour la première série, l’hypothèse d’uniformité n’est peut être pas la plus réaliste…
- Test de Kolmogorov-Smirnov
On peut aussi mettre en œuvre un test de Kolmogorov-Smirnov afin de tester si la loi uniforme est adaptée.:
> ks.test(x,"punif") One-sample Kolmogorov-Smirnov test data: x D = 0.1047, p-value = 0.01645 alternative hypothesis: two-sided > ks.test(y,"punif") One-sample Kolmogorov-Smirnov test data: y D = 0.0456, p-value = 0.3581 alternative hypothesis: two-sided
On retrouve ici confirmée l’intuition précédante: la loi uniforme est pertinente pour la seconde série, pas la première.
- Les autocorrélations de la série
Travaillons uniquement sur la seconde série. On peut étudier l’autocorrélation de notre série de nombres, ou peut-être un peu plus malin, sur les quantiles gaussiens associés (les autocorrélations étant intéressantes pour les séries gaussiennes),:
ie. pour la série brute
et pour la série normalisée,
Bref, on pourrait être tenté de valider l’hypothèse d’indépendance entre les tirages.
- Run test (de Wald–Wolfowitz)
L’idée est de comparer une série de chiffres à la médiane, s’ils sont plus grands, on note + (ou A) et sinon – (ou B). On crée alors une série du genre “+++−−++−−++++++−−−” et on compte les séries de + et les séries de -, les runs,
library(lawstat) runs.test(y,plot=TRUE) Runs Test - Two sided data: y Standardized Runs Statistic = -0.2462, p-value = 0.8055
Bref, la légende me semble à prendre avec des pincettes (car fonction de la source considérée), même si l’idée est intéressante (si l’on met de côté les aspects d’aléa moral). Et l’analyse sur la loi de Benford ne semble pas valide: les derniers chiffres sur les grands nombres ne se comportent pas du tout comme les premiers.
Comments