All posts by Arthur Charpentier

Arthur Charpentier, professor in Montréal, in Actuarial Science. Former professor-assistant at ENSAE Paristech, associate professor at Ecole Polytechnique and assistant professor in Economics at Université de Rennes 1.  Graduated from ENSAE, Master in Mathematical Economics (Paris Dauphine), PhD in Mathematics (KU Leuven), and Fellow of the French Institute of Actuaries.

Somewhere else, part 158

Some writings worth reading, discovered here and there

Continue reading

Somewhere else, part 157

Some writings worth reading, here and there

Continue reading

Selection_207

La formation française, élitiste ?

En discutant avec @tomroud la semaine passée, j’ai découvert l’article Notre élite est toujours excellente, c’est le reste de la classe qui ne suit pas sur le site du Monde. C’est effectivement une idée reçue : si la formation est globalement aussi faible en France, c’est parce que la France serait un pays élitiste, et la formation de ses élites, en revanche, est une réussite. C’est – en gros – ce que raconte cet article. On pourra relire à ce sujet l’échange

Comment expliquer les résultats faibles en mathématiques, malgré la tradition d’excellence de la France dans ce domaine ?

Notre élite est toujours excellente, mais c’est le reste de la classe qui ne suit pas. Nos mauvaises notes à PISA ne nous empêcheront pas d’avoir des médailles Fields, mais elles nous empêchent d’avoir 100 % de citoyens efficaces dans leur travail et capables de se débrouiller dans un monde très mathématiques.

(dans la discussion, avec également, @Lazarrean@rdoume avait signalé un autre article dans Le Monde, la France championne des inégalités scolaires). Pourtant, ce n’est pas tout à fait ce que raconte le graphique, mentionné dans Surprising Test Results For Some Of The World’s Richest Students

où le “Ninth decile” (quantile à 90%) n’est pas si élevé que ça, comparé aux autres pays. Maintenant, pour raconter l’histoire complète, la discussion avec @tomroud est née de la lecture de La crise ne rend pas les riches plus riches et les pauvres plus pauvres, sauf en France,

En effet, @tomroud me disait qu’il avait vu le même genre de conclusion dans la comparaison des études PISA : en France, les bons sont meilleurs avec le temps, même si la moyenne, tout comme les niveaux des déciles les plus faibles, baisse. Dans une vision élitiste de l’éducation, ça ne serait pas gênant.

N’ayant rien trouvé me permettant de mieux comprendre , j’ai voulu aller regarder un peu plus en détails ce que disent vraiment les enquêtes PISA. Car elles sont disponibles en ligne (20122009200620032000). Bon, pour les lire plus rapidement, je vais les récupérer sur d’autres sites, pour avoir d’autres formats, plus simples à lire, en R,

> load(url("https://github.com/pbiecek/PISA2000lite/blob/master/data/math2000.rda"))
> load(url("http://beta.icm.edu.pl/PISAcontest/data/student2012.rda"))

Commençons par regarder un peu la distribution des notes, en mathématiques (je vais me restreindre aux tests de maths, qui sont souvent utilises pour dire que la France est effectivement un pays libelliste : les maths ont longtemps servi de critère, me semble-t-il).

> py="France"
> xf=sb[(sb$CNT==py)&(sb$ST04Q01=="Female")==TRUE,"PV1MATH"]
> xm=sb[(sb$CNT==py)&(sb$ST04Q01=="Male")==TRUE,"PV1MATH"]

Sur le graphique ci-dessous, on a la distribution des notes des filles (en haut à gauche) et des garçons (en bas à gauche). A droite, on a la fonction de survie : à une note donnée, on a en ordonnées la proportions d’élèves qui dépassent cette note. Par exemple 18,72% des garçons dépassent 600, et 12,42% des filles

> mean(xf>600)
[1] 0.1242105
> mean(xm>600)
[1] 0.1872207

Enfin, en bas à gauche, j’ai rajouté la fonction de moyenne en excédant (ou pour être plus précis, la Tail-Value-at-Risk), qui est la note moyenne que l’on peut espérer avoir si dans un certain décile. Par exemple, si on s’intéresse aux élèves dans le décile supérieur (dépassant le quantile à 90%), la note moyenne des garçons est 672 et celle des filles 649,

> mean(xm[xm>quantile(xm,.9)])
[1] 672.7608
> mean(xf[xf>quantile(xf,.9)])
[1] 649.281

Cette mesure est assez classique en tant que downside risk measure et permet de focaliser justement sur les queues de distribution (ce qui nous intéresse ici car on veut étudier les élites).

Si on zoom dans la partie à droite (les meilleures notes), on obtient

Mais il est difficile de faire des comparaisons avec d’autres pays sur ces graphiques. Par exemple, pour l’Australie, on obtient

 

Pour comparer les pays entre eux, on peut regarder la différence entre la note moyenne, et le niveau du quantile à 99% (on va chercher la vraie élite, les 1% des meilleurs… car c’est manifestement ce qui été évoque dans l’article, et qui intéresse du monde sur les inégalités de richesse)

L’élite en France est pas incroyablement meilleure que le cœur de la distribution, on en conviendra !

Si on compare un pays avec la France, on peut regarder la différence entre le quantile de niveau u (e.g. 50%, ou 90% ou 99%) entre ce pays et la France. En niveau absolu, ou en pourcentage.

> qpays("France",c(.5,.99))
      Female     Male
50% 496.8141 507.5635
99% 691.0734 717.2885

Sur les graphique ci-dessous, on a le différence absolue à gauche et relative à droite, avec l’Allemagne en haut, et l’Australie en bas,

On peut aussi regarder la Thaïlande et le Mexique (on est toujours en 2012)

Regardons un peu la Thaïlande par exemple. Les élèves (scolarises) médians sont 50 points en dessous des élèves Français. Mais pour le top 1%, les notes sont comparables… Donc manifestement, la formation des élites semble fonctionner dans d’autres pays que la France. En Australie, les inégalités scolaires semble encore plus fortes : les élèves médians sont globalement moins bon en Australie qu’en France (disons 15 points en dessous), mais l’élite est au dessus (de presque 50 points quand on regarde le top 1%).

Cela dit, comme j’avais dit qu’il pouvait aussi être intéressant de regarder les fonctions de moyennes en excédant (plus que les quantiles), on peut comparer ces fonctions,

Ici, les graphiques sont présentés en variation relative : au Mexique, la note moyenne d’une fille dans le top 20% (au dessus du quantile à 80%) est 17.5% plus faible qu’en France. On retrouve ici qu’en Australie par exemple, l’élite a – en moyenne – de meilleures notes qu’en France. Et en Thaïlande, plus on regarde les meilleurs élèves, plus les résultats sont comparables avec ceux des élèves français.

Qu’en est-il maintenant de l’évolution dans le temps ? Si on compare dans le temps, entre 2000 et 2012.

> sb2012=student2012[,c("PV1MATH","CNT","ST04Q01")]
> sb2000=math2000[,c("PV1MATH","CNT","ST03Q01")]
> sb2000=sb2000[!is.na(sb2000$PV1MATH),]
> sb2000$cnt=tolower(sb2000$CNT)
> sb2012$cnt=tolower(sb2012$CNT)
> ext2000=function(py){
+ x=sb2000[sb2000$cnt==py,"PV1MATH"]
+ v=c(mean(x),quantile(x,c(.1,.9)))
+ return(v)
+ }
> ext2012=function(py){
+ x=sb2012[sb2012$cnt==py,"PV1MATH"]
+ v=c(mean(x),quantile(x,c(.1,.9)))
+ return(v)
+ }
> listepays2000=unique(sb2000$cnt)
> listepays2012=unique(sb2012$cnt)
> R2000=sapply(listepays2000,ext2000)
> R2012=sapply(listepays2012,ext2012)
> D2000=data.frame(pays=listepays2000,
+ m2000=R2000[1,],
+ q12000=R2000[2,],
+ q92000=R2000[3,])
> D2012=data.frame(pays=listepays2012,
+ m2012=R2012[1,],
+ q12012=R2012[2,],
+ q92012=R2012[3,])
> D=merge(D2000,D2012)

Si on fait un dessin proche de celui sur les revenus (avec les évolutions des moyennes en bâtons, des 10% les plus bas en rond, et des 10% les plus hauts en rond), on obtient

Si effectivement le niveau moyen des étudiants baisse en France (comme dans plusieurs autres pays), on notera que l’idée que l’élite française s’en sort bien est un cliche sans réel fondement.

Somewhere else, part 156

Some writings worth reading, found here and there

After more than a year of unsuccessful searching, authorities called in an elite group of statisticians. Working on their recommendations, the next search found the wreckage just a week later.

Continue reading

Selection_172

Computational Actuarial Science, with R

The book Computational Actuarial Science, with R is officially out. In the introduction of the book, and on the website of CRC, it is mentioned that the datasets can be found “in an R package on CRAN“, which is unfortunately incorrect. Some datasets are too large, so the package can not be uploaded on CRAN. Hopefully, Christophe host the package on his website.

> install.packages("CASdatasets", repos = "http://dutangc.free.fr/pub/RRepos/")

or

> install.packages("CASdatasets", repos = "http://dutangc.free.fr/pub/RRepos/", 
type = "source")

Here are the files :

Insurance datasets

A collection of datasets, originally for the book ‘Computational Actuarial Science with R’ edited by Arthur Charpentier (CAS with R). Now, the package contains a large variety of actuarial datasets.

Version: 0.9-8
Published: 2014-05-21
Author: Christophe Dutang
Maintainer: Christophe Dutang <christophe.dutang at ensimag.fr>
License: GPL-2 | GPL-3 [expanded from: GPL (≥ 2)]
NeedsCompilation: no

Downloads:

Reference manual: CASdatasets.pdf
Package source: CASdatasets_0.9-8.tar.gz
Package installation: go to this page
Windows binaries: r-release: CASdatasets_0.9-8.zip
OS X Snow Leopard binaries: r-release: CASdatasets_0.9-8.tgz
OS X Mavericks binaries: r-release: CASdatasets_0.9-8.tgz
Old sources: CASdatasets archive
Selection_048

Time for a Break

I am off. Officially off. I will be in the South of France for a week, and then in North Brittany for another week. I mean, I will spend time to work since one more time, I will take a break… with a co-author… but family style. Having fun with the kids during the day, discussing work (joint papers as well as courses) late in the evening.

But I will be offline !

Selection_169

Somewhere else, part 155

Some writings worth reading, discovered here, and there

Continue reading

Selection_148

iTunes’ Terms & Conditions

In a recent post (in French) I did plot the evolution of the number of pages of some legal document, published (and updated) over a century

 I had the feeling that the same pattern should be observed on Terms and Conditions documents, that seem to be longer and longer. In Small print that’s longer than George Orwell’s Animal Farm! HSBC gets wooden spoon for endless terms and conditions, it was mentioned that HSBC’s terms and conditions for a current account “came in at a heavyweight 34,162 words – almost 5,000 words longer than George Orwell’s classic Animal Farm“.

In order to get the evolution of the length of such documents, I’ve been using https://web.archive.org/web/ on iTunes’s Terms and Contents’ page(s). Copies can be found from January 2009 till now. But changes seem to be annual, only. Here is the evolution of word counts in those documents.

In order to compare with something else, I’ve been using stats from Shakespeare’s work. As mentioned in http://pensourceshakespeare.org, there are 884,421 total words in Shakespeare’s 43 works (i.e. on average 20567.93 per work).

Terms and Contents’ documents are as big as a play (or a book in the case of HSBC’s document). But the evolution is not exponential. If anyone has more studies on similar topics, I’d be glad to hear about it.

Selection_101

Somewhere else, part 154

Some writings worth reading, discovered here and there,

If someone asks, “How are you?,” I sigh, shrug, and say, “Busy, like everyone else.” If pressed, I will admit that I spent some time with my family—the way a Mormon might confess to having tried a beer, once. For more than 20 years, I have worn what Ian Bogost has called “the turtlenecked hairshirt.” I can’t help it; self-abnegation is the deepest reflex of my profession, and it’s getting stronger all the time…

Surely, the Catholic tradition of monastics and mendicants lies behind this tendency that I share with my profession, but there are other traditions at work here. As H. L. Mencken said, Puritanism is “the haunting fear that someone, somewhere, may be happy.” Happiness is worldliness, and idleness is sin: Work is an end in itself, as Max Weber observed in The Protestant Ethic and the Spirit of Capitalism. Likewise, there’s an old, unspoken commandment, “A professor shall not be seen mowing the lawn on weekdays.”

Continue reading

Selection_115

Social Media Mining and Bioinformatics (with R)

In June and July, I receive copies of two books,

For the first one, two recent interesting books deal with the same topic. Reza Zafarani, Mohammad Ali Abbasi and Huan Liu published last year Social Media Mining: An Introduction. Actually, the book can be downloaded from dmml.asu.edu. And – of course – there is Matthew A. Russell‘s Mining the Social Web. The main interest of this new book seems to be that it should be just perfect for R users !

Continue reading

Selection_103

Merchants of doubt, et le fonctionnement de la science

Il y a quelques jours, La Presse  mettait en ligne un texte intéressant, La BBC déclare la guerre à la « fausse science »

Les changements climatiques n’existent pas, les campagnes de vaccination sont dangereuses et votre téléphone cellulaire est en train de vous tuer à petit feu.

Il fut un temps où il était possible d’entendre ce genre d’opinions à la BBC. Des opinions scientifiques marginales, mais soutenues avec vigueur par certains chercheurs, et que le diffuseur britannique rapportait par souci « d’impartialité ». Mais cette ère est révolue.

Dans un document publié en juillet, la BBC prend une position très ferme sur la fausse science, qu’elle veut désormais évacuer de ses reportages.

« L’impartialité dans la couverture scientifique ne consiste pas simplement à faire état d’un large spectre de points de vue », écrit la BBC, qui croit qu’une application « trop rigide » des principes d’impartialité peut conduire à un « faux équilibre » dans les reportages.

La réflexion de la BBC a été suscitée par sa propre couverture des changements climatiques, qui a longtemps donné la parole aux climatosceptiques. Or, ceux-ci risquent maintenant d’avoir plus de difficulté à s’y voir offrir un micro.

Cet article m’a fait penser à un livre passionnant que j’avais lu l’automne dernier, Merchants of Doubt. Dans mon dernier compte rendu de lecture (ça faisait longtemps) je parlais de Big Data, a revolution that will transform how we live, work and think signé Viktor Meyer-Schönberger et Kenneth Cukier, et de The signal and the noise: Why Most Predictions Fail – but Some Don’t écrit par Nate Silver. Dans ce livre, on voyait comment on était passé d’une recherche de lien causal à une simple recherche de corrélation, dans des gros volumes de données. En fait, je ferais un parallèle avec le livre Merchants of Doubt, car comme l’expliquent Naomi Oreskes et Erik Conway, c’est précisément ce que combattent ce qu’ils appellent les marchants de doutes : tant qu’une relation causale n’est pas établie, le scientifique se devrait de douter (quelques pages – le premier chapitre – sont d’ailleurs en ligne). C’est cette idée que réfute  La BBC déclare la guerre à la « fausse science », et c’est l’histoire de ce principe (et des dérives qui ont suivi) que raconte ce livre.

Continue reading

Selection_082

L’échelle logarithmique expliquée aux juristes (et aux travailleurs)

Comme le rappelle https://sciencenews.org/blog/, il y a 400 ans, John Napier (que les français ont décidé d’appeler Neper) a ‘inventé’ le logarithme. Il publia son travail dans Mirifici logarithmorum canonis descriptio, et pour lui rendre hommage, le logarithme que l’on utilise le plus souvent est le logarithme népérien (qui est l’inverse de la fonction exponentielle).

Comme souvent, quand je parle de maths sur mon blog, on me reproche de ne m’adresser qu’à une élite (le commun des mortels dira des nerds) en employant un jargon incompréhensible. Pourtant, les logarithme sont présents partout !

Continue reading

Selection_068

Somewhere else, part 153

Some writings worth reading, found here and there,

Continue reading