Your Life in Weeks

This week, I discovered a picture on http://waitbutwhy.com/, which represent a (so-called) typical human life, in weeks,

I found that interesting. But the first problem is that I don’t understand the limit, below: 90 years, that’s not the average life length. That’s not what you should expect to live when you get born. The second problem is that it cannot be as static as it might seem, when you look at the picture. I mean, life expectancy at age 0 is not the same as life expectancy at age 30, or 50. So I did try to make an animated graph, using prospective life tables. Here a code to generate life tables, at different period, for a French population (I distinguish, here male and female)

library(demography)
france.LC1 <- lca(fr.mort,adjust="e0",series="female",years=c(1900,2100))
france.fcast <- forecast(france.LC1,h=100)
L2 <- lifetable(france.fcast)
ex2=L2$ex
L1=lifetable(fr.mort,series="female")
ex1=L1$ex
exF=cbind(ex1,ex2)
france.LC1 <- lca(fr.mort,adjust="e0",series="male",years=c(1900,2100))
france.fcast <- forecast(france.LC1,h=100)
L2 <- lifetable(france.fcast)
ex2=L2$ex
L1=lifetable(fr.mort,series="male")
ex1=L1$ex
exM=cbind(ex1,ex2)
Y=colnames(exF)

Based on those lifetables, we can extract remaining life expectancy, at various ages (say, for instance 50, 51, 52, etc), for someone born on some given year (say 1950). Based on those expected remaining lifetimes, we can plot

picture=function(yearborn=1950,age=50){
k=which(Y==yearborn)
M=diag(exM[,k+0:100])
F=diag(exF[,k+0:100])
par(mfrow=c(1,2))
va=0:(52*100-1)
plot(va%%52,va%/%52,cex=.6,pch=15,col=c("light yellow","light blue","white")[1+
(va>=age*52)*1+(va>(age+M[age+1])*52)*1],ylim=c(100,0),axes=FALSE,xlab="Week",
ylab="Age",main=paste("Man, born on ",yearborn,
", age ",age,sep=""))
axis(1)
axis(2)
plot(va%%52,va%/%52,cex=.6,pch=15,col=c("light yellow","pink","white")[1+
(va>=age*52)*1+(va>(age+F[age+1])*52)*1],ylim=c(100,0),axes=FALSE,xlab="Week",
ylab="Age",main=paste("Woman, born on ",yearborn,
", age ",age,sep=""))
axis(1)
axis(2)}

For instance, if we want the graph above, for someone age 30, born in 1980, we use

picture(1980,30)

Now, if we run a code to get an animated gif, we can get, for someone born in 1950,

and for someone born in 2000

Now, if I could get historical datasets, with the average time spent in schools, ages of retirement, etc, I guess I could add it on the graph. But that’s another story…

Régression linéaire, quelques codes

Un rapide billet pour mettre en ligne les codes utilisés la semaine passée, complétant les codes des transparents. On travaille toujours sur la même base, ou on cherche à prévoir une distance de freinage d’un véhicule, tenant compte de la vitesse du véhicule.

> plot(cars)
> reg=lm(dist~speed,data=cars)
> summary(reg)

Call:
lm(formula = dist ~ speed, data = cars)

Residuals:
    Min      1Q  Median      3Q     Max 
-29.069  -9.525  -2.272   9.215  43.201 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -17.5791     6.7584  -2.601   0.0123 *  
speed         3.9324     0.4155   9.464 1.49e-12 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 15.38 on 48 degrees of freedom
Multiple R-squared:  0.6511,	Adjusted R-squared:  0.6438 
F-statistic: 89.57 on 1 and 48 DF,  p-value: 1.49e-12

Pour faire plusieurs prévisions, à la main, on peut utiliser le code suivant (la boucle permet de faire des prévisions pour plusieurs valeurs)

> for(x in seq(3,30,by=.25)){
+ b0=coef(reg)[1]
+ b1=coef(reg)[2]
+ Yx=b0+b1*x
+ V=vcov(reg)
+ Vx=V[1,1]+2*V[1,2]*x+V[2,2]*x^2
+ IC1=Yx+c(-1,+1)*1.96*sqrt(Vx)
+ s=summary(reg)$sigma
+ IC2=Yx+c(-1,+1)*1.96*s
+ points(x,Yx,pch=19,col="red")
+ points(c(x,x),IC1,pch=3,col="blue")
+ points(c(x,x),IC2,pch=3,col="purple")}

On avait ensuite fait une régression linéaire sur une sous-base, avec 20 observations tirées au hasard

> I=sample(1:50,size=20)
> reg=lm(dist~speed,data=cars[I,])

Le but était de visualiser l’impact du nombre d’observation sur la qualité de la régression

> summary(reg)

Call:
lm(formula = dist ~ speed, data = cars[I, ])

Residuals:
    Min      1Q  Median      3Q     Max 
-23.529  -7.998  -5.394  11.634  39.348 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -20.7408     9.4639  -2.192   0.0418 *  
speed         4.2247     0.6129   6.893 1.91e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 16.62 on 18 degrees of freedom
Multiple R-squared:  0.7252,	Adjusted R-squared:   0.71 
F-statistic: 47.51 on 1 and 18 DF,  p-value: 1.91e-06

> for(x in seq(3,30,by=.25)){
+   b0=coef(reg)[1]
+   b1=coef(reg)[2]
+   Yx=b0+b1*x
+   V=vcov(reg)
+   Vx=V[1,1]+2*V[1,2]*x+V[2,2]*x^2
+   IC=Yx+c(-1,+1)*1.96*sqrt(Vx)
+   points(x,Yx,pch=19,col="purple")
+   points(c(x,x),IC,pch=3,col="green")}

Notons qu’il est possible d’utiliser des fonctions de R pour faire des prévisions, avec des intervalles de confiance

> predict(reg,
+ newdata=data.frame(speed=c(15,25)),interval= "confidence")
       fit      lwr       upr
1 42.62976 34.75450  50.50502
2 84.87677 68.92746 100.82607
> predict(reg,
+ newdata=data.frame(speed=15),interval= "prediction")
       fit      lwr      upr
1 42.62976 6.836077 78.42344

Quand on a plus d’une variable explicative, c’est plus compliqué de “visualiser” la régression

>  chicago=read.table("http://freakonometrics.free.fr/chicago.txt",
+  header=TRUE,sep=";")
>  Y=chicago$Fire
>  X1=chicago$X_1
>  X2=chicago$X_2
>  X3=chicago$X_3
>  base=data.frame(Y,X1,X2,X3)
> plot(X2,X3)
> reg=lm(Y~X2+X3,data=base)
> y=function(x2,x3) predict(reg,newdata=data.frame(X2=x2,X3=x3))
> VX2=seq(0,80)
> VX3=seq(5,25)
> VY=outer(VX2,VX3,y)
> image(VX2,VX3,VY)
> contour(VX2,VX3,VY,add=TRUE)

qui correspond à un plan de régression

> persp(VX2,VX3,VY,theta=30,ticktype=detailed)

On reviendra plus en détails sur ce point, mais il est possible de faire des régressions non linéaires assez facilement, à partir de ce modèle linéaire. On avait commencé par un modèle linéaire sur le logarithme de la distance

> plot(cars$speed,log(cars$dist))
> reg1=lm(log(dist)~speed,data=cars)
> abline(reg1,col="red")

(on le verra, ce n’est pas fini, car on n’a pas ici de prévision sur la distance, juste sur son logarithme… mais promis, on en reparlera) ou sur la racine carrée

> plot(cars$speed,sqrt(cars$dist))
> reg1=lm(sqrt(dist)~speed,data=cars)
> abline(reg1,col="red")

Au lieu de transformer la variable d’intérêt, on peut aussi transformer la variable explicative. On peut pendre des puissances, ou des fonctions simples, mais aussi mettre des ruptures. On avait commencé par une variable indicatrice,

> plot(cars$speed,cars$dist)
> s=10
> abline(v=s,col="green")
> regs=lm(dist~speed+I(speed>s),data=cars)
> summary(regs)

Call:
lm(formula = dist ~ speed + I(speed > s), data = cars)

Residuals:
    Min      1Q  Median      3Q     Max 
-29.472  -9.559  -2.088   7.456  44.412 

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)      -17.2964     6.7709  -2.555   0.0139 *  
speed              4.3140     0.5762   7.487  1.5e-09 ***
I(speed > s)TRUE  -7.5116     7.8511  -0.957   0.3436    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 15.39 on 47 degrees of freedom
Multiple R-squared:  0.6577,	Adjusted R-squared:  0.6432 
F-statistic: 45.16 on 2 and 47 DF,  p-value: 1.141e-11

Mais on peut aussi mettre des fonctions afin d’avoir un modèle linéaire par morceaux, tout en étant continu

> plot(cars)
> s=15
> abline(v=s,col="green")
> positive=function(x) ifelse(x>0,x,0)
> regs=lm(dist~speed+positive(speed-s),data=cars)
> summary(regs)

Call:
lm(formula = dist ~ speed + positive(speed - s), data = cars)

Residuals:
    Min      1Q  Median      3Q     Max 
-29.502  -9.513  -2.413   5.195  45.391 

Coefficients:
                    Estimate Std. Error t value Pr(>|t|)   
(Intercept)          -7.6519    10.6254  -0.720  0.47500   
speed                 3.0186     0.8627   3.499  0.00103 **
positive(speed - s)   1.7562     1.4551   1.207  0.23350   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 15.31 on 47 degrees of freedom
Multiple R-squared:  0.6616,	Adjusted R-squared:  0.6472 
F-statistic: 45.94 on 2 and 47 DF,  p-value: 8.761e-12

On a ici une rupture, mais on pourrait imaginer en avoir plusieurs

> nouvellebase=data.frame(speed=5:25)
> y=predict(regs,newdata=nouvellebase)
> lines(5:25,y,col="red")
> 
> plot(cars$speed,cars$dist)
> s1=10
> s2=20
> abline(v=c(s1,s2),col="green")
> positive=function(x) ifelse(x>0,x,0)
> regs=lm(dist~speed+positive(speed-s1)+positive(speed-s2),data=cars)
> summary(regs)

Call:
lm(formula = dist ~ speed + positive(speed - s1) + positive(speed - s2), data = cars)

Residuals:
    Min      1Q  Median      3Q     Max 
-24.374  -9.475  -2.625   6.639  43.914 

Coefficients:
                     Estimate Std. Error t value Pr(>|t|)  
(Intercept)           -7.6305    16.2941  -0.468   0.6418  
speed                  3.0630     1.8238   1.679   0.0998 .
positive(speed - s1)   0.2087     2.2453   0.093   0.9263  
positive(speed - s2)   4.2812     2.2843   1.874   0.0673 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 15 on 46 degrees of freedom
Multiple R-squared:  0.6821,	Adjusted R-squared:  0.6613 
F-statistic: 32.89 on 3 and 46 DF,  p-value: 1.643e-11

Comme vu en cours, le test de significativité des deux derniers coefficients ne veut pas dire que la pente est nulle, mais qu’elle est significativement différente de cette obtenue sur la zone de gauche (avant les deux seuils).

Somewhere else, part 137

Some writings worth reading

On Monday, you could read about a new study of public universitiesshowing that schools with the highest presidential salaries also had the fastest-growing student debt. That same night, Senator Elizabeth Warren was on the Colbert Report to bring attention to the nation’s student loan debt, which now exceeds $1 trillion. And over the weekend, New York University was the subject of a New York Times investigation detailing inhumane working conditions at its far-flung Abu Dhabi campus, the crown jewel in president John Sexton’s octopus-like plan to grow the university throughout New York City’s Greenwich Village and across the globe. At their core, these stories reflect a fundamental change in higher education: universities act increasingly like big businesses that treat students as customers. This transformation is part of a larger cultural shift that can be traced back to the 1970s and ‘80s, when policymakers began to view higher education more as a private good (benefitting individual students) than as a public good (helping the nation prosper by creating better educated citizens). In previous decades, public universities enjoyed robust support from state and federal government, and tuition at some of the country’s best universities was free or nearly free. But Republican governors like Ronald Reagan argued that states should not subsidize intellectual curiosity, while economists like Milton Friedman advocated against the notion of free education, claiming that students seeking a private advantage should pay for it themselves. Just take the example of the University of California at Berkeley, in Reagan’s home state: in 1960, tuition was free for a California resident; today it costs $12,872 with an additional $14,414 for room and board. But how did policymakers envision that students would pay for that private good? Through student loans, of course. Under the theory that student debt was “good debt,” student lending limits rose during Reagan’s presidency, and a profitable student loan market emerged. This in turn fueled the rise in college tuition, as universities sought to capture the student loan dollar through increasing fees. In fact, since 1978 the cost of college has increased in absolute dollars by 1120%. All the while, universities have worked to convince students that their institutions are the most worthy of skyrocketing fees, perpetuating a cost disease at the root of higher education. Flash back to 1636, when Harvard, the first American college, was founded.Clayton Christensen, a Harvard professor of Business Administration, argues that Harvard established the DNA of American higher education on the basis of constant improvement and expansion—seeking better academic programs, better facilities, better professors, better students. As this DNA replicated over the following centuries in colleges and universities across the country, it created a business model that Christensen describes as “massive in its scope”—one that must provide for research, instruction and a complex set of academic, athletic and leisure facilities, dormitories and dining halls. “That’s a tough game to keep playing,” Christensen says. For a university to compete with its peer institutions, it must engage in the arms race to expand operations, thus increasing its cost base. If, for instance, Stanford builds a new science lab to attract a star professor, Princeton will likely build a lab of equal or better quality to attract another star professor. And if NYU is going to invest in a global campus in Abu Dhabi, then Yale might just have to follow suit by building a campus in Singapore. This competition for prestige has been further entrenched in the university DNA by numerous college rankings. While many parents look to the U.S. News and World Report, which relies on a complex variety of metrics, including research expenditure, admission rates and peer assessment, you can now find rankings in the Princeton Review on just about anything, from best library to best campus food. This desire for constant improvement could in theory be all well and good, so long as the astronomical cost of the enhancements were not getting passed on to students. But given the recent disinvestment in higher education by the states and increase in student loans, young people and their families are left footing the bill. In the process, universities’ attempt to serve their academic mission is being perverted into an effort to attract students as consumers. Step onto a college campus today, and for every new science lab or classroom, you will likely find a new student recreation center, football stadium or luxury dormitory with swimming pools nearby. And, too often, those amenities designed to attract 17 and 18 year olds are being built with money the universities don’t actually have, leading the schools to take on debt themselves. The ranks of well-paid administrators have swelled as well, far outpacing the growth of full-time faculty, who are being replaced by low-paid adjunct professors. As universities succumb to this cost disease, they begin to resemble businesses more than nonprofit schools charged with a public mission. The future of higher learning and, more broadly, our society hangs in the balance. If there’s any inspiration we can glean from the recent headlines, it’s that the laundry list of problems demanding solutions is becoming clearer. But it will be harder for us to effect change if we are unable to understand the broader cultural problem at play in the corporatization of the university. [to be continued…]

In 1930, the economist John Maynard Keynes famously argued that by the time a century had passed, developed societies would be able to replace work with leisure thanks to widespread wealth and surplus. “We shall do more things for ourselves than is usual with the rich to-day,” he wrote, “only too glad to have small duties and tasks and routines.” Eighty years hence, it’s hard to find a moment in the day not filled with a duty or task or routine. If anything, it would seem that work has overtaken leisure almost entirely. We work increasingly hard for increasingly little, only to come home to catch up on the work we can’t manage to work on at work. Take email. A friend recently posed a question on Facebook: “Remember when email was fun?” It’s hard to think back that far. On Prodigy, maybe, or with UNIX mail or elm or pine via telnet. Email was silly then, a trifle. A leisure activity out of Keynes’s macroeconomics tomorrowland. It was full of excess, a thing done because it could be rather than because it had to be. The worst part of email was forwarded jokes, and even those seem charming in retrospect. Even junk mail is endearing when it’s novel. Now, email is a pot constantly boiling over. Like King Sisyphus pushing his boulder, we read, respond, delete, delete, delete, only to find that even more messages have arrived whilst we were pruning. A whole time management industry has erupted around email, urging us to check only once or twice a day, to avoid checking email first thing in the morning, and so forth. Even if such techniques work, the idea that managing the communication for a job now requires its own self-help literature reeks of a foul new anguish. If you’re like many people, you’ve started using your smartphone as an alarm clock. Now it’s the first thing you see and hear in the morning. And touch, before your spouse or your crusty eyes. Then the ritual begins. Overnight, twenty or forty new emails: spam, solicitations, invitations or requests from those whose days pass during your nights, mailing list reminders, bill pay notices. A quick triage, only to be undone while you shower and breakfast. [to be continued…]

A few years ago friends and I were talking about the origins of written music. When the conversation turned to the origins of math symbols, I was surprised to learn that few people knew that almost all maths was written rhetorically before the 16th century, often in metered poetry. Most people think symbols for addition, subtraction or equality had been around long before Euclid wrote his Elements in the first century BCE. No! The original Elements is rhetorical. There are no symbols in Euclid’s works, aside from the letters marking the ends of lines and corners of geometric objects. There are no symbols in any early Arab algebra books. Nor do we find any in early European printed algebra books. Even our wonderful symbol for equality – you know, those two parallel lines – was not used in print before 1575, when the Welsh mathematician and physician Robert Recorde wrote an algebra book that he called the Whetstone of Witte. (We can only guess that the title is a pun on sharpening mathematical wit.) In it he wrote “is equal to” almost two hundred times for the first two hundred pages before finally declaring that he could easily “avoid the tedious repetition” of those three words by designing the symbol “=====” to represent them. [o be continued….]

er un peu de lecture en français

Selon une étude, faire une heure de jogging par jour allonge l’espérance de vie de 2 ans. Sauf que vous en aurez perdu 4 à faire du jogging.

(@LANDEYves)

Did I miss something?

De la difficulté de faire des prévisions (quand on a peu de données)

Depuis plusieurs mois, on observe un engouement (probablement légitime) pour le big data. Si beaucoup peut être fait pour utiliser les volumes énormes de données à la disposition des assureurs, il convient de garder en mémoire que dans beaucoup de cas, les données sont rares et que la technologie ne devrait pas pouvoir changer grand chose. Le manque de données (fiables) crée une variabilité importante.

  • Loi des grands nombres, approximations et statistique asymptotique

Tout comme les assureurs, les statisticiens aiment les gros volumes de données. Pour les assureurs, les gros portefeuilles sont considérés comme moins incertains, et pour les mêmes raisons, les statisticiens disposent, avec des grosses bases de données, d’estimateurs moins volatiles (on parle d’ailleurs du risque associé à un estimateur). Supposons que l’on suive un portefeuille de 1047 assurés, pendant un an, et que 159 ait réclamé un sinistre auprès de la compagnie. La probabilité qu’un assuré ait un sinistre est

Si on admet que l’ont dispose d’assez d’observations, on peut utiliser une approximation Gaussienne du taux de réclamation, et obtenir un intervalle de confiance à 95%, de telle sorte qu’il y a 95 chances sur 100 que le taux de réclamation appartienne à l’intervalle1

On utilise ici l’approximation2 de la loi binomiale (le nombre de personnes qui réclame suit une loi binomiale) par une loi Gaussienne, comme sur la Figure ci-dessous,

Avec cette approximation, on peut valoriser des contrats de réassurance. On peut ainsi approcher les probabilités d’avoir des dérives de la sinistralité dans notre portefeuille. Dans cet exemple, on notera que la probabilité d’avoir un taux de réclamation excédant 20% est de l’ordre de 0.0014%.

  • Prédire des “cygnes noirs”

Supposons qu’un assureur décide de vendre à des collectivités locales des contrats d’assurance en cas de marée noire. Dans un modèle actuariel standard, la prime à payer devrait être , où  est la probabilité qu’une marée noire survienne par kilomètre de côte,  la longueur de la côte de la région assurée, et  le montant de l’indemnité versée. Après 5 ans d’expérience, l’assureur souhaite faire le bilan de son produit. Sauf qu’aucune marée noire n’a été observée. Que peut-il dire sur son tarif ?

Cet exemple (à peine) fictif est a rapprocher d’une question posée dans les années 1950 à l’actuaire L.H. Longley-Cook: est-il possible de prédire (ou d’estimer) la probabilité d’observer, une année donnée, une collision en plein vol, entre deux avions ? Il n’y avait jamais eu de (grave) collision d’avions commerciaux lorsque la question avait été posée. Et sans aucune expérience passée, les statisticiens ne savaient trop quoi répondre. Pourtant, Longley-Cook avait prédit ” anything from 0 to 4 […] collisions over the next ten years“, comme le raconte McGrayne (2012). Deux ans plus tard, 128 personnes perdirent la vie au dessus de Grand Canyon lors d’une telle collision, et quatre an plus tard, ce sont 133 personnes qui périrent au dessus de New York.

  • La réponse Bayésienne

L’idée de Longley-Cook était d’utiliser des techniques bayésienne en actuariat. Comme le notait Liu et al. (1996)Statistical methods with a Bayesian flavor […] have long been used in the insurance industry”. Dans Charpentier (2007), nous avions vu l’apport des techniques de crédibilité et les liens avec la statistique bayésienne. Et comme le raconte McGrayne (2012), Arthur Bailey a joué un rôle essentiel, précisément en proposant des techniques dans le cas d’évènements (très) rares.

[Arthur] Bailey spent his first year in New York [in 1918] trying to prove to himself that ‘all of the fancy actuarial [Bayesian] procedures of the casualty business were mathematically unsound.’ After a year of intense mental struggle, however, he realized to his consternation that actuarial sledgehammering worked. He even preferred it to the elegance of frequentism. He positively liked formulae that described ‘actual data . . . I realized that the hard-shelled underwriters were recognizing certain facts of life neglected by the statistical theorists.’ He wanted to give more weight to a large volume of data than to the frequentists small sample; doing so felt surprisingly ’logical and reasonable.’ He concluded that only a ‘suicidal’ actuary would use Fishers method of maximum likelihood, which assigned a zero probability to nonevents. Since many businesses file no insurance claims at all, Fishers method would produce premiums too low to cover future losses.

Pour rappel, le théorème de Bayes permet d’écrire

Si on suppose disposer d’un échantillon d’observations  de loi , où, classiquement  est vu comme un paramètre inconnu que l’on cherche à estimer. Ici, on va supposer qu’il s’agit d’une variable aléatoire dont on va pouvoir obtenir une distribution (dite à posteriori) compte tenu des observations dont on dispose. On écrit alors

où le premier terme est une loi a priori que l’on se donne sur le paramètre , et le second est la vraisemblance de l’échantillon.

Afin d’illustrer un peu, reprenons notre exemple initial, où on dispose de 5 assurés, et qu’aucun n’ai réclamé de sinistre. Que peut-on dire sur la probabilité qu’un assuré ait un sinistre. Avec les approches classiques, la probabilité estimée serait nulle. Ce qui est gênant pour calculer ensuite une prime convenable. La réponse Bayésienne consiste à suppose que la probabilité de réclamer un sinistre est une variable aléatoire, dont on peut calculer la loi a posteriori, compte tenu du fait que l’on observé – pour l’instant – cinq observations nulle. En utilisant la relation précédente, la densité a posteriori est ici

où le second terme est la probabilité d’avoir cinq fois 0 avec une loi de Bernoulli, ce qui vaut , et où le premier terme est une loi que l’on se donne, a priori pour .

Une loi qui pourrait sembler naturelle serait la loi uniforme, pouvant être perçu comme non informative. Dans ce cas, la densité de , a posteriori, est proportionnelle à . Comme le montre la Figure ci-dessous, on a ici beaucoup de chance que  prenne une valeur proche de 0 (ce qui a du sens, car on n’a jamais observé de réclamation, jusqu’à présent). A priori, il a avait 95 chances sur 100 que la probabilité soit inférieure à 95% (c’est l’idée de la loi uniforme comme loi a priori). Après cinq expériences sans sinistre, a posteriori, il y a 95 chances sur 100 que la probabilité de réclamer soit inférieure à 40%. Si nous avions observé dix fois la valeur nulle, il y aurait, a posteriori, 95 chances sur 100 que la probabilité de ne pas réclamer soit inférieure à 25%.

La Figure ci-dessous montre la déformation de la loi a posteriori, au fur et à mesure de la mise à jour, avec la loi a priori à gauche, puis a posteriori sachant qu’une observation est arrivée (nulle), puis une seconde, puis une troisième, etc.

Sur la figure ci-dessous, il s’agit à nouveau de la déformation de la loi a posteriori, avec une loi a priori différente (en l’occurrence, la loi dite non-informative de Jeffreys)

  • Les outils statistiques pour le small data

De même que le big data pose des problèmes aux techniques statistiques classiques, et permet de découvrir les techniques d’apprentissage, le small data pose des problèmes à laquelle la statistique classique n’apporte aucune réponse. Les actuaires redécouvrent les techniques bayésiennes, mais aussi d’autres outils qui permettent malgré tout d’apporter des réponses quantitatives pertinentes. Pour quantifier l’incertitude lors du calcul des provisions pour sinistres à payer, les actuaires utilisent des techniques de rééchantillonage (bootstrap) depuis une vingtaine d’années (rappelé dans Charpentier, Devineau & Nessi (2010)) pour tenir compte du peu de données dans les triangles de liquidation. Si le big data ouvre des perspectives fascinantes à explorer pour les actuaires (en particulier en souscription), il convient de garder en mémoire que dans beaucoup de cas, les actuaires doivent quantifier des risques avec très peu de données. L’avenir n’est aucunement au big data ! L’avenir est au contraire dans la connaissance de techniques permettant de traiter à la fois des gros volumes de données, mais aussi de faire face à un insuffisance de données.

1 Dans le cas des événements (très) rares, l’approximation par une loi de Poisson sera nettement meilleure, mais ici, la probabilité est de l’ordre de 15%, ce qui est trop élevé.

2 On retrouve ici les intervalles de confiance mentionnés désormais dans les sondages.

Somewhere else, part 136

Some writings worth reading

et un peu de lecture en français

Il y a ceux qui pensent que la rentrée prochaine sera « chaude » et qui ne s’étonneraient pas de voir les blouses blanches descendre dans la rue, comme aux beaux jours du mouvement « Sauvons la recherche », il y a tout juste dix ans. Et ceux qui estiment au contraire que la communauté scientifique est passée du « ras-le-bol » à la « désillusion », que l’heure n’est plus aux tribunes dans les journaux ni même aux manifestations mais à la « désertion », au « courage, fuyons ! »… L’avenir dira ce qu’il en est. Mais une chose est sûre : malgré les paroles réconfortantes­ du tout nouveau ministre de l’Education nationale, de l’Enseignement supérieur et de la Recherche Benoît Hamon, lors du colloque dédié à la Stratégie nationale de la recherche – un exercice de prospective scientifique destiné à définir les 4 ou 5 grands axes autour desquels se concentrera le gros des forces de la recherche française en 2020 –, les chercheurs des laboratoires publics sont quasi unanimes pour dire que leurs conditions de travail se sont encore dégradées au cours des deux dernières années. La situation était pourtant déjà très tendue­ il y a deux ans. En juillet 2012, Geneviève Fioraso – toujours chargée du portefeuille de l’Enseignement supérieur et de la Recherche mais rétrogradée du rang de ministre à celui de secrétaire d’Etat – lançait des Assises nationales censées faire le point sur les problèmes structurels venant gripper (le mot est faible) le système français de recherche publique. Une centaine d’auditions plus tard, un rapport listait 135 pro­positions, dont un certain nombre visant à remédier à la dramatique raréfaction des financements. « On peut sans exagérer parler de pauvreté des organismes et universités », écrivait alors le rapporteur général, Vincent Berger. Ce dernier est entre-temps devenu le conseiller de François Hollande pour l’enseignement supérieur et la recherche mais la situation financière des laboratoires, elle, ne s’est pas améliorée – bien au contraire. Et aucun des déséquilibres et dysfonctionnements régulièrement pointés du doigt par la communauté scientifique n’a été réglé. Tour d’horizon des sujets qui fâchent.” [à suivre…]

Did I miss something?

Allez les Bleus !

In almost three weeks, the (FIFA) World Cup will start, in Brazil. I have to admit that I am not a big fan of soccer, so I will not talk to much about it. Actually, I wanted to talk about colors, and variations on some colors. For instance, there are a lot of blues. In order to visualize standard blues, let us consider the following figure, inspired by the well known chart of R colors,

BLUES=colors()[grep("blue",colors())]
RGBblues=col2rgb(BLUES)
library(grDevices)
HSVblues=rgb2hsv( RGBblues[1,], RGBblues[2,], RGBblues[3,])
HueOrderBlue=order( HSVblues[1,], HSVblues[2,], HSVblues[3,] )
SetTextContrastColor=function(color) ifelse( mean(col2rgb(color)) > 127, "black", "white")
TextContrastColor=unlist( lapply(BLUES, SetTextContrastColor) )
c=11
l=6
plot(0, type="n", ylab="", xlab="",axes=FALSE, ylim=c(0,11), xlim=c(0,6))
for (j in 1:11){
  for (i in 1:6){
  k=(j-1)*6 + i
rect(i-1,j-1,i,j, border=NA, col=BLUES[ HueOrderBlue[k] ])
text(i-.5,j-.5,paste(BLUES[k]), cex=0.75, col=TextContrastColor[ HueOrderBlue[k] ])}}

All the color names that contain “blue” in it are here.

 

Having the choice between several possible colors is interesting, but it can also be interesting to get a palette of blue colors, What we can get is the following

library(RColorBrewer)
blues=colorRampPalette(brewer.pal(9,"Blues"))(100)

In order to illustrate the use of palette colors, consider some data, on soccer players (officially registered). The dataset – lic-2012-v1.csv – can be downloaded from http://data.gouv.fr/fr/dataset/… (I will also use a dataset we have on location of all towns, in France, with latitudes and longitudes)

base1=read.csv(
"http://freakonometrics.free.fr/popfr19752010.csv",
header=TRUE)
base1$cp=base1$dep*1000+base1$com
base2=read.csv("lic-2012-v1.csv", header=TRUE)
base2=base2[base2$fed_2012==111,]
names(base2)[1]="cp"
base2$cp=as.numeric(as.character(base2$cp))

The problem with France (I should probably say one of the many problems) is that regions and departements are not well coded, in the standard functions. To explain where départements are, let us use the dept.rda file, and then, we can get a matching between R names, and standard (administrative) ones,

base21=base2[,c("cp","l_2012","pop_2010")]
base21$dpt=trunc(base21$cp/1000)
library(maps)
load("dept.rda")
base21$nomdpt=dept$dept[match(as.numeric(base21$dpt),dept$CP)]
L=aggregate(base21$l_2012,by=list(Category=base21$nomdpt),FUN=sum)
P=aggregate(base21$pop_2010,by=list(Category=base21$nomdpt),FUN=sum)
base=data.frame(D=P$Category,Y=L$x/P$x,C=trunc(L$x/P$x/.0006))
france=map(database="france")
matche=match.map(france,base$D,exact=TRUE)
map(database="france", fill=TRUE,col=blues[base$C[matche]],resolution=0)

Here are the rates of soccer players (with respect to the total population) It is also possible to look at rate not by département, but by town,

base10=base1[,c("cp","long","lat","pop_2010")]
base20=base2[,c("cp","l_2012")]
base=merge(base10,base20)
Y=base$l_2012/base$pop_2010
QY=as.numeric(cut(Y,c(0,quantile(Y,(1:99)/100),10),labels=1:100))
library(maps)
map("france",xlim=c(-1,1),ylim=c(46,48))
points(base$long,base$lat,cex=.4,pch=19,col=blues[QY])

The darker the dot, the more player, We can also zoom in, to get a better understanding, in the northern part of France, for instance, or in the Southern part,

We can obtain a map which is not (too) far away from the one mentioned a few months ago on http://slate.fr/france/78502/.

Somewhere else, part 135

Some writings worth reading,

Do students have something to teach academics? Student feedback, now a feature of most university courses, can be useful – but more often it’s downright biased, sexist or simply unrealistic. At the university where I teach social science, students are asked to fill in feedback forms eight times a year – the first one after just 10 weeks of classes. Despite the time and effort put into recording students’ experiences and opinions, feedback is rarely useful. Response rates are low, unless it is made compulsory, in which case a second problem arises, namely that students are asked to comment on a course they barely attended. I recently taught a large first-year course that doesn’t count towards students’ final marks. Attendance was habitually awful. It’s hard to take feedback seriously from students who simply weren’t there, especially comments like this: “I found myself discouraged to attend as lectures were quite uninteresting. Powerpoint made it quite dull. They could use Prezi instead.” This student assumes that it’s up to me to tempt her to class by making classes entertaining (this is certainly not my interpretation of my role). While good teaching brings the subject to life, what is interesting is highly subjective. Many of my students enjoy salacious content and would love to have more, but a degree course must be more than a collection of standup routines. Then again, if we constantly ask students to assess classes in terms of how interesting they are, that could be the result. Most feedback boils down to whether students like the class or not, but rarely offers much about why. Students are not well-equipped to assess teaching. Their expectations are out of synch with the skill set of teachers and the university’s slim resources. For example, few of us were employed because we are great public speakers, so it’s hard to respond to comments such as: “The lecturers‘ presentation skills were lacking.” Students’ comments on course content are similarly useless: “Simply a boring topic. No fault of the lecturers.” They are not experts in the field and are not well-placed to assess the relative merits of a course. I teach a course that has gender as its focus. Students often comment that there is “too much feminism”, or that: “It seemed to be highly focused on women’s experiences… not that this is terrible…” The course content reflects academic research and theory on the subject and is not up for discussion. My response to the above feedback was to include more content on feminism, not less. Perhaps one of the most damaging aspects of student feedback is inviting students to comment on their teachers. Of course it’s nice occasionally to read that one is a “brilliant teacher” but this hardly gives much insight. Comments are often confusing, obscure or downright sexist. For example: “Get a new lecturer.” “One of the most biased classes ever. The teacher was certainly well-informed, but had little to no consideration of other people’s opinions.” As a feminist, I am often accused of bias: there is no equivalent for male colleagues who adopt Marxist, critical or cultural perspectives. Students’ ideas about what academics ought to be like often favour older men with beards. Most universities will have at least one older man whom students will venerate as a “legend”. Student feedback is a waste of everyone’s time. It’s disingenuous to ask students constantly to complete feedback forms that will probably do little more than fester on a hard drive until someone needs to cherry-pick the good comments for annual reports or applications for promotion. It’s also completely redundant: universities appoint external examiners who review course content and marking annually, and there are regular peer observations by colleagues. These ensure professional standards are maintained. As to the question of whether students are satisfied, I’d rather they had an education. To the students who fail to fill out the feedback forms: I salute you! I like to imagine you do so knowingly, rather than lazily. Either is a clear indictment of the failure of the system. Maybe without the sop of feedback, students might be tempted to tell us what they actually think, and we might even be able to talk about the point of education. My door is open…

et un peu de lecture en français

  • “Aux U.S., la vie est un actif financier comme les autres” http://lemonde.fr/economie … ht @econoclaste (une ‘découverte’ de produits qui datent)
  • “Les universitaires ont intérêt à contribuer à Wikipédia — qui a intérêt à ce qu’ils contribuent…” http://framablog.org/…
  • RT @coulmont Montre tes Saints ! le jour de la Saint-N il naît 1,35 fois plus de bébés prénommés N qu’habituellement

Did I miss something?

Modèles de Prévision, suite

La seconde partie de transparents pour le cours ACT6420 est en ligne. Il s’agit d’un document qui permettra à tout le monde garder des traces, mais je n’entends pas forcément les suivre… Par exemple, ce soir, je propose de jouer un peu avec les données d’incendies à Chicago

> chicago=read.table("http://freakonometrics.free.fr/chicago.txt",
+ header=TRUE,sep=";")
> Y=chicago$Fire
> X1=chicago$X_1
> X2=chicago$X_2
> X3=chicago$X_3
> base=data.frame(Y,X1,X2,X3)

ou une base sur les états américains (cf un ancien billet)

> US=read.table("http://freakonometrics.free.fr/US.txt", + header=TRUE,sep=";")

Sinon, la semaine passée, on avait évoqué la matrice chapeau (dont on reparlera davantage lorsque l’on évoquera la phase de diagnostique). L’idée était de noter que

https://latex.codecogs.com/gif.latex?%20%20%20%20%20\widehat{\boldsymbol{Y}}%20=%20H%20\boldsymbol{Y}

avec

https://latex.codecogs.com/gif.latex?%20%20%20%20%20H%20=%20\boldsymbol{X}%20\left(\boldsymbol{X}^\top%20\boldsymbol{X}%20\right)^{-1}%20\boldsymbol{X}^\top

On peut visualiser cette matrice avec le code suivant

> X=cbind(1,cars$speed)
> M=X %*% solve( t(X) %*% X) %*% t(X)
> Q=matrix(as.numeric(cut(M,c(-10,quantile(M,(1:5)/6),10),labels=1:6)),50,50)
> plot(1:50,1:50,col="white",axes=FALSE,xlab="",ylab="",ylim=c(50,0))
> library(RColorBrewer) 
> couleur=rev(brewer.pal(6,"RdBu")) 
> for(i in 1:50){for(j in 1:50){ points(i,j,col=couleur[Q[i,j]],pch=15,cex=1)}}
> axis(1)
> axis(2)

avec des cases rouges pour les valeurs importantes (et positive) et des case bleues pour des valeurs importantes (mais négatives)

Πάντες ἄνθρωποι τοῦ εἰδέναι ὀρέγονται φύσει

J’essaye continuellement de me convaincre qu’Aristote avait raison lorsqu’il affirmait que tous les hommes désiraient naturellement savoir. C’est cette motivation qui fait que j’aime toujours enseigner, et partager des choses que j’ai pu apprendre, sur mon blog. Ces dernières semaines, j’ai été amené à plusieurs reprises à repenser mon activité de blogger, après qu’un ami qui suivait la blogosphère depuis plusieurs années me disait qu’il allait se lancer (sur son propre blog) et m’interrogeait sur ma pratique, qu’un autre qui bloguait sous un pseudo allait tenter de bloguer aussi sous son vrai nom, ou après quelques discussions sur Twitter sur une tentative de définition du terme “blogs scientifiques“. Ayant promis de revenir un peu sur ma conception des blogs académiques et scientifiques, j’ai lu tout ce qui me passait sous la main, afin de réfléchir encore un peu sur ma pratique, et sur ma position vis à vis de la vulgarisation. Comme toujours, c’est un peu brouillon, mais c’est le principe de mon blog.

Lorsque j’ai migré mon blog sur la plateforme d’hypotheses.org, j’aimais l’idée d’avoir un carnet de recherche ouvert. Car mon blog n’est rien d’autre que cela. Et mon blog est à l’image de mes cahiers, dans lequel je note des idées que je peux avoir dans le métro en allant chercher ma fille chez sa gardienne, des preuves que je dois faire en cours, des idées de visualisation glanées dans des exposés, ou dans des articles, etc. Il n’a aucune autre prétention. Ou au contraire, ce blog a une prétention incroyable: celui de redonner la possibilité, à tous ceux qui le souhaitent, de s’approprier des outils et des techniques d’ordinaire laissés aux mains des “experts”. Comme disait Gustave Flaubert, dans Bouvard et Pécuchet, “la science est un monopole aux mains des riches. Elle exclut le peuple…“. J’espère que ce blog aidera a réparer cela.

  • Définir le terme “vulgarisation

Comme le notait Marcel Thouin, “selon la définition usuelle, qui est peut-être illusoire, la vulgarisation scientifique consiste à rendre la connaissance scientifique accessible“. Il ne s’agit pourtant pas d’open-access, mais plus précisément, selon  Marcel Thouin (rappelant la définition du dictionnaire) la vulgarisation consiste à “adapter un ensemble de connaissances scientifiques et techniques de manière à les rendre accessibles à un lecteur non spécialiste” (on retrouvera des propos similaire chez Henri Canonge). Mais le terme “lecteur non spécialiste” est vague. Pablo Jensen parle lui du “citoyen” mais sans forcément poser de définition claire des termes (pour sa défense, l’article mentionné est un article de vulgarisation). Patrice Cohen-Seat (cité par Roger Clausse et repris dans la thèse de Baudouin Jurdant) disait que vulgariser, c’est “transposer à l’usage de tous ce qui a été conçu et élaboré dans le langage de quelques uns“. Cela dit, Maurice Mashaal par exemple donne un sens plus large au terme “vulgariser“, en autorisant “tous” à être assez restreint. Selon lui, “les chercheurs ne vulgarisent pas uniquement en direction du grand public. Tout d’abord, ils sont généralement curieux et aiment savoir ce qui se passe dans d’autres spécialités que la leur“. On voit alors une catégorie un peu distincte, entre le “grand public” et les lecteurs spécialistes, éventuellement dans d’autres spécialités que la personne qui transmet le message. Cette classification est retenue très clairement dans le rapport Kunth, qui retient trois formes de communication scientifique:

  • la diffusion de l’information scientifique spécialisée (qui se fait dans les conférences spécialisées, les séminaires, et le publication académique pointues, traditionnelle)
  • la diffusion scientifique interdisciplinaire
  • la vulgarisation scientifique (diffusion de la culture scientifique et technique, s’adressant au grand public ou aux jeunes).

Avec cette classification, je ne classerais pas mon blog dans la catégorie des blogs de vulgarisation. J’aime l’idée de cette catégorie un peu intermédiaire. Cela dit, dans Communicating Science, Professional, Popular, Literary, Nicholas Russell rappelle que Nature et Science sont depuis toujours des revues de vulgarisation. On peut donc vulgariser tout en visant un public qui n’est pas forcément “tout le monde“, et qui autorise l’utilisation d’un jargon technique. Autrement dit, la seconde catégorie serait de la vulgarisation. Il va donc falloir creuser un peu plus pour comprendre si j’ai un blog de vulgarisation, ou pas.

  • Un espace entre la recherche et l’enseignement

J’ai toujours revendiqué le fait d’être à la fois un chercheur et un enseignant, un “savant” et un “pédagogue” pour reprendre les termes de Dider Moreau (justement pour caractériser la vulgarisation). Et mon blog est précisément un espace entre la recherche et l’enseignement. Mais ce n’est ni l’un, ni l’autre. Et quelque part, l’activité de vulgarisation se situe aussi dans cet espace. Pour reprendre un point noté par Baudouin Jurdant, “la relation pédagogique instaurée par la vulgarisation se distingue en outre de celle en jeu dans l’enseignement par le fait qu’elle se développe dans un espace social ouvert, non marqué, abstrait. En bénéficiant de lieux institutionnellement marqués, clos par rapport à l’espace de la chose publique, et concrets, l’enseignement assure une certaine signifiance à l’économie de sa relation pédagogique. La vulgarisation au contraire, est un propos public. Son espace est celui de la société toute entière, abstrait puisqu’il est ouvert à tous et par là, impénétrable“. Daniel Jacobi, Bernard Schiele et Marie-France Cyr parlent d’ailleurs d'”éducation non-formelle” pour définir l’activité de vulgarisation. Mais le blog s’inscrit aussi dans cet dimension, avec un espace ouvert, et un discours plus informel.

Mais il ne s’agit pas non plus de recherche. Comme l’écrivaient Renaud Dulong et Werner Ackermann, “le scientifique et le vulgarisateur ne répondent pas en fait aux mêmes interrogations et le discours de vulgarisation ne peut donc être uniquement (que) le reflet appauvri des concepts élaborés par le scientifique.” Mais mon blog ne cherche pas à simplifier. Il n’y a aucun enrobage, au contraire. Il s’agit d’enlever l’enrobage des articles académiques, en expliquant peut être davantage des pistes qui n’aboutissent pas, des conjectures, en n’essayant pas d’impressionner la galerie. Une autre différence est que le langage utilisé dans un blog est beaucoup plus vulgaire que celui utilisé dans un article scientifique. Cela dit, comme le rappelle Florine Vital-Durant, en 1632, lorsque Galilée publie ses dialogues (dialogo sopra i due massimi sistemi del mondo), il les publie en italien, et pas en latin. L’idée d’écrire de la science dans un langage plus ordinaire, plus quotidien, sans pour autant faire de la vulgarisation ne date pas d’hier !

  • Quelle différence entre un blog académique et la vulgarisation ?

Même si certains me reprochent l’utilisation du terme blog académique, je continue à revendiquer ce terme. Car mon statut d’académique, ou d’enseignant et de chercheur me donne une légitimité que n’a pas un vulgarisateur. D’ailleurs, dans carrière scientifique, morale scientifique et vulgarisation, Luc Boltanski et Pascale Maldidier remettraient presque en cause l’idée de journalistes faisant de la vulgarisation, lorsqu’ils notent que “la vulgarisation, devrait perdre toute légitimité lorsqu’elle est l’activité spécifique d’un groupe totalement extérieur à la cité savante“. Et on retrouve cette idée chez Daniel Jacobi, Bernard Schiele et Marie-France Cyr lorsqu’ils parlent des “usurpateurs“. En fait, Luc Boltanski et Pascale Maldidier vont même plus loin, lorsqu’ils affirment que “le monde des vulgarisateurs ne peut pas être considéré comme un univers autonome possédant un principe de légitimité propre et qu’il ne peut être saisi indépendamment du monde savant défini et dominé par l’institution universitaire. Il s’ensuit que les attitudes des vulgarisateurs et que les représentations qu’ils ont de leur propre pratique sont déterminées par la position marginale qu’ils occupent dans ce champ hiérarchisé et qu’elles se définissent essentiellement par rapport à la définition sociale de la vulgarisation comme activité illégitime qu’engendré, selon les mécanismes précédemment décrits, la communauté scientifique“. Mon blog est un blog de science tenu par un scientifique reconnu par ses pairs, et on retrouve ici la distinction que faisait Tom Roud sur son blog, commentant l’annonce de l’arrivée de blogs scientifiques hébergés par Le Monde.

Bref, je continue de croire que mon blog n’est pas un blog de vulgarisation, et que les blogs académiques, n’en déplaisent à certains, ont une réelle légitimité. Je revendique l’idée d’avoir un carnet de recherche ouvert à tous, comme le souhaitait hypotheses.org. Si un jour je fais un billet sur les modèles causaux, ce ne sera  pas par soucis de vulgariser un sujet pour un lectorat (qui me semble infiniment lointain), mais juste pour moi. Au lieu de noter dans un cahier, je posterais sur mon blog. Avec des illustrations, des codes, des données (bref, des choses qui tiennent mal dans un cahier peut être).

  • Rendre public, ou viser un public ?

Bloguer permet d’être public (et éventuellement, d’avoir un lectorat régulier, ou pas) sans jamais rencontrer son public. Et pour moi qui suis un vieil ours, c’est idéal. Contrairement aux vulgarisateurs qui ont besoin d’un public, mon blog n’en a pas besoin. Lorsque je l’ai lancé, il existait avec 4 lecteurs, et il continuera d’exister même si la moitié ne me lit plus ! Peu importe, ce n’est pas sa finalité. Cela dit, la semaine passée, j’étais en Europe, j’ai fait plusieurs exposés, et plusieurs fois, j’ai entendu le “je suis un fidèle lecteur de votre blog”. Et c’est toujours une réflexion qui me surprend. J’ai toujours l’impression d’être un obscur professeur de statistique, ou d’économétrie, qui emploie tellement de jargon que personne ne devrait suivre (c’est en tous cas assez contradictoire avec certains propos tenus par des journalistes scientifiques, sur la vulgarisation). D’ailleurs, mardi dernier, j’ai vécu une aventure amusante. J’ai été contacté par un étudiant qui cherchait des données pour construire un modèle (en l’occurrence des informations climatiques, par département – en France – et sur plusieurs années). J’ai posé la question sur Twitter. En quelques secondes, le message a été relayé intensivement, et au bout de quelques minutes, j’avais des suggestions de trois sites. Comme me le disait ma femme, ce n’est pas la magie de Twitter, c’est que j’ai un réseau incroyable de followers actifs. Au delà des discours nauséabonds des CM qui expliquent que 6000 followers c’est fabuleux pour se faire connaître et assurer une notoriété en ligne, avoir 6000 followers, c’est surtout génial pour trouver de l’aide sur à peu près n’importe quel sujet. Au risque de paraître schizophrène, ami lecteur, je dois confesser que je ne blogue pas pour toi. Mais je te suis reconnaissant d’avoir accepté de m’intégrer dans une communauté aussi active, disponible et curieuse. Merci.

Somewhere else, part 134

Some writings worth reading

Emma Wisniewski felt exposed. The New York-based actress had moments where she had to open up in a way that made her feel particularly vulnerable. She had to talk on the phone. In front of people — her fellow actors and the audience. “I’ve done several plays now that required talking on landlines, and what always strikes me is the relatively public nature of it,” she says. The desire to communicate privately is one reason people have largely abandoned talking on the phone as a social medium. What was once a major indoor sport, taking up hours of many people’s days, is now not only more limited but may be going the way of mailed letters and express telegrams. “Now, calling on a phone is almost like a violation,” says Scott Campbell, a professor of telecommunications at the University of Michigan. “It’s very greedy for your social presence, and texting is not.” Wisniewski played a 16-year-old girl this spring in a play called Soups, Stews and Casseroles: 1976. As its title suggests, the play is set in America’s bicentennial year, nearly 40 years ago. One detail that made it a period piece was Wisniewski grabbing the phone off the kitchen wall, dragging the long cord into another room. For audience members of a certain age, it was a tableau instantly familiar, yet completely distant. Those of us in our 40s can remember fighting with our siblings to spend hours on those pea green and lemon yellow landline phones. As it happens, the play had its premiere in Webster Groves, a suburb of St. Louis where back in 1944 Life magazine took a series of photos of a teenage girl talking on the phone as part of her “evening ritual.” She keeps a wary eye out for her mother, who can be seen occasionally looking on with disapproval. Hiding from Mom is one reason texting took off in the first place, says Danah Boyd, the author of It’s Complicated: The Social Lives of Networked Teens. Stretching the phone cord down the hall was no longer good enough to get away from hovering “helicopter” parents. “This prompted an entire generation to switch to text-based media, starting with instant messaging,” Boyd says. “Texting is seen as even more private, because it’s harder for Mom to look over your shoulder.” Texting became the norm for teens and young adults, but has been adopted by older folks as well. Boomers are still more apt to pick up the phone in professional contexts, but at work as well as home a ringing phone has come to be seen as an unwanted intrusion. [to be continued…]

et un peu de lecture en français,

Did I miss something?

24 heures (de science)

Cette fin de semaine, ce sont les 24 heures de sciences, au Québec

Il paraît que c’est une fête. Coïncidence ou pas, j’ai fait mes 24 heures de science hier ! Après trois jours assez intense en début de semaine, en Belgique puis à Paris, avec un jury de thèse, un mini cours, un exposé, et plusieurs rendez-vous (pour des partenariats universitaires, avoir accès à des données, monter des formations, etc) je suis finalement rentré hier, jeudi. Compte tenu du prix des hôtels sur Paris, j’essaye autant que possible de squatter chez des collègues lorsque je dois y passer une nuit. Donc mercredi soir, j’étais chez un ami (et collègue), et on a parlé travail jusqu’à tard dans la nuit… A six heures, réveil matinal (enfants obligent) pour rejoindre l’aéroport. Comme le 8 mai est férié, j’avais essayé de prévoir un peu de temps car il y avait moins de transports en commun. Arriver trois heures en avance, c’est pénible, mais d’un autre côté, ça m’a laissé du temps pour avancer la rédaction d’un rapport d’arbitre que j’ai du mal à finir (faute de temps). Dans l’avion, j’ai pu me remettre à des papiers qu’il va falloir finir dans les semaines à venir (maintenant que la session d’hiver est finie, la recherche pourra reprendre !). J’ai pu arriver à l’heure, après presque 7 heures de travail non-stop (juste le temps de manger un plateau repas). A 16 heures (heure locale, soit 22 heures en France), j’arrivais enfin au bureau. Oui, les jeudis soirs, je donne un cours pour la session d’été. Bref, il fallait réviser un peu (relever aussi son courrier, récupérer les reçus pour les remboursements, etc), et j’ai pu donner mon cours, entre 17:30 et 21 heures. Le cours finissait à 21 heures (3 heures du matin, en France), et quand je suis rentré à la maison, les enfants dormaient depuis longtemps. J’ai alors du répondre aux courriels qui s’étaient accumulés depuis le matin, en suivant distraitement le match… et j’ai fini par m’endormir un peu avant 23 heures (5 heures du matin en France). Je n’ai pas pu tenir 24 heures d’affilée… je commence décidément à vieillir. Et je ne sais pas s’il y a des gens que ça amuse de faire de la science pendant 24 heures, mais personnellement, je n’ai qu’une envie, c’est d’aller dormir !

Somewhere else, part 133

Some writings worth reading,

This year the idea that statistics is important for big data has exploded into the popular media. Here are a few examples, starting with the Lazer et. al paper in Science that got the ball rolling on this idea. The parable of Google Flu: traps in big data analysisBig data are we making a big mistake?Google Flu Trends: the limits of big dataEight (No, Nine!) Problems with Big Data. All of these articles warn about issues that statisticians have been thinking about for a very long time: sampling populations, confounders, multiple testing, bias, and overfitting. In the rush to take advantage of the hype around big data, these ideas were ignored or not given sufficient attention. One reason is that when you actually take the time to do an analysis right, with careful attention to all the sources of variation in the data, it is almost a law that you will have to make smaller claims than you could if you just shoved your data in a machine learning algorithm and reported whatever came out the other side. The prime example in the press is Google Flu trends. Google Flu trends was originally developed as a machine learning algorithm for predicting the number of flu cases based on Google Search Terms. While the underlying data management and machine learning algorithms were correct, a misunderstanding about the uncertainties in the data collection and modeling process have led to highly inaccurate estimates over time. A statistician would have thought carefully about the sampling process, identified time series components to the spatial trend, investigated why the search terms were predictive and tried to understand what the likely reason that Google Flu trends was working. As we have seen, lack of expertise in statistics  has led to fundamental errors in both genomic science and economics. In the first case a team of scientists led by Anil Potti created an algorithm for predicting the response to chemotherapy. This solution was widely praised in both the scientific and popular press. Unfortunately the researchers did not correctly account for all the sources of variation in the data set and had misapplied statistical methods and ignored major data integrity problems. The lead author and the editors who handled this paper didn’t have the necessary statistical expertise, which led to major consequences and cancelled clinical trials. Similarly, two economists Reinhart and Rogoff, published a paper claiming that GDP growth was slowed by high governmental debt. Later it was discovered that there was an error in an Excel spreadsheet they used to perform the analysis. But more importantly, the choice of weights they used in their regression model were questioned as being unrealistic and leading to dramatically different conclusions than the authors espoused publicly. The primary failing was a lack of sensitivity analysis to data analytic assumptions that any well-trained applied statisticians would have performed. Statistical thinking has also been conspicuously absent from major public big data efforts so far. Here are some examples: White House Big Data Partners Workshop – 0/19 statisticians, National Academy of Sciences Big Data Worskhop – 2/13 speakers statisticians, Moore Foundation Data Science Environments – 0/3 directors from statistical background, 1/25 speakers at OSTP event about the environments was a statistician, Original group that proposed NIH BD2K – 0/18 participants statisticians, Big Data rollout from the White House – 0/4 thought leaders statisticians, 0/n participants statisticians. [to be continued…]

Despite the rivers of ink that have flowed regarding the recent Heartbleed vulnerability, I believe the developer community has not addressed the right problem. Developers have fixated on a debate about one of open-source’s most touted advantages: With many eyes looking at the code, is open source able to correct bugs faster than closed-source projects? But this discussion misses the central issue, which in my view is not technical, but monetary. The OpenSSL team, whose project was the home for the Heartbleed vulnerability, discussed with remarkable candor how much the lack of funding from the product’s users has limited their development work and, by extension, their ability to find and remediate such defects. It turns out that major users of OpenSSL, such as Cisco and Google, among others, had incorporated the software into the important products, but sent little or no funds to the developers. Faced with this embarrassing revelation, the companies quickly got together, pooled some money, and assembled a committee that agreed to dispense funds to worthy projects, starting with OpenSSL. This is a hurried patch — one that will temporarily relieve the problem, but not address its root cause. The root cause is a fundamental conflict at the heart of open source: the opposing forces of building community vs. deriving a sustainable level of revenue from an open-source project. The tension between these forces is most acutely felt when choosing a license for the project. Projects that have a greater interest in fostering use of the software or projects that don’t care about much about monetization choose the “business-friendly” licenses (such as the Apache Software License, MIT, BSD), which impose nothing but the most minor responsibilities on the user or, more correctly, the licensee. [to be continued…]

On the evening of Jan. 27, Kareem Serageldin walked out of his Times Square apartment with his brother and an old Yale roommate and took off on the four-hour drive to Philipsburg, a small town smack in the middle of Pennsylvania. Despite once earning nearly $7 million a year as an executive at Credit Suisse, Serageldin, who is 41, had always lived fairly modestly. A previous apartment, overlooking Victoria Station in London, struck his friends as a grown-up dorm room; Serageldin lived with bachelor-pad furniture and little of it — his central piece was a night stand overflowing with economics books, prospectuses and earnings reports. In the years since, his apartments served as places where he would log five or six hours of sleep before going back to work, creating and trading complex financial instruments. One friend called him an “investment-banking monk.” Serageldin’s life was about to become more ascetic. Two months earlier, he sat in a Lower Manhattan courtroom adjusting and readjusting his tie as he waited for a judge to deliver his prison sentence. During the worst of the financial crisis, according to prosecutors, Serageldin had approved the concealment of hundreds of millions in losses in Credit Suisse’s mortgage-backed securities portfolio. But on that November morning, the judge seemed almost torn. Serageldin lied about the value of his bank’s securities — that was a crime, of course — but other bankers behaved far worse. Serageldin’s former employer, for one, had revised its past financial statements to account for $2.7 billion that should have been reported. Lehman Brothers, AIG, Citigroup, Countrywide and many others had also admitted that they were in much worse shape than they initially allowed. Merrill Lynch, in particular, announced a loss of nearly $8 billion three weeks after claiming it was $4.5 billion. Serageldin’s conduct was, in the judge’s words, “a small piece of an overall evil climate within the bank and with many other banks.” Nevertheless, after a brief pause, he eased down his gavel and sentenced Serageldin, an Egyptian-born trader who grew up in the barren pinelands of Michigan’s Upper Peninsula, to 30 months in jail. Serageldin would begin serving his time at Moshannon Valley Correctional Center, in Philipsburg, where he would earn the distinction of being the only Wall Street executive sent to jail for his part in the financial crisis. American financial history has generally unfolded as a series of booms followed by busts followed by crackdowns. After the crash of 1929, the Pecora Hearings seized upon public outrage, and the head of the New York Stock Exchange landed in prison. After the savings-and-loan scandals of the 1980s, 1,100 people were prosecuted, including top executives at many of the largest failed banks. In the ’90s and early aughts, when the bursting of the Nasdaq bubble revealed widespread corporate accounting scandals, top executives from WorldCom, Enron, Qwest and Tyco, among others, went to prison. The credit crisis of 2008 dwarfed those busts, and it was only to be expected that a similar round of crackdowns would ensue. In 2009, the Obama administration appointed Lanny Breuer to lead the Justice Department’s criminal division. Breuer quickly focused on professionalizing the operation, introducing the rigor of a prestigious firm like Covington & Burling, where he had spent much of his career. He recruited elite lawyers from corporate firms and the Breu Crew, as they would later be known, were repeatedly urged by Breuer to “take it to the next level.” [to be continued…]

With terabytes of data at hand, every business is trying to figure out the best way to understand information about their customers and themselves. But simply using Excel pivot tables to analyze such quantities of information is absurd, so many companies use the commercially available tool SAS to cull business intelligence. But SAS is no match for the open-source language that pioneering data scientists use in academia, which is simply known as R. The R programming language leans more frequently to the cutting edge of data science, giving businesses the latest data analysis tools. The problem: With loose standards and scores of diverse contributors, it is shaky ground for business. Will that ever change? At least one company thinks R is ready for commercial prime time. Like RedHat is to Linux and Cloudera is to Hadoop, Revolution Analytics is to the R language in the commercial world. Several years ago, David Smith, chief community officer at Revolution Analytics, noticed that a lot of academics and students used R but saw less usage in industry. “At the time, there was no company there to support R, provide expertise around R, or provide any kind of commercial backing for R. So that’s how Revolution Analytics was founded,” says Smith. To call Smith an R enthusiast is an understatement. He is a co-author of the programming manual An Introduction to R that comes with the open source R distribution. And he has a team of like-minded R evangelists working with him, who keep any mention of R in the business world on their radar, while also publishing R-related news on the company’s blog and giving educational workshops to other companies. He is an example of a curious breed of creative entrepreneur that only exists in the tech sector: someone doing great work on a free, open source resource, and in so doing, creating a commercial opportunity for themselves on the flip side. “I always look out for journal articles where R is used. I hear back from customers. And whenever a good visualization is used, there’s a good chance that it was created in R, so I can always trace back to the author. I’m always on social media, so whenever I see a reference to R, I usually shake down to [the team],” Smith says. [to be continued…]

et en français,

Did I miss something?

Computational Actuarial Science

After some delay, the book Computational Actuarial Science with R is now annonced for July 2014. I don’t know if we will be able to get copies for the R in Insurance conference, in London, but I guess everyone is working on it. And kindly, CRC sent me the following flyer, with some reduction code to save 20% (when ordering on CRC’s website).

Big Data, à Paris

Mercredi maitin, après une dernière réunion à Bruxelles, je prends le train pour être à Paris à l’heure du repas du midi pour faire une (rapide) intervention sur le big data, pour le groupe de travail big data de l’Institut des Actuaires. Je crois que l’intervention est prévue à 12:30, chez Optimind, rue de la Boëtie. J’ai essayé de mettre quelques éléments de réflexion dans des transparents, histoire de lancer des débats !

Je passerais la soirée à Paris (après quelques réunions l’après-midi), avant de redécoller jeudi matin.