Modèles de prévision, fourre-tout

Dans le dernier cours de modèle de prévision, la semaine passée, nous avions passé un peu de temps sur l’étude des points aberrants et des points influents. Tout est expliqué dans les slides (avec les codes) donc je ne reviendrais pas dessus. Je pourrais juste évoquer quelques lignes de codes utilisées pour voir l’impact d’une observation sur la régression, en enlevant l’observation de la base, et en regardant ce que ça donne sur la prévision

> plot(cars)
> text(cars[c(23,49),1],cars[c(23,49),2]+4,c(23,49))
> abline(lm(dist~speed,data=cars))
> abline(lm(dist~speed,data=cars[-23,]),col="red")
> abline(lm(dist~speed,data=cars[-49,]),col="blue")

On a ensuite vu les problèmes de choix de modèles, et les méthodes de pénalisation (pénalisation du R2, et de la log-vraisemblance). On a ensuite vu les méthodes automatiques de choix de modèle,

> US=read.table("http://freakonometrics.free.fr/US.txt",sep=";")
> reg=lm(Murder~.,data=US)
> regs=step(reg)

Start:  AIC=63.01
Murder ~ Population + Income + Illiteracy + Life.Exp + HS.Grad + 
    Frost + Area

             Df Sum of Sq    RSS    AIC
- Income      1     0.236 128.27 61.105
- HS.Grad     1     0.973 129.01 61.392
<none>                    128.03 63.013
- Area        1     7.514 135.55 63.865
- Illiteracy  1     8.299 136.33 64.154
- Frost       1     9.260 137.29 64.505
- Population  1    25.719 153.75 70.166
- Life.Exp    1   127.175 255.21 95.503

Step:  AIC=61.11
Murder ~ Population + Illiteracy + Life.Exp + HS.Grad + Frost + 
    Area

             Df Sum of Sq    RSS    AIC
- HS.Grad     1     0.763 129.03 59.402
<none>                    128.27 61.105
- Area        1     7.310 135.58 61.877
- Illiteracy  1     8.715 136.98 62.392
- Frost       1     9.345 137.61 62.621
- Population  1    27.142 155.41 68.702
- Life.Exp    1   127.500 255.77 93.613

Step:  AIC=59.4
Murder ~ Population + Illiteracy + Life.Exp + Frost + Area

             Df Sum of Sq    RSS    AIC
<none>                    129.03 59.402
- Illiteracy  1     8.723 137.75 60.672
- Frost       1    11.030 140.06 61.503
- Area        1    15.937 144.97 63.225
- Population  1    26.415 155.45 66.714
- Life.Exp    1   140.391 269.42 94.213

Enfin, on a aussi vu le passage au logarithme sur la variable d’intérêt, avec un modèle log-normal,

> plot(cars$speed,cars$dist)
> regln=lm(log(dist)~speed,data=cars)
> summary(regln)

Call:
lm(formula = log(dist) ~ speed, data = cars)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.46604 -0.20800 -0.01683  0.24080  1.01519 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  1.67612    0.19614   8.546 3.34e-11 ***
speed        0.12077    0.01206  10.015 2.41e-13 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.4463 on 48 degrees of freedom
Multiple R-squared:  0.6763,	Adjusted R-squared:  0.6696 
F-statistic: 100.3 on 1 and 48 DF,  p-value: 2.413e-13

> beta=coefficients(regln)
> for(x in seq(2,30,by=.1)){
+ zhat=beta[1]+beta[2]*x
+ yhat=exp(zhat+1/2*0.4463^2)
+ points(x,exp(zhat),col="red")
+ points(x,yhat,col="blue")
+ }
> abline(lm(dist~speed,data=cars))

Pour comparer les modèles (linéaire versus log-linéaire), on avait suggéré de comparer les résidus des deux modèles,

> U=cars$dist - exp(predict(regln)+1/2*0.4463^2)

> sd(U)
[1] 17.12949
> sd(residuals(lm(dist~speed,data=cars)))
[1] 15.22184

Ce soir, on fini cette première partie du cours, sur les données individuelles.

Somewhere else, part 139

Some writings worth reading

and another one, how far away from the office could I get in 10 minutes? (http://flaviogortana.com/isoscope/  ht @goulu)

(including 10min if you want to walk)

and “John Oliver may have crashed the FCC’s comments system” http://avclub.com/article/…

  • “The Overwhelming Persistence of Neighborhood Poverty” http://citylab.com/politics/2014/05/ … “For all the debate, gentrification is far from the norm”
  • Interesting exercise on conditional probabilities (via @WTFViz, meaning that there is some problem here, for those who, indeed, cannot do the maths)

et un peu de lecture en français

Did I miss something?

Approches Statistiques du Risque

Il semble que l’ouvrage approches statistiques du risque, édité par Jean Jacques Droesbeke, Myriam Maumy-Bertrand, Gilbert Saporta et Christine Thomas-Agnan soit finalement paru, selon Gilbert Saporta. Ou devraient paraître – au pire – dans les jours à venir (je le vois pas encore sur le site de Technip). Les 400 pages reprennent les mini-cours que nous avions fait aux Journées d’Etudes Statistique de 2010, au CIRM, avec Patrice Bertail, Anne-Laure Fougères, Stéphane Loisel, Philippe NaveauEric Parent et Jean-Marc Tallon. Pour ma part, mes slides et mes notes de cours traînent quelque part sur le blog. Je garde un très bon souvenir de cette semaine de mini-cours, qui présentaient l’avantage d’être très complets, avec une introduction aux mesures de risques et aux lien avec la théorie de la décision, à la théorie du risque, aux notions simples d’extrêmes, de lois multivariés, et d’extrêmes multivariés, avec des applications en hydrologie, en santé, et en assurance. Avec bien entendu l’introduction historique de Jean Jacques. Même si les documents ont été écrits voilà déjà presque cinq ans, j’ai survolé mes chapitres il y a quelques semaines, et j’ai l’impression qu’ils restent d’actualité pour tous ceux qui s’intéressent au sujet (et ils sont nombreux me semble-t-il).