Somewhere else, part 84

Some writings worth reading

F.P. Ramsey has some claim to be the greatest philosopher of the twentieth century. In Cambridge in the 1920s, he single handedly forged a range of ideas that have since come to define the philosophical landscape. Contemporary debates about truth, meaning, knowledge, logic and the structure of scientific theories all take off from positions first defined by Ramsey. Equally importantly, he figured out the principles governing subjective probability, and so opened the way to decision theory, game theory and much work in the foundations of economics. His fertile mind could not help bubbling over into other subjects. An incidental theorem he proved in a logic paper initiated the branch of mathematics known as Ramsey theory, while two articles in the Economic Journal pioneered the mathematical analysis of taxation and saving. [to be continued…]

Students who acquire large debts putting themselves through school are unlikely to think about changing society, Chomsky suggested. “When you trap people in a system of debt . they can’t afford the time to think.” Tuition fee increases are a “disciplinary technique,” and, by the time students graduate, they are not only loaded with debt, but have also internalized the “disciplinarian culture.” This makes them efficient components of the consumer economy.

et un tout petit peu de lecture en français ces dernieres jours

Comme la radio est devenue, pour des raisons pratiques, le média privilégié de la circulation automobile, les journaux papier sont de plus en plus des objets de consommation ponctuelle, dans des situations de déconnexion, particulièrement les transports en commun. Alors que les kiosques à journaux périclitent, les gares ou les aéroports comptent parmi les derniers endroits où le commerce de l’information reste vivace. Pourtant, l’autre jour, en rentrant de voyage, je suis ressorti les mains vides de la librairie, malgré la perspective d’un long trajet en RER. Ce n’est pas la première fois que la ribambelle des Unes échoue à éveiller mon désir. Si cette offre ne me tente pas, c’est parce que mes propres outils de sélection des sources m’éloignent des récits médiatiques les plus courants, qui perdent de leur pertinence à mes yeux. J’ai donc passé mon trajet à lire et à commenter mes flux Facebook et Twitter. Une activité moins confortable que la lecture d’un magazine, compte tenu de l’étroitesse de l’écran de mon smartphone et d’une connexion 3G parfois fluctuante, mais néanmoins plus satisfaisante que la consommation d’un support d’information non interactif. La raison de cette désaffection n’est pas évidente pour tout le monde. Selon Bernard Guetta, prix Albert-Londres et éditorialiste vedette à France-Inter, «la crise de la presse occidentale est avant tout celle des grands courants de pensée européens et américains (…), la conséquence de la panne d’idées occidentale». Si l’expert en géopolitique lisait un peu moins ses organes favoris, et un peu plus internet, il serait étonné de la diversité et de la richesse de pensée qui s’y exprime, très loin de la “panne d’idées”. On pourrait plus opportunément pointer la frilosité et le conformisme du filtre médiatique, que ses contraintes économiques poussent vers un lectorat de plus en plus âgé et nanti. Construits par le jeu des affinités et par tests d’essai/erreur, les bouquets informationnels des réseaux sociaux proposent par définition un ciblage plus fin et plus adapté que n’importe quel média de masse. Mais ce n’est pas la seule raison qui les impose comme l’alternative définitive à la consommation de la presse. [a suivre…]

Did I miss something?

GLM, non-linearity and heteroscedasticity

Last week in the non-life insurance course, we’ve seen the theory of the Generalized Linear Models, emphasizing the two important components

  • the link function (which is actually the key component in predictive modeling)
  • the distribution, or the variance function

Just to illustrate, consider my favorite dataset

­lin.mod = lm(dist~speed,data=cars)

A linear model means here Y_i=\beta_0+\beta_1X_i+\varepsilon_i

where the residuals are assumed to be centered, independent, and with identical variance. If we visualize that linear regression, we usually see something like that

The idea here (in GLMs) is to assume Y\vertX=x\sim\mathcal{N}(\beta_0+\beta_1x,\sigma^2)

which will produce the same model as the one describe previously, based on some error term. That model can be visualized below,

attach(cars)
n=2
X= cars$speed 
Y=cars$dist
df=data.frame(X,Y)
vX=seq(min(X)-2,max(X)+2,length=n)
vY=seq(min(Y)-15,max(Y)+15,length=n)
mat=persp(vX,vY,matrix(0,n,n),zlim=c(0,.1),theta=-30,ticktype ="detailed", box = FALSE)
reggig=glm(Y~X,data=df,family=gaussian(link="identity"))
x=seq(min(X),max(X),length=501)
C=trans3d(x,predict(reggig,newdata=data.frame(X=x),type="response"),rep(0,length(x)),mat)
lines(C,lwd=2)
sdgig=sqrt(summary(reggig)$dispersion)
x=seq(min(X),max(X),length=501)
y1=qnorm(.95,predict(reggig,newdata=data.frame(X=x),type="response"), sdgig)
C=trans3d(x,y1,rep(0,length(x)),mat)
lines(C,lty=2)
y2=qnorm(.05,predict(reggig,newdata=data.frame(X=x),type="response"), sdgig)
C=trans3d(x,y2,rep(0,length(x)),mat)
lines(C,lty=2)
C=trans3d(c(x,rev(x)),c(y1,rev(y2)),rep(0,2*length(x)),mat)
polygon(C,border=NA,col="yellow")
C=trans3d(X,Y,rep(0,length(X)),mat)
points(C,pch=19,col="red")
n=8
vX=seq(min(X),max(X),length=n)
mgig=predict(reggig,newdata=data.frame(X=vX))
sdgig=sqrt(summary(reggig)$dispersion)
for(j in n:1){
stp=251
x=rep(vX[j],stp)
y=seq(min(min(Y)-15,qnorm(.05,predict(reggig,newdata=data.frame(X=vX[j]),type="response"), sdgig)),max(Y)+15,length=stp)
z0=rep(0,stp)
z=dnorm(y, mgig[j], sdgig)
C=trans3d(c(x,x),c(y,rev(y)),c(z,z0),mat)
polygon(C,border=NA,col="light blue",density=40)
C=trans3d(x,y,z0,mat)
lines(C,lty=2)
C=trans3d(x,y,z,mat)
lines(C,col="blue")}

We do have two parts here: the linear increase of the average, \mathbb{E}(Y\vert X=x)=\beta_0+\beta_1x and the constant variance of the normal distribution \text{Var}(Y\vert X=x)=\sigma^2.

On the other hand, if we assume a Poisson regression,

poisson.reg = glm(dist~speed,data=cars,family=poisson(link="log"))

we have something like

This time, two things have changed simultaneously: our model is no longer linear, it is an exponential one \mathbb{E}(Y\vert X=x)=e^{\beta_0+\beta_1x}, and the variance is also increasing with the explanatory variable \text{Var}(Y\vert X=x)=e^{\beta_0+\beta_1x}, since with a Poisson regression,
Y\vert X=x\sim\mathcal{P}(e^{\beta_0+\beta_1x})

If we adapt the previous code, we get

The problem is that we changed two things when we introduced the Poisson regression from the linear model. So let us look at what happens when we change the two components independently. First, we can change the link function, with a Gaussian model but this time a multiplicative model (with a logarithm link function)

gaussian.reg = glm(dist~speed,data=cars,family=gaussian(link="log"))

which is still, here, an homoscedasctic model, but this time non-linear. Or we can change the link function in the Poisson regression, to get a linear model, but heteroscedastic

poisson.lin = glm(dist~speed,data=cars,family=poisson(link="identity"))

So this is basically what GLMs are about….

Modélisation des coûts individuels

Cette semaine, même si le réseau de l’UQAM est down, on va continuer le cours et finir la section sur la modélisation de la surdispersion pour la fréquence de sinistres. On devrait ensuite commencer la modélisation des coûts individuels. En particulier, on passera du temps autour de deux points,

  • la distinction lognormale et gamma
  • l’écrêtement des gros sinistres

Les transparents sont en ligne. Et la base des coûts est celle évoquée au second cours.