Category Archives: Academe

Amsterdam

I will be in Amsterdam for the end of this week. I will be in the jury of the PhD defense of Julien Tomas, entitled “Quantifying Biometric Life Insurance Risks With Non-Parametric Smoothing Methods” (the thesis will probably be online soon). But before, I will give a talk at the actuarial seminar at UvA. My visit last time was a real pleasure, and it should be the same this time too. I will give a talk this Thursday on “R for actuarial science“. The slides can be downloaded from here.

French dataset: population and GPS coordinates

A short post today based on recent work by @3wen (Ewen Gallic, graduate Student in Rennes, spending a year in Montreal). Since we were working on a detailed French dataset (per commune), we needed a dataset containing a list allcommunes, with population and location. GPS coordinates were extracted from Google, using the following php file, inspired by http://www.andrew-kirkpatrick.com/ on Google geocoding api with php webpage. Population was interpolated from INSEE’s datasets, i.e. http://www.insee.fr/ (since data are over a 35 year period, from 1975 to 2010, changes have been taken into account as carefully are possible – e.g. merges and splits of cities – based on thatdescription). A spline model has been used for all cities (with three degrees of freedom, and null and negative interpolation became one, since we’ll be using loglinear models afterwards). Names are from that dataset, still on INSEE’s website, http://www.insee.fr/.

A zipped file can be downloaded here popfr19752010.zip, but it is also possible to use the code below (it is a 24Mo dataset). Since it was hard to find such a dataset online (different files can be found, but we found none with population and location), we have decided to upload that dataset. Please let us know if there are problems with those data…

> base=read.csv(
+ "http://freakonometrics.free.fr/popfr19752010.csv",
+ header=TRUE)

Using that code, it is possible to locate all the communes in France (metropolitan), for instance

> library(maps)
> map("france")
> points(base$long,base$lat,cex=.1,col="red",pch=19)
> points(base$long,base$lat,cex=2*base$pop_2010/
+ max(base$pop_2010),col="blue",pch=19)

Several additional lines of code on that dataset (and also others) will be uploaded, soon.

Cette oeuvre est mise à disposition sous licence Paternité – Partage à l’Identique 3.0 non transposé. Pour voir une copie de cette licence, visitez http://creativecommons.org/. Date : 24 mai 2012, par Ewen GALLIC. Sources : INSEE, API Google Maps v3 et GeoHack (coordonnées GPS), propres calculs (estimation de population à partir des données INSEE).

  • reg : code region INSEE (character)
  • dep : code departement INSEE (character, corse 201 et 202 au lieu de 2A et 2B)
  • com : code commune INSEE (character)
  • article : article du nom de la commune (character)
  • com_nom : nom de la commune (character)
  • long : longitude (numeric)
  • lat : latitude (numeric)
  • pop_i : estimation de la population à la date i (ramenée à 1 si <=0), i=1975,…,2010 (numeric)

PhD defense on copulas

This Wednesday I will be at Université Paris 1 Sorbonne as a member of the jury of the PhD thesis of Pierre-André Maugis, on conditional correlation and vine copula.

Vine copulas were born in 2002 with thepaper of Tim Bedford and Roger M. CookeVines–a new graphical model for dependent random variables. The idea is to use the following decomposition for a multivariate density

(from Bayes formula, with synthetic notations). Then using the relationship between a bivariate density and its copula (density)

thus

Using again Bayes formula,

and we can write

Since  and , the previous expression becomes

or to stress on the most important part (as I see it)

It is common then to assume that this conditional copula does not depend on the conditioning parameter. The more detailed expression of that joint trivariate density is

The (parametric) inference algorithm is defined in Cooke, Joe and Aas (2010) as follows

The important assumption in vine copula models is that conditional copulas are constant. And this assumption might be relevant in some cases. For instance, in the Gaussian case (the observations have a Gaussian joint distribution – or at least copula – and we fit a vine model with Gaussian bivariate copulas).

The code to fit a vine copula is the following,

> library(CDVine)
> library(mnormt)
> SIGMA=matrix(c(1,.6,.7,.6,1,.8,.7,.8,1),3,3)
> X=rmnorm(n=100000,varcov=SIGMA)
> CDVineSeqEst(dat=X, family = c(1,1,1),
+ type = 1, method = "mle")
$par
[1] 0.6001505 0.7023699 0.6698215
 
$par2
[1] 0 0 0

Note that it is consistent with the following algorithm where conditional copulas are fitted. In the following, for all values of the given component, we wit a Gaussian copula for the conditional remaining pair,

> U=pnorm(X)
> U1U2=U[,1:2]
> U1U3=U[,c(1,3)]
> GaussCop = normalCopula(param=.5, dim = 2)
> U1U2=U[,1:2]
> U1U3=U[,c(1,3)]
> fit12.mpl = fitCopula(GaussCop, U1U2, method="mpl")@estimate
> fit13.mpl = fitCopula(GaussCop, U1U3, method="mpl")@estimate
> fit12.mpl
[1] 0.5984932
> fit13.mpl
[1] 0.7005185
> fit23a=fit23b=rep(NA,99)
> for(i in 4:96){
+ x=i/100
+ C12=pcopula(normalCopula(param=fit12.mpl, dim = 2),U1U2)
+ C13=pcopula(normalCopula(param=fit13.mpl, dim = 2),U1U3)
+ U12=rank(C12)/(nrow(U)+1)
+ U13=rank(C13)/(nrow(U)+1)
+ U23=cbind(U12[abs(U[,1]-x)<.02],U13[abs(U[,1]-x)<.02])
+ V23=cbind(rank(U23[,1])/(nrow(U23)+1),
+ rank(U23[,2])/(nrow(U23)+1))
+ fit23.mpl = fitCopula(GaussCop, V23, method="mpl")@estimate
+ fit23a[i]=fit23.mpl
+ }
> plot(X,fit23a,col="red")

It looks like assuming the conditional copula as constant was a valid assumption here

But note that if the true distribution is not Gaussian, then assuming the conditional copula as constant is not valid anymore (here a trivariate Clayton copula was generated)

Copules et processus empiriques

Tarek Zari a soutenu sa thèse au début du mois, présentant une “contribution  à l’étude du processus empirique de copule“, et sa thèse est en ligne ici. Je mets aussi une copie des slides de la soutenance . Historiquement, il semble que Frits Ruymgaart a été le premier a parler de processus empirique de copules, en 1973 (sa thèse est en ligne ici).

Paul Deheuvels avait également introduit la notion en copule empirique dès 1979 sous le nom de “fonction de dépendance empirique“. A la même époque, Ludger Rüschendorf proposait également une étude asymptotique des processus empiriques de copules (ici en 1976), ou encore Gäenssler et Stute dans leur seminar on empirical processes et Winfried Stute dans les années 80 (). Une revue de la littérature sur les processus empiriques multivariés a été publié à cette époque, en ligne . Depuis Jean-David Fermanian a publié un papier ici sur la convergence faible, et Paul Deheuvels ou Ludger Rüschendorf ont publié énormément de choses, en particulier sur la vitesse de convergence…

Copules et processus empiriques

Tarek Zari a soutenu sa thèse au début du mois, présentant une “contribution  à l’étude du processus empirique de copule“, et sa thèse est en ligne ici. Je mets aussi une copie de ses slides . Historiquement, il semble que Frits Ruymgaart a été le premier a parler de processus empirique de copules, en 1973 (sa thèse est en ligne ici).

Paul Deheuvels avait également introduit la notion en copule empirique dès 1979 sous le nom de “fonction de dépendance empirique“. A la même époque, Ludger Rüschendorf proposait également une étude asymptotique des processus empiriques de copules (ici en 1976), ou encore Gäenssler et Stute dans leur seminar on empirical processes et Winfried Stute dans les années 80 (). Une revue de la littérature sur les processus empiriques multivariés a été publié à cette époque, en ligne . Depuis Jean-David Fermanian a publié un papier ici sur la convergence faible, et Paul Deheuvels ou Ludger Rüschendorf ont publié énormément de choses, en particulier sur la vitesse de convergence…

Mais quand va-t-on enfin se décider à fermer les universités en France ?

J’ai été un peu titillé ce matin en voyant la une s’étaler sur la devanture du buraliste en bas de la fac,

Comme le dit Wikipedia, “l’expression grande école désigne en premier lieu les établissements d’enseignement supérieur français recrutant majoritairement sur concours parmi les élèves des classes préparatoires aux grandes écoles. Par extension, le terme est également associé à un petit nombre d’établissements de formation des hauts fonctionnaires français recrutant sur concours parmi les titulaires de la maîtrise ou d’un diplôme considéré comme equivalent. Enfin, de manière plus récente, le terme peut être associé à certains établissements d’enseignement supérieurs recrutant sur dossier ou concours directement, ou indirectement via des classes dites “préparatoires intégrées”, au niveau du baccalauréat et délivrant un diplôme après généralement cinq années d’études postérieures au baccalauréat“. Bref, au vu de cette dernière définition, j’ai du mal à voir clairement le lien entre la notion de “grande école” et celle d’élite, évoqué dans le premier paragraphe de de l’article, ou dans l’édito de la première page,

ÉLITE, subst. fém.

I.− [Avec ou sans déterminant] Ce qu’il y a de meilleur dans un ensemble composé d’êtres ou de choses; produit d’une élection qui, d’un ensemble d’êtres ou de choses, ne retient que les meilleurs sujets. A.− Usuel. [À propos d’êtres hum.] 1. Au sing. Minorité d’individus auxquels s’attache, dans une société donnée, à un moment donné, un prestige dû à des qualités naturelles (race, sang) ou à des qualités acquises (culture, mérites).
2. Au plur. avec art. déf. (néol. début xxe s.). Classe minoritaire composée de gens qui, du fait de leur naissance et de leurs mérites, de leur culture et de leur capacité sont reconnus (ou se reconnaissent) comme les plus aptes soit à occuper les premières places de la société à laquelle ils appartiennent, soit à donner le ton à leur milieu
Moi qui ai enseigné dans de nombreuses grandes écoles, et dans plusieurs universités, je suis un peu agacé par cette ambiance actuelle de dévalorisation de l’université, car pour être honnête, j’ai eu à l’université plusieurs très bons élèves (meilleurs que des bons élèves d’école), et réciproquement, j’ai vu des élèves en école que je n’aurais jamais pensé avoir une licence à l’université… Bref, je trouve dangereux de mentir ainsi aux parents en dénigrant autant l’université (car ces journaux sont plus lus par les parents que par les lycéens qui s’interrogent – éventuellement – sur leur avenir). Ce qui me gêne également, c’est lorsque les décideurs politiques lisent ce genre d’article (voire certains responsable universitaires) et décident d’affecter des moyens colossaux dans des “écoles” (au détriment de l’université, car comme toujours depuis quelques années, le jeu est à somme nulle). Si vraiment l’université était si mauvaise que ça, je me demande ce qu’on attend pour toutes les fermer….
Fort heureusement, les recruteurs sont – pour l’instant – un peu moins bornés que certains…. Espérons que ça dure…

Quand on a les boules…..

Vendredi dernier, le bureau des élèves avait organisé un tournoi de speed-pétanque dans le cloître de la fac de Sciences Eco (comme l’an dernier, ici). Nous avions monté une équipe, qui n’a pas eu la chance de franchir les qualifications*…. Pourtant, pour reprendre l’expression de Nathalie, la pétanque c’est facile, il suffit de minimiser la distance entre la boule ou le cochonnet. Ou plus précisément, on recherche à résoudre un programme de la forme suivante,

Pour cela, il y a deux méthodes principalement,

  • essayer de minimiser , i.e. minimiser la distance entre ma boule et le cochonnet. On appelle ça pointer,
  • essayer de maximiser , i.e. maximiser la distance entre la boule de mon adversaire et le cochonnet. On appelle ça tirer,

Malheureusement, c’est formellement un peu plus compliqué que ça, car en vrai il s’agit d’un jeu successif, où l’équipe la plus loin du cochonnet joue. Et en pratique, ça se complique encore, car entre la pluie, le terrain en pente, le vent, les gens qui fond des bruits autour, c’est pas simple de gagner (qui a dit qu’on était des mauvais perdants ?).

En fait, et c’est là que je voulais en venir, si modéliser une partie de pétanque est complexe – de part l’aspect dynamique – quelqu’un avait suggéré vendredi un jeu un peu plus simple en apparence: pourquoi pas lancer le cochonnet à la fin, une fois toutes les boules placées ? Le dual du jeu de pétanque en quelque sorte… Par exemple, ci-dessous, on a les boules rouges, et on se demande où il faudrait lancer le cochonnet pour gagner,

La réponse est simple (et les organisatrices du tournoi connaissent la réponse puisque je l’ai enseigné l’an dernier en master 1): il s’agit d’un problème de plus proches voisins.

On sait alors numériquement tracer les différentes régions. On peut alors même complexifier le problème, en se demandant où lancer le cochonnet pour gagner de deux points, au moins,

ou de trois points, ou plus,

Bref, l’année prochaine, je demande à ce que l’on change les règles, ça nous laissera une chance de ne pas être ridicules ! Reste à voir si on est capable de lancer le cochonnet dans la région rouge, mais promis, on va s’entraîner….
* comme en témoignent certains documents (ici par exemple) nous n’avons pas forcément été ridicule, mais comme il nous fallait généralement un quart d’heure pour se chauffer à chaque partie, ce n’était pas simple de briller…

Pourboire, des vacances à la rentrée

Oui, les vacances ça a du bon…

Comme on se ballade et comme il fait chaud, on traine davantage dans les bars…. Et à chaque fois ce pose la question du pourboire.

POURBOIRE, subst. masc.

Étymol. et Hist. 1760 (Comptes de la duchesse de Mazarin ds R. rétrospective, t. 16, 1892, p. 410). Subst. de la prop. inf. pour boire (de pour* et de boire1*) att. à partir du xviie s. (1662, Molière, École des femmes, IV, 4, éd. E. Despois, t. 3, p. 239 : voilà pour boire).

Je dois reconnaître que la pratique me surprend… Dans certains pays, on nous explique que les serveurs sont payés au pourboire, et donc on rajoute 10%, 15% ou 20% de l’addition, et ce “salaire” me paraît alors justifié.. mais en France ? Certains auteurs en économie ont tenté de justifier le principe (ici par exemple, ou encore là pour un survey) par un mécanisme incitatif, pour les serveurs, mais sur le fond, je dois avouer que j’ai du mal à comprendre la justification (ou alors si c’était justifié, pourquoi ne pas généraliser alors). Peut-être devrais-je aussi laisser un petit bol sur mon bureau, lorsque je fais cours, pour que les élèves me versent un pourboire (ou un “pourapprendre“) si le cours était bien ? C’est un peu comme Pierre Desproges qui s’interrogeait sur la pratique du “rappel” dans les spectacles.
D’un autre côté, cette pratique du pourboire dans l’enseignement peut se retrouver évoquée par exemple chez Éric Maurin (ici) dans Université, un autre financement est possible, qui mentionnait l’idée suivante “Il s’agirait de faire contribuer, non pas les étudiants à l’orée de leur scolarité universitaire, mais les anciens étudiants, une fois qu’ils sont devenus diplômés du supérieur et qu’ils se trouvent dans une période de leur vie professionnelle où le remboursement progressif de leurs études ne leur pose plus de problèmes financiers”. Envisager d’augmenter le nombre de prêts étudiants peut être dangereux, en particulier si les étudiants ne trouvent pas de travail à l’issu de la formation. En revanche, et c’est ce que j’avais entendu dans une interview d’Éric Maurin, on peut penser à un système où les frais d’inscriptions restent modestes, mais que les anciens soient davantage sollicités (via des donations). Cela permet en plus de motiver le corps enseignant qui se doit de dispenser une bonne formation, et de contourner (plus ou moins) l’effet taille1. Bref, on retrouve l’idée du pourboire…. non ?

1 la critique habituelle étant que les salaires des très grandes écoles sont bien plus élevés que ceux des élèves issus des universités; les très grands écoles forment un tout petit nombre d’étudiants par rapport aux universités. Dans ce dernier cas, les pourboires par tête seraient faibles, mais les universités bénéficient d’un effet de masse (compte tennu du nombre important d’étudiants).

La loi de Goodhart

Pour conclure le cours de M2 sur les mesures de risque, je voulais revenir sur la loi de Goodhart, énoncé par Charles Goodhart, alors qu’il était chief economic advisor à la Banque d’Angleterre, en 1975 (voir ici pour une analyse détaillée de la loi). L’énoncé originelle était de la forme suivante “Once a social or economic indicator or other surrogate measure is made a target for the purpose of conducting social or economic policy, then it will lose the information content that would qualify it to play such a role.

On retrouve cette loi énoncée dans le livre Economics de John Sloman, par exemple sur le contrôle des banques “If bank advances are a good indicator of aggregate demand, the government may choose to control bank lending. But as soon as it does, bank lending will become a poor indicator.” Certaines personnes énoncent la loi sous la forme suivante, “when a measure becomes a target, it ceases to be a measure”. Autrement dit, pour les non-anglophiles, “toute mesure qui devient un objectif cesse d’être une mesure“.

Il va de soi que ce genre de remarque marche pour les mesures de risque et le contrôle, mais aussi pour des problèmes liés à l’évaluation des universités, comme les g ou h factor, ou le classement de Shanghaï.

LRU et dentifrice

Les enseignants-chercheurs, c’est comme le dentifrice, une fois sortis du tube, on ne peut plus les faire rentrer (ou alors c’est compliqué, et pas très propre),

La coordination nationale exige l’abrogation de la LRU et du pacte pour la recherche et l’arret immediat de leur mise en oeuvre. Elle exige l’adoption d’une nouvelle loi…..” (daté de vendredi dernier). Visiblement la stratégie de Tullis Detritus n’était pas la bonne: en refusant de revenir sur les deux points de mécontentement du début des “événements“, i.e. du décret, c’est maintenant l’ensemble de la loi qui est remise en cause !

Nouveau logo du cnrs

Le CNRS vient de se doter d’un nouveau logo… merci au Canard Enchaîné et à PhotoShop pour la fonction “symétrie par rapport à un axe horizontal“. Sinon, au delà du fait qu’aucun géomètre ne semble siéger dans les instances du cnrs, le site de Sauvons la Recherche se livre à une petite analyse sémiologique (ici).

Dynamic flood modeling: combining Hurst and Gumbel’s approach

The paper (with David Sibai) on High Frequency models in hydrology just appeared, in Environmetrics.

When working on river floods—annual river levels maxima—, two approaches are usually considered: one inspired from Emil Gumbel where annual maxima are supposed to be i.i.d. and distributed according to Gumbel’s distribution, and one inspired from Edwin Hurst where annual maxima are strongly dependent, and exhibit long range memory. This paper tries to solve this apparent paradox by deriving a dynamic model inspired from financial models, which does not take into account annual maxima only but also threshold exceedances. It studies the implications of such a paradox in terms of return period—a notion valid as long as the data are i.i.d—and of extremal events.