Category Archives: Students

French dataset: population and GPS coordinates

A short post today based on recent work by @3wen (Ewen Gallic, graduate Student in Rennes, spending a year in Montreal). Since we were working on a detailed French dataset (per commune), we needed a dataset containing a list allcommunes, with population and location. GPS coordinates were extracted from Google, using the following php file, inspired by http://www.andrew-kirkpatrick.com/ on Google geocoding api with php webpage. Population was interpolated from INSEE’s datasets, i.e. http://www.insee.fr/ (since data are over a 35 year period, from 1975 to 2010, changes have been taken into account as carefully are possible – e.g. merges and splits of cities – based on thatdescription). A spline model has been used for all cities (with three degrees of freedom, and null and negative interpolation became one, since we’ll be using loglinear models afterwards). Names are from that dataset, still on INSEE’s website, http://www.insee.fr/.

A zipped file can be downloaded here popfr19752010.zip, but it is also possible to use the code below (it is a 24Mo dataset). Since it was hard to find such a dataset online (different files can be found, but we found none with population and location), we have decided to upload that dataset. Please let us know if there are problems with those data…

> base=read.csv(
+ "http://freakonometrics.free.fr/popfr19752010.csv",
+ header=TRUE)

Using that code, it is possible to locate all the communes in France (metropolitan), for instance

> library(maps)
> map("france")
> points(base$long,base$lat,cex=.1,col="red",pch=19)
> points(base$long,base$lat,cex=2*base$pop_2010/
+ max(base$pop_2010),col="blue",pch=19)

Several additional lines of code on that dataset (and also others) will be uploaded, soon.

Cette oeuvre est mise à disposition sous licence Paternité – Partage à l’Identique 3.0 non transposé. Pour voir une copie de cette licence, visitez http://creativecommons.org/. Date : 24 mai 2012, par Ewen GALLIC. Sources : INSEE, API Google Maps v3 et GeoHack (coordonnées GPS), propres calculs (estimation de population à partir des données INSEE).

  • reg : code region INSEE (character)
  • dep : code departement INSEE (character, corse 201 et 202 au lieu de 2A et 2B)
  • com : code commune INSEE (character)
  • article : article du nom de la commune (character)
  • com_nom : nom de la commune (character)
  • long : longitude (numeric)
  • lat : latitude (numeric)
  • pop_i : estimation de la population à la date i (ramenée à 1 si <=0), i=1975,…,2010 (numeric)

Copules et processus empiriques

Tarek Zari a soutenu sa thèse au début du mois, présentant une “contribution  à l’étude du processus empirique de copule“, et sa thèse est en ligne ici. Je mets aussi une copie des slides de la soutenance . Historiquement, il semble que Frits Ruymgaart a été le premier a parler de processus empirique de copules, en 1973 (sa thèse est en ligne ici).

Paul Deheuvels avait également introduit la notion en copule empirique dès 1979 sous le nom de “fonction de dépendance empirique“. A la même époque, Ludger Rüschendorf proposait également une étude asymptotique des processus empiriques de copules (ici en 1976), ou encore Gäenssler et Stute dans leur seminar on empirical processes et Winfried Stute dans les années 80 (). Une revue de la littérature sur les processus empiriques multivariés a été publié à cette époque, en ligne . Depuis Jean-David Fermanian a publié un papier ici sur la convergence faible, et Paul Deheuvels ou Ludger Rüschendorf ont publié énormément de choses, en particulier sur la vitesse de convergence…

Mais quand va-t-on enfin se décider à fermer les universités en France ?

J’ai été un peu titillé ce matin en voyant la une s’étaler sur la devanture du buraliste en bas de la fac,

Comme le dit Wikipedia, “l’expression grande école désigne en premier lieu les établissements d’enseignement supérieur français recrutant majoritairement sur concours parmi les élèves des classes préparatoires aux grandes écoles. Par extension, le terme est également associé à un petit nombre d’établissements de formation des hauts fonctionnaires français recrutant sur concours parmi les titulaires de la maîtrise ou d’un diplôme considéré comme equivalent. Enfin, de manière plus récente, le terme peut être associé à certains établissements d’enseignement supérieurs recrutant sur dossier ou concours directement, ou indirectement via des classes dites “préparatoires intégrées”, au niveau du baccalauréat et délivrant un diplôme après généralement cinq années d’études postérieures au baccalauréat“. Bref, au vu de cette dernière définition, j’ai du mal à voir clairement le lien entre la notion de “grande école” et celle d’élite, évoqué dans le premier paragraphe de de l’article, ou dans l’édito de la première page,

ÉLITE, subst. fém.

I.− [Avec ou sans déterminant] Ce qu’il y a de meilleur dans un ensemble composé d’êtres ou de choses; produit d’une élection qui, d’un ensemble d’êtres ou de choses, ne retient que les meilleurs sujets. A.− Usuel. [À propos d’êtres hum.] 1. Au sing. Minorité d’individus auxquels s’attache, dans une société donnée, à un moment donné, un prestige dû à des qualités naturelles (race, sang) ou à des qualités acquises (culture, mérites).
2. Au plur. avec art. déf. (néol. début xxe s.). Classe minoritaire composée de gens qui, du fait de leur naissance et de leurs mérites, de leur culture et de leur capacité sont reconnus (ou se reconnaissent) comme les plus aptes soit à occuper les premières places de la société à laquelle ils appartiennent, soit à donner le ton à leur milieu
Moi qui ai enseigné dans de nombreuses grandes écoles, et dans plusieurs universités, je suis un peu agacé par cette ambiance actuelle de dévalorisation de l’université, car pour être honnête, j’ai eu à l’université plusieurs très bons élèves (meilleurs que des bons élèves d’école), et réciproquement, j’ai vu des élèves en école que je n’aurais jamais pensé avoir une licence à l’université… Bref, je trouve dangereux de mentir ainsi aux parents en dénigrant autant l’université (car ces journaux sont plus lus par les parents que par les lycéens qui s’interrogent – éventuellement – sur leur avenir). Ce qui me gêne également, c’est lorsque les décideurs politiques lisent ce genre d’article (voire certains responsable universitaires) et décident d’affecter des moyens colossaux dans des “écoles” (au détriment de l’université, car comme toujours depuis quelques années, le jeu est à somme nulle). Si vraiment l’université était si mauvaise que ça, je me demande ce qu’on attend pour toutes les fermer….
Fort heureusement, les recruteurs sont – pour l’instant – un peu moins bornés que certains…. Espérons que ça dure…

Quand on a les boules…..

Vendredi dernier, le bureau des élèves avait organisé un tournoi de speed-pétanque dans le cloître de la fac de Sciences Eco (comme l’an dernier, ici). Nous avions monté une équipe, qui n’a pas eu la chance de franchir les qualifications*…. Pourtant, pour reprendre l’expression de Nathalie, la pétanque c’est facile, il suffit de minimiser la distance entre la boule ou le cochonnet. Ou plus précisément, on recherche à résoudre un programme de la forme suivante,

Pour cela, il y a deux méthodes principalement,

  • essayer de minimiser , i.e. minimiser la distance entre ma boule et le cochonnet. On appelle ça pointer,
  • essayer de maximiser , i.e. maximiser la distance entre la boule de mon adversaire et le cochonnet. On appelle ça tirer,

Malheureusement, c’est formellement un peu plus compliqué que ça, car en vrai il s’agit d’un jeu successif, où l’équipe la plus loin du cochonnet joue. Et en pratique, ça se complique encore, car entre la pluie, le terrain en pente, le vent, les gens qui fond des bruits autour, c’est pas simple de gagner (qui a dit qu’on était des mauvais perdants ?).

En fait, et c’est là que je voulais en venir, si modéliser une partie de pétanque est complexe – de part l’aspect dynamique – quelqu’un avait suggéré vendredi un jeu un peu plus simple en apparence: pourquoi pas lancer le cochonnet à la fin, une fois toutes les boules placées ? Le dual du jeu de pétanque en quelque sorte… Par exemple, ci-dessous, on a les boules rouges, et on se demande où il faudrait lancer le cochonnet pour gagner,

La réponse est simple (et les organisatrices du tournoi connaissent la réponse puisque je l’ai enseigné l’an dernier en master 1): il s’agit d’un problème de plus proches voisins.

On sait alors numériquement tracer les différentes régions. On peut alors même complexifier le problème, en se demandant où lancer le cochonnet pour gagner de deux points, au moins,

ou de trois points, ou plus,

Bref, l’année prochaine, je demande à ce que l’on change les règles, ça nous laissera une chance de ne pas être ridicules ! Reste à voir si on est capable de lancer le cochonnet dans la région rouge, mais promis, on va s’entraîner….
* comme en témoignent certains documents (ici par exemple) nous n’avons pas forcément été ridicule, mais comme il nous fallait généralement un quart d’heure pour se chauffer à chaque partie, ce n’était pas simple de briller…

Dynamic flood modeling: combining Hurst and Gumbel’s approach

The paper (with David Sibai) on High Frequency models in hydrology just appeared, in Environmetrics.

When working on river floods—annual river levels maxima—, two approaches are usually considered: one inspired from Emil Gumbel where annual maxima are supposed to be i.i.d. and distributed according to Gumbel’s distribution, and one inspired from Edwin Hurst where annual maxima are strongly dependent, and exhibit long range memory. This paper tries to solve this apparent paradox by deriving a dynamic model inspired from financial models, which does not take into account annual maxima only but also threshold exceedances. It studies the implications of such a paradox in terms of return period—a notion valid as long as the data are i.i.d—and of extremal events.