Tag Archives: Arthur

Miscellaneous

Ma vie et les bases de données

6 Comments

Ayant remarqué que les bloggeurs avaient souvent, un jour, envie de parler d’eux dans un billet, je vais faire pareil (oui, je sais Igor prétend que je ne fais déjà que ca ici). Je vais donc parler un peu de ma vie en tant que bloggeur.

Ce blog a été créé après un transfert du blog que je tenais à Rennes 1, qui avait été lancé voilà bientôt un peu plus de 2 ans, et je dois avouer (maintenant il y prescription) que j’ai honteusement volé le nom à un extrait de conversation que j’avais avec Francis Kramarz à l’X (reprenant le nom inventé par Stephen Dubner et Steven Levitt, i.e.freakonomics). L’idée du blog était de parler de choses qui m’amusent dans ma vie d’enseignant-chercheur.

L’économie mathématique n’est pas très sexy, et n’intéresse que peu de monde, donc j’évite d’en mettre trop… par contre, j’aime aussi beaucoup les maths appliqués, les statistiques, et l’économétrie. Et l’avantage quand on travaille sur la modélisation, y compris en tant qu’enseignant, c’est qu’on peut illustrer un peu comme on veut. Personnellement je comprends mieux la notion d’optimum de Pareto quand on me parle de se servir de l’eau à la cantine (comme ici), plutôt que de me donner une définition abstraite.

Et il s’avère que ça a plutôt tendance à réveiller les élèves quand on dit que les processus VAR permettent de suivre les mensurations des demoiselles de playboy (comme ici), en tous les cas plus que la modélisation des taux d’intérêt dans la zone euro. Les processus aléatoires, comme  je m’efforce à le dire (ici oulà), c’est beaucoup plus marrant appliqué à des problèmes d’alcooliques qu’appliqué à la valorisation d’options financières. Et les chaînes de Markov appliquées à l’analyse de la pluie en Bretagne (comme ici), ça intéresse tous les élèves qui viennent à la fac en vélo, ou sinon je peux aussi parler de consommation de papier toilette dans les toilettes publique (comme là).

Bref, peu importe le sujet, autant que ce soit amusant, l’idée étant d’illustrer une méthode, une technique, un concept abstrait…

Donc pour amuser mes étudiants (et mes lecteurs) je traîne beaucoup sur internet à la recherche de bases de données, afin d’illustrer des méthodes d’estimation. Alors pour ceux qui n’en ont jamais manipulé, les données, c’est un truc assez incroyable…. Vu de loin, ça ne ressemble pas à grand chose, genre ça peut ressembler à ça,

Mais il y a quelques années, on a vu arriver le datamining, et “les gens” ont commencé à retenir une idée un peu générale du genre “vos données valent de l’or”, et depuis, certains refusent de communiquer leurs données. Je ne parle pas de chercheurs qui ont collecté des données, et qui n’ont pas fini de publier dessus (je comprends qu’il puisse exister une relative compétition entre chercheurs), mais je parle de base qui existent…. mais que personne n’exploite. En fait “les gens” ont oublié que s’ils avaient de l’or, il faut peut être des mineurs pour aller le chercher, puis des joaillers pour le retravailler, et enfin des bijoutiers pour rendre ça présentable. Et c’est souvent agaçant de faire face à un refus, de voir ces belles données qui existent, mais qu’on ne peut avoir….

Bref, aujourd’hui je vais faire un billet sur les billets que j’aurais rêvé de faire, mais que je ne fais pas, faute de données….

  • L’argument (magique) de la CNIL pour les bases informatiques

Parmi les arguments qui ressortent sans cesse quand on demande des données, c’est “il faut avoir l’accord de la CNIL”. Bon, c’est l’argument de mauvaise foi par excellence…. On m’a sorti cet argument dans un hôpital, ou je voulais avoir des données sur les accouchements, connaitre la durée de la grossesse en fonction de caractéristiques de la mère (et du nombre d’enfants déjà eu, par exemple). Un hôpital m’a aussi dit “on peut vous ouvrir nos armoires, et vous pourrez noter vous même car ca n’est pas informatisé” (oui oui, j’ai eu ca… et j’ai pu vérifier avec la naissance de ma troisième: tout était sur papier… oups, j’ai dit de quel hôpital il s’agissait).

  • On veut la conclusion de l’étude avant de fournir les études

Toujours sur mes études sur la durée des grossesses, j’ai appris que l’Inserm constituait une grosse base de données. J’ai demande à y avoir accès, et fort gentiment, on m’a demande de déposer un dossier de recherche. J’ai donc mis l’objet de l’étude, le nom des étudiants qui auraient travaille sur la base, une biblio pour expliquer que je ne partais pas à l’aveugle, et la liste des variables qui m’auraient intéressées. Et la, par téléphone, on m’a dit que c’était très bien, mais “on a besoin d’avoir vos conclusions avant de vous donner accès aux données”. La trouve la démarche (supposée scientifique) surprenante. L’argument m’a un peu dépassé, et je n’ai pas donne suite.

  • L’invention d’arguments (farfelus, parfois)

Toujours sur mon étude sur les naissances, j’ai voulu avoir l’information à la source, c’est à dire dans les CAF. Elles connaissent le terme prévu, le terme réel entre autres, elles disposent de tout plein de variables explicatives. Bref, lasource de données idéale. J’ai donc contacté une vingtaine de CAF (car les CAF sont départementales), et j’ai eu une vingtaine de réponses différentes allant du “on n’a pas ce genre de données”, “on n’as pas le temps”,  “c’est la Caisse Nationale qui a ces données”, “il faut l’accord de la Caisse Nationale “… Bref, assez souvent, on botte en touche… Un peu comme “mais vous savez, on ne vend pas de fleurs” que m’a sorti Interflora (je voulais savoir si on commandait plus de fleurs a la Saint Valentin ou a la fête des mères, en vain).

  • Nous on fait dans le qualitatif, pas le quantitatif

Il y a quelques années, j’avais vu passer une étude sur l’évolution des mensurations de miss America (et les données sont en ligne ici). Trouvant l’analyse intéressante, j’ai contacte le comité Miss France pour avoir les mensurations des miss (et si possible des prétendantes), et Madame de Fontenay (oui oui, elle m’a écrit) m’a répondu “nous n’avons pas ces informations, les miss ne sont pas choisies pour leurs mensurations mais pour leur personnalité” (je n’invente presque pas – la seule invention vient de la retranscription car j’ai perdu le mail avec tous mes transferts de boites, mais c’est ce qui était dit en substance). Finalement j’ai ressorti mes vieux playboy, ce qui a permis d’avoir encore plus d’observations d’ailleurs….

  • Ah oui, je vois très bien, mais demandez au service ETDDHRC qui s’en occupe

L’argument magique du “c’est pas moi c’est mon frère” pour reprendre La Fontaine (ou ma fille, je ne sais plus trop). Je l’ai eu sur des demandes anciennes, faites à plusieurs reprises (et liées à des sujets qui ont beaucoup fait parler dans la blogosphere)

  • il y a 4 ou 5 ans, j’ai eu accès à un très gros fichier d’expertises de véhicules, consécutives à des accidents de la route, plusieurs centaines de milliers d’accidents analysés… on avait voulu travailler avec des étudiants sur l’impact des radars automatiques, mais surtout sur la fraude à l’assurance… Sauf qu’avoir les accidents c’est bien, mais il fallait normer par le nombre de véhicules en circulation… j’ai donc demande à plusieurs reprises un accès au fichier des cartes grises pour savoir combien de véhicules étant en circulation (marque, modèle)… tous les services se sont renvoyés la balle… Et je n’ai jamais eu la base…
  • j’ai eu la même discussion il y a quelques mois sur les nouvelles plaques… le Ministère de l’Intérieur affiche (ici) les départements les plus demande (car on a maintenant le choix du numéro que l’on pose sur la plaque), mais on ne peut pas croiser le département de résidence et le département de la plaque…. Étude qui m’aurait amusé car j’ai un joli modèle à tester derrière…
  • sinon à la même période, je souhaite analyser l’impact de la taille des classes sur la réussite scolaire (j’ai fait 4 billets sur le sujets, ici ou là, mais sur des données israéliennes): j’ai demande au Ministère de l’Éducation Nationale à avoir accès aux résultats individuels (mais anonymes) d’échantillons du test national de CE1. En particulier, j’étais aussi intéresse par la réussite des enfants nés en janvier par rapport à ceux nés en décembre… Tous les services se renvoyaient la balle, et je n’ai jamais eu les données.

J’oublie de préciser, mais a chaque fois, je précise qu’il s’agit d’une étude académique, et que peux m’engager a ne pas diffuser les données.

  • Le service juridique veut que vous signez 10 pages de “disclosure”

Alors ça c’est le pire… c’est arrivé l’autre jour avec un copain actuaire. Je l’avais sollicité pour quelques données, des triangles de liquidation comme on dit. Bon, ce sont des données un peu sensibles, mais je ne demandais pas les montants de provisions constitues, juste des paiements. J’ai un “c’est bon de notre cote, par contre il faudra que tu signes le document joint”, à savoir un document juridique de 10 pages, qui devaient être signées par les présidents de l’Université de Rennes 1 et de l’Université de Montréal (car c’était pour donner un projet à mes étudiants). Ne voulant pas prendre de risques, j’ai laissé tombé….

  • Allez vous servir sur le site (en faisant 5346  requêtes)

Cet argument m’a été sorti par le Ministère de l’Écologie:. Je voulais connaître la liste de toutes les communes touchées par une catastrophe naturelle (et qui ont bénéficié d’un arrêté), “c’est sur le site internet, vous savez, on est moderne nous”. Cette information est publique (parue au Journal Officiel) mais je voulais une base. J’ai fait un code l’autre jour pour aller faire plusieurs milliers de requetes (sur les matchs de tennis, mais ca prend du temps… et ca n’est pas toujours simple car il faut aller decoder des fichiers html) heureusement, il y a toujours des copains qui ont ces donnees et qui sont prêt à envoyer un fichier xls dans l’heure).

  • On veut bien donner des bases, mais à des journalistes, pas à des universitaires

Pour la première fois, on évoquait la discrétion, mais dans l’autre sens. Classiquement c’est “on vous donne des chiffres, mais faut pas le dire”, mais là c’était “on veut bien les donner, mais faut que ça se sache…”. Heureusement, Twitter est là, et on finira par trouver un point d’entrée…. à suivre donc…
Fort heureusement, certains ont compris leur intérêt, et n’hésite pas à m’envoyer des bases si je leur demande. Ca fait une étude gratuite pour eux, et moi je me serais amusé un peu (ou fait travaillé mes étudiants). Mais ce n’est pas la majorité. En attendant, je suis devenu voleur de données. Beaucoup de données traînent sur internet, et en bricolant un peu on peut les récupérer… L’autre jour un copain (que j’avais sollicité pour aller chercher des bases en faisant automatiquement des requêtes sur un site) me demandait “elles sont à qui ces données ?”. Et je dois avouer que depuis je doute…. Moralité, je suis un peu surpris de l’étymologie du mot données, car rares sont ceux qui en donnent vraiment… et c’est dommage.

Statistics

Happy birthday Arthur !

3 Comments

mais non, ce n’est pas mon anniversaire ! Mais l’occasion était trop belle…

oui, c’est l’anniversaire d’Arthur Guinness (Arth Guinness pour ceux qui ont déjà eu une canette entre les mains…)

Et comme je l’ai rappelé lors des rappels de statistiques, l’histoire de la statistique (j’entends par là statistique mathématique) est étroitement liée à Guiness.

Il y fort fort longtemps, il existait une Guiness Brewing Company of Dublin, qui comme son nom l’indique, était une brasserie irlandaise. Et au début du XXème siècle, le propriétaire, qui venait d’hériter de cette entreprise familiale décida d’attirer des jeunes étudiants, formés en chimie à Cambridge, ou Oxford.

En 1899, un  certain William Sealy Gosset, qui avait obtenu un double diplôme, en maths et en chimie, quitta Oxford pour Dublin. Et pour être tout à fait honnête, diplômé en maths signifiait alors qu’il avait étudié les équations différentielles ou l’astronomie. En gros, les maths, ça ne servait à rien chez Guiness, et il était arrivé là grâce à ses compétences en chimie. Et en fait, William s’avérait être en plus un très bon administrateur, mais on sort un peu de notre sujet.

Mais William avait gardé un bon souvenir de ses études en maths, et il se demandait s’il pouvait trouver un problème sur lequel se pencher…. il commença a travailler des études de qualité de fabrication, notant que les conditions varient tellement (température, provenance du houblon, du malt, conditions de fabrication…) que les données homogènes sont peu nombreuses. La “loi des erreurs” classique ne peut pas s’appliquer dans ces conditions, i.e. le théorème central limite.

Bref, Bill (maintenant qu’on se connaît un peu, on va l’appeler Bill) pris beaucoup de mesures, et observa une loi de Poisson, ce qui était pratique car cette loi n’avait qu’un paramètre. Bref, Bill arriva à contrôler la variance, et donc à faire moins de pertes lors de la production de bière…

Une jolie application comme celle là méritait publication dans une revue scientifique… Bon, bien sûr la loi de Poisson était connue depuis longtemps (on était en 1904 et quelques mois auparavant, Von Bortkiewicz avait trouvé d’élégantes applications à cette loi, en particulier sur les accidents de chevaux dans l’armée Prusse). Et à côté, il y avait un soucis de taille que connaissent bien des actuaires travaillant dans les compagnies d’assurance: le contrat de Bill lui interdisait de divulguer des secrets à la concurrence, qui plus est des secrets capables de leur faire gagner de l’argent !

Entre temps, Bill avait rencontré Karl Pearson, qui était alors éditeur de la revue Biometrika, et qui l’encouragea à publier ses résultats. En 1906, Bill qui avait fait gagné beaucoup d’argent à Guiness – et qui avait d’ailleurs montré l’intérêt de faire des maths appliqués – réussi à prendre une année sabbatique pour aller travailler avec Pearson au laboratoire de biométrie de Galton. Et Bill et Karl décidèrent de faire publier les travaux sous un pseudonyme, “Student”. La légende prétend qu’ils avaient aussi hésité à prendre “pupil“.

Et pendant presque 30 ans, “Mr Gosset“, honorable employé de Guinness menait une vie dissolue en publiant dans des revues de statistiques (après son travail dans la brasserie1), toujours sous le pseudonyme de “Student“.

En 1908, on lui doit un remarquable “the probable error of the mean“, qui remarque en tous les cas Ronald Fisher. En fait, Bill trouva qu’il existait une loi assez remarquable, mais qui – comme la loi normale – était délicate à manipuler pour obtenir des intervalles de confiance. Sans ordinateur, il eu malgré tout l’idée d’utiliser des méthodes de monte carlo pour tabuler les quantiles, et construire ses tables. Et il fut un des premiers à se pencher sur le problème des petits échantillons, contrairement à Karl Pearson, qui se plaçait toujours dans le cas asymptotique.

En fait, en regardant son petit échantillon, il vit apparaître au dénominateur des grandeurs très proches de celles que manipulait précisément Karl, en particulier une racine carré de loi du chi-deux. Bon, bien sûr, restait l’hypothèse (fondamentale) de normalité des observations, mais au moins, on avait des résultats à distance finie !

Pour la petite histoire, William Gosset proposa la lettre z pour sa statistique, le ratio entre la moyenne et l’écart-type. Mais quelques années plus tard, les statisticiens prirent l’habitude d’utiliser cette lettre pour des lois normales (autrement dit quand la variance est connue), et la norme devint d’utiliser la lettre t. D’où finalement la dénomination actuelle de “Student-t distribution”.

Une légende (racontée par Harold Hotelling dans ses mémoires) veut que la famille Guinness découvrit cette double vie le jour de la mort de William Gosset, en 1937, lorsque des mathématiciens demandèrent une aide financière pour imprimer un volume des œuvres de leur employé. Mais une autre légende raconte que c’est Guinness qui lui aurait suggéré son pseudo lorsqu’il aurait fait part de ses intentions de publier ses travaux de recherche…

1 et si si, Bill avait une vie de famille… il avait d’ailleurs une femme qui devait le mener à la baguette, puisqu’elle était à l’époque capitaine de l’équipe nationale de Hockey ! il devait pas faire le malin avec ses calculs de loi quand c’était l’heure de faire la vaisselle….