Ma vie et les bases de données

Ayant remarqué que les bloggeurs avaient souvent, un jour, envie de parler d’eux dans un billet, je vais faire pareil (oui, je sais Igor prétend que je ne fais déjà que ca ici). Je vais donc parler un peu de ma vie en tant que bloggeur.

Ce blog a été créé après un transfert du blog que je tenais à Rennes 1, qui avait été lancé voilà bientôt un peu plus de 2 ans, et je dois avouer (maintenant il y prescription) que j’ai honteusement volé le nom à un extrait de conversation que j’avais avec Francis Kramarz à l’X (reprenant le nom inventé par Stephen Dubner et Steven Levitt, i.e.freakonomics). L’idée du blog était de parler de choses qui m’amusent dans ma vie d’enseignant-chercheur.

L’économie mathématique n’est pas très sexy, et n’intéresse que peu de monde, donc j’évite d’en mettre trop… par contre, j’aime aussi beaucoup les maths appliqués, les statistiques, et l’économétrie. Et l’avantage quand on travaille sur la modélisation, y compris en tant qu’enseignant, c’est qu’on peut illustrer un peu comme on veut. Personnellement je comprends mieux la notion d’optimum de Pareto quand on me parle de se servir de l’eau à la cantine (comme ici), plutôt que de me donner une définition abstraite.

Et il s’avère que ça a plutôt tendance à réveiller les élèves quand on dit que les processus VAR permettent de suivre les mensurations des demoiselles de playboy (comme ici), en tous les cas plus que la modélisation des taux d’intérêt dans la zone euro. Les processus aléatoires, comme  je m’efforce à le dire (ici ou), c’est beaucoup plus marrant appliqué à des problèmes d’alcooliques qu’appliqué à la valorisation d’options financières. Et les chaînes de Markov appliquées à l’analyse de la pluie en Bretagne (comme ici), ça intéresse tous les élèves qui viennent à la fac en vélo, ou sinon je peux aussi parler de consommation de papier toilette dans les toilettes publique (comme ).

Bref, peu importe le sujet, autant que ce soit amusant, l’idée étant d’illustrer une méthode, une technique, un concept abstrait…

Donc pour amuser mes étudiants (et mes lecteurs) je traîne beaucoup sur internet à la recherche de bases de données, afin d’illustrer des méthodes d’estimation. Alors pour ceux qui n’en ont jamais manipulé, les données, c’est un truc assez incroyable…. Vu de loin, ça ne ressemble pas à grand chose, genre ça peut ressembler à ça,

Mais il y a quelques années, on a vu arriver le datamining, et “les gens” ont commencé à retenir une idée un peu générale du genre “vos données valent de l’or”, et depuis, certains refusent de communiquer leurs données. Je ne parle pas de chercheurs qui ont collecté des données, et qui n’ont pas fini de publier dessus (je comprends qu’il puisse exister une relative compétition entre chercheurs), mais je parle de base qui existent…. mais que personne n’exploite. En fait “les gens” ont oublié que s’ils avaient de l’or, il faut peut être des mineurs pour aller le chercher, puis des joaillers pour le retravailler, et enfin des bijoutiers pour rendre ça présentable. Et c’est souvent agaçant de faire face à un refus, de voir ces belles données qui existent, mais qu’on ne peut avoir….

Bref, aujourd’hui je vais faire un billet sur les billets que j’aurais rêvé de faire, mais que je ne fais pas, faute de données….

  • L’argument (magique) de la CNIL pour les bases informatiques

Parmi les arguments qui ressortent sans cesse quand on demande des données, c’est “il faut avoir l’accord de la CNIL”. Bon, c’est l’argument de mauvaise foi par excellence…. On m’a sorti cet argument dans un hôpital, ou je voulais avoir des données sur les accouchements, connaitre la durée de la grossesse en fonction de caractéristiques de la mère (et du nombre d’enfants déjà eu, par exemple). Un hôpital m’a aussi dit “on peut vous ouvrir nos armoires, et vous pourrez noter vous même car ca n’est pas informatisé” (oui oui, j’ai eu ca… et j’ai pu vérifier avec la naissance de ma troisième: tout était sur papier… oups, j’ai dit de quel hôpital il s’agissait).

  • On veut la conclusion de l’étude avant de fournir les études

Toujours sur mes études sur la durée des grossesses, j’ai appris que l’Inserm constituait une grosse base de données. J’ai demande à y avoir accès, et fort gentiment, on m’a demande de déposer un dossier de recherche. J’ai donc mis l’objet de l’étude, le nom des étudiants qui auraient travaille sur la base, une biblio pour expliquer que je ne partais pas à l’aveugle, et la liste des variables qui m’auraient intéressées. Et la, par téléphone, on m’a dit que c’était très bien, mais “on a besoin d’avoir vos conclusions avant de vous donner accès aux données”. La trouve la démarche (supposée scientifique) surprenante. L’argument m’a un peu dépassé, et je n’ai pas donne suite.

  • L’invention d’arguments (farfelus, parfois)

Toujours sur mon étude sur les naissances, j’ai voulu avoir l’information à la source, c’est à dire dans les CAF. Elles connaissent le terme prévu, le terme réel entre autres, elles disposent de tout plein de variables explicatives. Bref, lasource de données idéale. J’ai donc contacté une vingtaine de CAF (car les CAF sont départementales), et j’ai eu une vingtaine de réponses différentes allant du “on n’a pas ce genre de données”, “on n’as pas le temps”,  “c’est la Caisse Nationale qui a ces données”, “il faut l’accord de la Caisse Nationale “… Bref, assez souvent, on botte en touche… Un peu comme “mais vous savez, on ne vend pas de fleurs” que m’a sorti Interflora (je voulais savoir si on commandait plus de fleurs a la Saint Valentin ou a la fête des mères, en vain).

  • Nous on fait dans le qualitatif, pas le quantitatif

Il y a quelques années, j’avais vu passer une étude sur l’évolution des mensurations de miss America (et les données sont en ligne ici). Trouvant l’analyse intéressante, j’ai contacte le comité Miss France pour avoir les mensurations des miss (et si possible des prétendantes), et Madame de Fontenay (oui oui, elle m’a écrit) m’a répondu “nous n’avons pas ces informations, les miss ne sont pas choisies pour leurs mensurations mais pour leur personnalité” (je n’invente presque pas – la seule invention vient de la retranscription car j’ai perdu le mail avec tous mes transferts de boites, mais c’est ce qui était dit en substance). Finalement j’ai ressorti mes vieux playboy, ce qui a permis d’avoir encore plus d’observations d’ailleurs….

  • Ah oui, je vois très bien, mais demandez au service ETDDHRC qui s’en occupe

L’argument magique du “c’est pas moi c’est mon frère” pour reprendre La Fontaine (ou ma fille, je ne sais plus trop). Je l’ai eu sur des demandes anciennes, faites à plusieurs reprises (et liées à des sujets qui ont beaucoup fait parler dans la blogosphere)

  • il y a 4 ou 5 ans, j’ai eu accès à un très gros fichier d’expertises de véhicules, consécutives à des accidents de la route, plusieurs centaines de milliers d’accidents analysés… on avait voulu travailler avec des étudiants sur l’impact des radars automatiques, mais surtout sur la fraude à l’assurance… Sauf qu’avoir les accidents c’est bien, mais il fallait normer par le nombre de véhicules en circulation… j’ai donc demande à plusieurs reprises un accès au fichier des cartes grises pour savoir combien de véhicules étant en circulation (marque, modèle)… tous les services se sont renvoyés la balle… Et je n’ai jamais eu la base…
  • j’ai eu la même discussion il y a quelques mois sur les nouvelles plaques… le Ministère de l’Intérieur affiche (ici) les départements les plus demande (car on a maintenant le choix du numéro que l’on pose sur la plaque), mais on ne peut pas croiser le département de résidence et le département de la plaque…. Étude qui m’aurait amusé car j’ai un joli modèle à tester derrière…
  • sinon à la même période, je souhaite analyser l’impact de la taille des classes sur la réussite scolaire (j’ai fait 4 billets sur le sujets, ici ou , mais sur des données israéliennes): j’ai demande au Ministère de l’Éducation Nationale à avoir accès aux résultats individuels (mais anonymes) d’échantillons du test national de CE1. En particulier, j’étais aussi intéresse par la réussite des enfants nés en janvier par rapport à ceux nés en décembre… Tous les services se renvoyaient la balle, et je n’ai jamais eu les données.

J’oublie de préciser, mais a chaque fois, je précise qu’il s’agit d’une étude académique, et que peux m’engager a ne pas diffuser les données.

  • Le service juridique veut que vous signez 10 pages de “disclosure”

Alors ça c’est le pire… c’est arrivé l’autre jour avec un copain actuaire. Je l’avais sollicité pour quelques données, des triangles de liquidation comme on dit. Bon, ce sont des données un peu sensibles, mais je ne demandais pas les montants de provisions constitues, juste des paiements. J’ai un “c’est bon de notre cote, par contre il faudra que tu signes le document joint”, à savoir un document juridique de 10 pages, qui devaient être signées par les présidents de l’Université de Rennes 1 et de l’Université de Montréal (car c’était pour donner un projet à mes étudiants). Ne voulant pas prendre de risques, j’ai laissé tombé….

  • Allez vous servir sur le site (en faisant 5346  requêtes)

Cet argument m’a été sorti par le Ministère de l’Écologie:. Je voulais connaître la liste de toutes les communes touchées par une catastrophe naturelle (et qui ont bénéficié d’un arrêté), “c’est sur le site internet, vous savez, on est moderne nous”. Cette information est publique (parue au Journal Officiel) mais je voulais une base. J’ai fait un code l’autre jour pour aller faire plusieurs milliers de requetes (sur les matchs de tennis, mais ca prend du temps… et ca n’est pas toujours simple car il faut aller decoder des fichiers html) heureusement, il y a toujours des copains qui ont ces donnees et qui sont prêt à envoyer un fichier xls dans l’heure).

  • On veut bien donner des bases, mais à des journalistes, pas à des universitaires

Pour la première fois, on évoquait la discrétion, mais dans l’autre sens. Classiquement c’est “on vous donne des chiffres, mais faut pas le dire”, mais là c’était “on veut bien les donner, mais faut que ça se sache…”. Heureusement, Twitter est là, et on finira par trouver un point d’entrée…. à suivre donc…
Fort heureusement, certains ont compris leur intérêt, et n’hésite pas à m’envoyer des bases si je leur demande. Ca fait une étude gratuite pour eux, et moi je me serais amusé un peu (ou fait travaillé mes étudiants). Mais ce n’est pas la majorité. En attendant, je suis devenu voleur de données. Beaucoup de données traînent sur internet, et en bricolant un peu on peut les récupérer… L’autre jour un copain (que j’avais sollicité pour aller chercher des bases en faisant automatiquement des requêtes sur un site) me demandait “elles sont à qui ces données ?”. Et je dois avouer que depuis je doute…. Moralité, je suis un peu surpris de l’étymologie du mot données, car rares sont ceux qui en donnent vraiment… et c’est dommage.


OpenEdition suggests that you cite this post as follows:
Arthur Charpentier (December 17, 2010). Ma vie et les bases de données. Freakonometrics. Retrieved November 2, 2024 from https://doi.org/10.58079/oufz


6 thoughts on “Ma vie et les bases de données”

  1. Bonjour A. C, ton cri de coeur est partagé.

    Avec tant que confidentialité autour de ces données, une nouvelle ère du Hacking pointe à l’horizon sous tous les cieux y compris l’Afrique, mon continent.

    A croire que les données ne plaident pas en la faveur des politiques, ou du moins renforce les soupçons. Pourtant ces données qui tuent peuvent aussi améliorer les conditions de vie de tout le monde.

    Lorsque la richesse(ici les données) n’est pas équitablement distribuée, la redistribution finit toujours par arriver.

    Les mécanismes aléatoires se mettent déjà en place.

    Patience, L’état stationnaire ne semble pas bien loin…

    Le “Robin des bois des Données”.

  2. Bonjour Arthur,

    Quelles sont vos expériences avec la loi du 17 juillet 1978 sur l’accès aux données administratives et vos relations avec la CADA?

    D’expérience, le fait de dire à l’agent lambda que les documents doivent être remis en vertu de l’article 2 du titre 1 de la loi fonctionne pas trop mal 🙂

    nkb.

    REPONSE: je vais essayer….

  3. Bonjour Arthur,

    Il y a une vidéo (vue sur Statisfaction) que tu connais peut-être déjà qui parle du même problème de façon assez amusante (Hans Rosling prend lui la métaphore de la graine qui n’a pas encore pu germer au lieu de celle de l’or):
    http://www.ted.com/talks/view/id/92
    (à partir de 15:45)
    D’ailleurs lui aussi est un grand adepte des statistiques animées (et amusantes) !

    Bon week-end.

  4. Sue le site du guardian ya les bases de données de wikileaks.

    Sinon petite faute de frappe : “grossesse” et non “grosse”

    bonne fêtes

  5. Avec la multiplication des donnees dans toutes les administrations, il est somme toutes effarant de voir qu’il n’y a pas de Mr/Mme Vie Privee au sein de chaque administration. Bien que cela ressemble a plus de bureaucracie, on peut penser que les reponses a tes requetes soient beaucoup plus consistentes ou plus intelligentes. Tiens j’ai un billet un peu complementaire sur ton probleme:

    http://nuit-blanche.blogspot.com/20

    Igor.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.