Licornes, philosophes, vieux cons, peer-review et instituts de sondages

oui, vaste programme… Lorsque les enfants étaient petits, je me souviens avoir été maintes fois étonné par la profondeur des questions qu’ils pouvaient poser,

dis papa, comment tu sais tout ça ?

ou

dis papa, si j’étais pas né comment ça serait ?

Toutes ces questions sont embarrassantes, car elles sont assez fondamentales quand on y pense. Car le problème est qu’après, les enfants grandissent, et pensent avoir des réponses à ces mêmes questions,

t’es sûre, tu ne veux pas une licorne pour ton anniversaire ?

mais non papa, ça n’existe pas les licornes

bien sûr que si que ça existe, n’oublie pas que les papas ça sait tout ! Et comment tu sais que ça existe pas d’abord ?

ben j’en ai jamais vu…

et alors… tu n’as jamais vu de crocodiles, et pourtant ça existe…

oui mais j’en ai vu à la télé

et moi à la télé j’ai vu des wookies et des ewoks dans Star Wars, et des dragons dans Harry Potter, et..

oui mais à la télé ça existe pas ! Les licornes personne n’en a jamais vu d’abord

et ça suffit pour dire que ça n’existe pas, tu penses ?

(en fait, on peut avoir ce même genre de dialogue avec dieu, ou mieux, le père Noël). Bref, suite à cette discussion je me demandais ce qui faisait qu’on y croyait ou qu’on n’y croyait plus. Par exemple en sciences: l’opposition classique entre sciences et religion est basée sur le fait que la religion repose sur la foi, et alors que la science non, on doit avoir une preuve de ce qu’on avance. Un peu comme le personnage de Gorgias (de Platon), le précurseur de tous nos hommes (et femmes) politiques: on a raison parce qu’on a eu le dernier mot. Et non parce qu’on l’a prouvé. Mais il faut être lucide. La science devient de plus en plus une histoire de foi et de croyance. Par exemple en cours, la très grande majorité de mes élèves me croient si je leur dit qu’une méthode ne marche pas, rares sont ceux qui penseraient à me demander de leur justifier, ou au mois de trouver des éléments étayant mon propos (car la tendance est de faire de moins de moins de démonstration en cours, surtout quand on fait de la statistique appliquée). Par exemple en séries temporelles: lorsque je faisais cours il y a 10 ans à l’université Paris Dauphine, on passait des heures sur les choix des ordres d’autorégression (faut-il un retard à l’ordre 4, ou 12 ?). Maintenant, tous les logiciels font ça automatiquement. Un peu comme le choix de la fenêtre quand on fait de l’estimation à noyau… sous R, on a un choix optimal de fenêtre… et souvent, quand on est pressé, on y croit.

Oui, en sciences, on utilise beaucoup cet argument de foi. Le plus classique étant de dire que ça a été publié dans une grande revue… Et c’est le principe du peer-review: on délègue à d’autres chercheurs la responsabilité de regarder en détails un papier, qui souvent dépasse nos propres compétences, afin de se reposer sur leur jugement les yeux fermés. C’est bien entendu stupide, et c’est pour ça qu’on demande aux étudiants de maîtrise de creuser les papiers en détails, de relire et comprendre les démonstrations, et de faire des simulations pour vérifier si ça marche ! Et je serais bien le premier à dire qu’il ne faut jamais croire ce qui est écrit dans mes livres ou mes papiers ! ou sur le blog ! Quoi que… sur le blog, je mets autant que possible l’intégralité des codes, afin de permettre aux personnes de vérifier plus facilement ce que j’ai fait. Et c’est le gros intérêt du blog pour les chercheurs, par rapport aux articles publiés: on n’est pas là pour épater la galerie (je renvoie d’ailleurs à un très bon article expliquant comment écrire un article scientifique). Sur le blog, on peut davantage lancer des discussions, et être beaucoup plus transparents, et modestes !

Soit dit en passant, cette histoire de foi se retrouve largement dans cette mise en abyme des sondages, évoquée dans un précédant billet, sur le fait que plus personne ne croit aux sondages. Pourtant des grands sociologues et des grands statisticiens ont travaillé depuis des dizaines d’années sur la théorie des sondages. Des centaines d’articles (parus dans des articles relus par d’autres grands scientifiques) justifient certaines méthodes d’analyse. Et pourtant la foi n’est pas là. Peut-être serait-il temps que les instituts soient plus transparents, qu’ils donnent accès aux données brutes. Car je suis convaincu que la transparence est la clé de tout. Enfin presque… pour l’existence du père Noël, je vais me battre autant que possible pour maintenir le doute !


5 thoughts on “Licornes, philosophes, vieux cons, peer-review et instituts de sondages”

  1. Il est certain qu’il y a une question de foi, mais peut-être aussi de confiance, non? Il y a bien l’expression, “j’ai pu voire loin parce que je suis sur les épaules d’un géant”. Quel serait la solution au problème sinon? Chacun devrait recoder tous les logiciels scientifiques?

    Concernant la théorie, c’est vrai que l’on peut/doit vérifier les résultats importants pour comprendre comment ils fonctionnent surtout si on les utilise abondamment.

  2. Je renchéris sur la notion de foi ou de dogme.
    C’est l’actuel soucis de l’analyse économique actuelle.
    Nous entendons fréquemment des phrases terribles telles que “c’est la seule voie possible” … Oui, dans la doctrine X mais il suffit de regarder le monde sous un autre angle et d’autres solutions apparaissent.

  3. Vous avez entièrement raison avec ce que vous dîtes. Néanmoins, lorsque les choses sont ouvertes, disponibles, il est beaucoup plus facile de faire confiance, loi de Linus oblige. Bien sûr, quand vous dites: “sur une base de données ultra confidentielle que je ne peux communiquer, on obtient tel et tel résultats”, on est d’accord, il faut se méfier. De même lorsque des professeurs disent que c’est «forcément» bon parce que c’est publié dans une bonne revue. Tout cela constitue un risque, et rappelle le dogmatisme des religions, mais il y a quand même la différence fondamentale qu’on a l’option, si on le veut vraiment de vérifier tout cela. Et que cela est vivement encouragé dans la science ce qui n’est pas le cas dans la religion!

  4. mais malheureusement les chercheurs ont peu de temps, eux aussi, pour vérifier tout ce qui est publié… Je n’ai pas le temps de reprogrammer tous les algorithmes que je vois passer, et souvent je m’en remets à la communauté des utilisateurs du logiciel, en espérant que s’il y avait un problème, il aurait été détecté. Il y a aussi un part d’expérience et de jugement dans ce que je dis: lorsqu’on fait face à un problème de choix de modèle, qu’on hésite entre deux modèles on a plusieurs critères de choix (dont le AIC, le BIC, parmi tant d’autres). J’ai 30 minutes en cours pour parler de choix de modèles, donc je ne peux pas rentrer dans les détails. J’évoque des pistes d’outils qui existent, en insistant sur ce que mon expérience m’a appris, ou ce qu’on peut vérifier sur des simulations, mais on a rarement le temps de vraiment rentrer dans les détails. Beaucoup d’étudiants ont vu les estimations à noyau pour les densité, mais j’en ai vu beaucoup utiliser ça sur des distributions sur des supports compacts (genre des pourcentages) avec peu de données. Un étudiant qui aurait pris le temps de comprendre la démonstration derrière ne ferait pas ce genre d’erreur. En allant trop vite, on garde le nez dans le guidon, et on devient vite aveugle. Donc je pense que je garderais l’histoire de “confiance aveugle” (et je parle d’étudiants mais j’en entendu des professeurs dans des comités de recrutement d’autres professeurs dire que c’est forcément bon et correct parce que ça a été publié dans une bonne revue). Mais le dogmatisme est exagéré… Enfin, j’espère…
    Mon point est que faute de temps, on ne peut pas tout vérifier… ou pire, faute de transparence. Je suis choqué que dans un article (académique) on me dise “sur une base de données ultra confidentielle que je ne peux communiquer, on obtient tel et tel résultats”. Dans ce cas, je fais une confiance aveugle en l’auteur. Et je trouve cela dérangeant.

  5. Bonjour,

    je ne pense pas qu’il s’agit de foi lorsqu’on étudiant croît l’un de ses professeurs sur parole lorsque son professeur lui dit que telle ou telle méthode d’estimation est meilleure qu’une telle autre. C’est juste que manque de temps, on ne peut vraiment vérifier tous les dires de son professeur, sinon on en finirait plus. Mais on pourrait les vérifier si vraiment on le voulait, et pas mal de gens le font, et les démonstrations et justifications mathématiquement sont bien là!

    Par contre la foi, c’est une confiance aveugle et dogmatique dans ce qu’on nous raconte, on peut ni vérifier, ni questionner cette foi.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.