Dans une conférence donnée le 13 février 2020[i], intitulée contre la méthode, Didier Raoult affirmait « moi je n’ai jamais fait d’essais randomisés […] faire ça sur des maladies infectieuses, ça n’a pas de sens ». Cette vision était reprise dans une tribune plus détaillée, où face à « la méthode » (et « aux mathématiques »), Didier Raoult défendait (ce qu’il appelait) « la morale [et] l’humanisme » du serment d’Hippocrate. Comme il le rappelle, faire des groupes de contrôle, c’est « dire au malade qu’on va lui donner au hasard soit le médicament dont on sait qu’il marche, soit le médicament dont on ne sait pas s’il marche » (Raoult (2020a, 2020b)). Alors que cette méthode d’expériences randomisées est aujourd’hui saluée dans toutes les disciplines – comme le rappelle le prix Nobel d’économie attribué en 2019 à Esther Duflo, Michael Kremer et Abhijit Banerjee – comment un chercheur peut-il prendre une telle position, aujourd’hui ?

Observation, expérimentation, statistique et causalité

La statistique peut être vue comme l’ensemble des outils mathématiques que l’on peut utiliser pour extraire de l’information d’un ensemble de données. Par exemple, on peut se demander si, suite à une opération chirurgicale, le patient doit récupérer chez lui, ou à l’hôpital (en vue d’un rétablissement plus rapide, ou plus efficace). Le statisticien va naturellement collecter des données, avec autant d’opérations que possibles, savoir si les gens ont récupéré chez eux, ou à l’hôpital, peut-être trouver quelques variables supplémentaires, comme la nature de l’opération, l’âge du patient ou la distance à l’hôpital le plus proche (en cas de complication), et chercher un indicateur de réussite, comme le fait qu’il ait fallu refaire une opération dans les mois qui ont suivi. Cette démarche peut sembler naturelle, mais permet-elle pour autant de répondre à la question ? Dans ces données collectées, dites d’observations, ne peut-on pas s’attendre à avoir un biais de sélection ? Les personnes qui ont été renvoyée chez elle n’étaient-elles pas en meilleure santé que celle qui sont restée plus longtemps à l’hôpital ? Car la question que se pose le statisticien est fondamentalement « que ce serait-il passé si la personne avait choisi l’autre option ? ». On parle ici d’inférence causale, et le patient choisit  une option, jamais les deux. On ne peut pas savoir ce qu’aurait donné l’autre option, qui n’a pas été retenue. L’effet causal d’une option, ou d’un traitement, n’est jamais observé car il s’agit de la différence potentielle entre deux alternatives.

La méthode la plus simple consiste à prendre deux patients proches (à défaut d’être identiques), et de voir comment les deux répondent aux deux options, aux deux traitements. John Stuart Mill parlait de « méthode des différences ». La proximité est basée sur les covariables comme l’âge, le genre, ou diverses caractéristiques. L’idée des expériences randomisées est de ne plus se contenter d’observer, mais de choisir l’option, ou le traitement, de manière aléatoire (et de ne laisser choisir ni le patient, ni le médecin). Chaque personne se voit alors affecté dans un groupe, indépendamment de ses caractéristiques. Idéalement, John Stuart Mill voulait comparer des personnes identiques dans le cadre de choix alternatifs : il voulait qu’il n’y ait pas de différences non-mesurables avant le traitement entre les personnes recevant le traitement ou le groupe témoin. Si le concept philosophique est louable, John Stuart Mill n’a pas fourni de méthode pour créer cette situation idéale. Au cours du XXème siècle, la statistique a montré qu’une affectation aléatoire dans les groupes de traitements (on pourrait imaginer davantage de choix que deux alternatives) était très prometteuse.

On parle d’expérience car l’assignation aléatoire ne se produit rarement dans un contexte naturel. Les assignations se produisent souvent selon un biais de la personne qui prend la décision. Dans le cas d’un choix entre un traitement agressif et un traitement plus doux, on peut imaginer qu’il serait naturel de traiter moins agressivement un patient dont la maladie est moins grave, ou de traiter plus agressivement un patient qui pourrait survivre mais dont la maladie est plus grave, ou peut-être de traiter moins agressivement un patient qui n’a aucun espoir de survivre. Si les patients gravement malades reçoivent un traitement agressif (et les patients moins gravement malades reçoivent un traitement moins agressif), alors le traitement agressif pourrait paraître nuisible, alors qu’il est, en réalité, bénéfique, les patients gravement malades étant, a priori, ceux qui ont le plus de chances de mourir. Pour reprendre l’idée de John Stuart Mill, on souhaitait comparer équitablement deux options, mais les comparaisons équitables sont rares, par nature, comme le rappelle Rosenbaum (2017). Et la randomisation est une des méthodes les plus simples à mettre en œuvre[ii], justement parce que le tirage au sort ne favorise aucun des deux traitements. Les concepts d’équité et de justice que nous évoquons ici sont simplement ceux de symétrie (Paternotte (2020) ou Ferry-Danini (2020) reviennent sur l’importance de l’éthique, point que nous effleurerons par la suite). Cette symétrie dans la répartition se traduit par le fait qu’un patient a, a priori, autant de chances d’avoir un traitement qu’un autre. Dans les années 1920, on parlera d’ « essais d’uniformité ». Les expérimentations aléatoires ont été initialement proposées en agriculture, dans des fermes expérimentales. On divisait la ferme en plusieurs parcelles, et le traitement était choisi de manière aléatoire (il pouvait s’agir d’un engrais, et d’un insecticide). Certaines parcelles servaient de contrôle, et en comparant les deux, on pouvait quantifier l’efficacité du traitement, par rapport à la référence qu’est le contrôle (Dehue (2001) revient sur les premières expériences contrôlées, ou Hacking (1988) avec les expériences des années 1880 pour savoir si la télépathie fonctionne).

Expérimentations sociales et évaluation des politiques publiques

Cette approche est aujourd’hui classique pour évaluer l’impact d’une politique publique : on constitue de manière complètement aléatoire deux groupes, un groupe test (qui profitera de la politique) et un groupe témoin (qui n’en bénéficiera pas). La politique peut être une hausse de rémunération de certains fonctionnaires via une prime, des prêtes à des femmes dans certaines communautés, etc. A la fin du test, on va comparer les deux groupes afin de voir s’il y a eu, ou pas, un effet bénéfique, éventuellement en affinant par sous-groupe pour comprendre à qui profite la politique, ou au contraire, à qui elle ne profite pas. On peut alors quantifier l’impact, rarement d’en expliquer les raisons (si cet impact est jugé significatif). Cela ne permet pas savoir si une autre politique n’aurait pas eu d’autres effets, ou si un autre levier d’action n’aurait pas été plus efficace. On peut ainsi montrer qu’en rémunérant une visite chez le médecin pour se faire vacciner, le taux de mortalité chute, dans certains pays en développement. C’est l’utilisation de ces méthodes qu’Esther Duflo, Michael Kremer et Abhijit Banerjee ont préconisé, pour mesurer l’impact de politiques sur la pauvreté.

Car les essais contrôlés randomisés sont la manière la plus rigoureuse pour déterminer s’il existe une relation de cause à effet entre un traitement et un résultat, et de quantifier l’impact du traitement. La principale caractéristique est une répartition aléatoire entre les groupes d’intervention, mais elle n’est pas la seule. En médecine, il est souvent demandé que les patients et les chercheurs ne sachent pas quel traitement a été administré tant que l’étude n’est pas terminée (on parle alors d’études en double aveugle). Cette condition n’est souvent pas possible dans le cas des politiques publiques. Les avancées récentes ont permis d’aller plus loin, en relâchant plusieurs hypothèses, comme permettant d’adapter les tailles de groupes, dans le cas d’expériences répétées : si on voit qu’un traitement a des effets, mais que l’expérience doit se prolonger dans le temps, il est possible d’en faire profiter davantage de sujets. Pour reprendre la terminologie de Charpentier et al. (2020), il est possible de trouver un juste équilibre entre l’exploration et l’exploitation.

Expérimentation et médecine, le cas de la polio

Étrangement, les économistes ont longtemps dit que ces méthodes d’expérience randomisées venaient de la médecine, mais les premières grandes expériences en matière de santé publique datent seulement des années 1950. En 1954, plus de 400 000 enfants américains ont participé à une expérience randomisée pour quantifier les effets d’un vaccin, développé par Jonas Salk, pour prévenir la polio (poliomyélite). En moins d’un an, cette expérience a permis de trancher définitivement la question, ce qui était une première pour une question de santé publique. Dans les États qui ont participé à l’étude, la participation n’était pas obligatoire. Un peu plus de 200 000 enfants, sélectionnés au hasard, ont eu accès au vaccin, alors qu’un nombre presque équivalent au lieu un placebo, qui était alors une solution d’eau salé. Et un peu plus de 300 000, bien qu’éligibles, n’ont pas participé. On pourrait se poser la question de l’éthique d’une telle procédure, consistant à donner de l’eau salé alors qu’ils auraient pu avoir le vaccin. Mais cette vision est faussée, car basé sur le résultat du test : à l’époque, personne ne savait si le vaccin était efficace, et en particulier, s’il n’aurait pas d’effets secondaires néfastes. Ce principe d’incertitude (Freedman (1987) parlera d’équipoise) est souvent considéré comme un prérequis éthique indispensable pour lancer une expérience. Dans l’échantillon ayant obtenu le vaccin (et les chiffres donnés par Brownlee (1955), Meier (1990) et Meldrum (1998)), 16 enfants sur 100 000 ont eu une polio paralysante, contre 57 dans le groupe avec le placebo. Statistiquement, une telle différence peut être jugée comme « significative ».

Pour l’anecdote, cette expérience randomisée n’était pas la solution envisagée initialement. La première idée était d’administrer le vaccin à tous les enfants de deuxième année, et d’utiliser les première et troisième années comme groupe témoin. Mais plusieurs chercheurs s’y sont opposé, notant que le passage de première en deuxième année se basait sur des notes, et que les meilleurs enfants (d’un point de vue scolaire) auraient accès au vaccin. Un autre souci est que si la variable de constitution des groupes était rendue publique, ceci entraîner de la triche, les médecins qui vaccinaient connaissaient le niveau scolaire des enfants, et leur opinion sur le fonctionnement des vaccins auraient pu faire induire les résultats, dans un sens ou dans l’autre, parfois simplement en encourageant certains enfants à ne pas participer à l’expérience. Dans la version randomisée, le choix de participer, ou pas, se faisait avant la constitution des groupes. La participation à l’expérience était liée à certaines variables (en particulier les mères dont le statut socio-économique était plus faible pensaient davantage que les vaccins étaient dangereux, et ont plus souvent retiré leurs enfants), mais l’affectation dans les groupes était complètement aléatoire, et les deux groupes pouvaient considérés comme comparables. Cette auto-sélection n’a causé aucun biais dans l’analyse, contrairement à ce qui se serait passé dans le cas non-randomisé[iii]. Cette première grande expérience randomisée a permis d’établir de manière non-ambiguë l’efficacité du vaccin dans la prévention de la polio, et a été un premier pas important dans l’éradication de la maladie (dans les pays développés au moins). Oui, car la polio est une maladie infectieuse, et cette expérience a été une étape fondamentale dans la recherche scientifique, montrant l’importance de cette méthode quand elle est possible.

Quand la randomisation est impossible ?

Dans une étude dite d’observation, c’est à dire une étude des effets d’un traitement sans attribution aléatoire des traitements, une association entre le traitement reçu et le résultat observé est généralement ambiguë, comme nous l’évoquions initialement. Cette association pourrait refléter un effet causé par le traitement (ce que l’on espère en lançant l’étude), ou un biais non mesuré dans la manière dont les traitements ont été attribués, voire une combinaison des deux.  Si Ronald Fisher a posé les bases mathématiques de l’expérimentation aléatoire, William Cochran a formalisé les méthodes d’échantillonnage, expliquant comment analyser les études d’observation.

Car les données d’observation ont un attrait indéniable, comme le notent Moses (1995) ou Benson & Hartz (2000), notamment un coût moindre, une plus grande rapidité pour obtenir des résultats, et souvent un plus grand nombre de patients. Mais elles peuvent donner des idées fausses. Avant 2002, sur la base d’études observationnelles, les médecins prescrivaient systématiquement une hormonothérapie substitutive aux femmes ménopausées pour prévenir les infarctus du myocarde. Yitschaky et al. (2011) rappelle que des expériences randomisées, menées entre 2002 et 2004, ont permis d’établir que certaines de ces femmes présentaient un taux d’infarctus du myocarde plus élevé que les femmes sous placebo, et que l’hormonothérapie substitutive (à base d’œstrogène uniquement) n’entraînait aucune réduction de l’incidence des maladies coronariennes. Comme l’expliquait déjà Sibbald & Martin (1998), seule une expérience randomisée permet de corriger une pratique, pourtant admise par la profession. On peut aussi penser à l’étude du MRC Vitamin Study Research Group (1991), qui est revenu sur une expérience (non-randomisée) visant à établir que l’apport de vitamines pendant la grossesse pourrait prévenir les anomalies du tube neural chez les enfants. Le comité d’éthique, dans les années 80, n’avait pas voulu priver les patients de ce traitement potentiellement utile, ce qui a eu des effets secondaires nocifs (non attendus), et a rendu difficile l’analyse des résultats – il a fallu plus de dix ans pour montrer que l’acide folique était la partie efficace du cocktail multivitaminé donnée aux femmes enceintes, comme le rappelle Sibbald & Martin (1998).

En pratique, les études d’observation sont utilisées principalement pour identifier les facteurs de risque, ou lorsque des essais contrôlés randomisés seraient impossibles, ou contraires à l’éthique. Ainsi, Larroque et al. (1995) s’est ainsi interrogé sur l’impact de la consommation d’alcool pendant la grossesse, en examinant les enfants quelques années plus tard (entre 4 et 5 ans). Ils ont comparé des niveaux de consommation d’alcool modérément faibles et modérément élevés, et ont constaté que les enfants dont les mères consommaient l’équivalent de quatre verres de vin, ou plus, par jour avaient des performances nettement inférieures dans une variété d’évaluations cognitives. Il a également été noté que les mères qui buvaient plus d’alcool étaient différentes de celles qui en buvaient moins : les plus grosses buveuses étaient moins instruites, plus âgées et fumaient plus souvent des cigarettes. Cette différence implique des biais importants lors de comparaisons. Ils ont proposé des méthodes pour évaluer ces biais, mais une expérience randomisée n’était alors pas envisageable : on ne pouvait pas forcer des mères à boires, ou d’autres à arrêter de boire. Comme le notait le U.S. Centers for Disease Control and Prevention en 2016[iv], même si une inférence causale est impossible sur le sujet, « why take the risk ? ». Parfois le principe de précaution s’impose.

De la pratique de la randomisation

Les expériences randomisées sont une méthode qu’il est étonnant de voir rejeter en bloc, comme le fait Raoult (2020a,b). Elles sont aujourd’hui un outil incontournable en sciences humaines, comme le rappelle Imai (2017). Mais leur pratique n’est pas sans danger. Comme le montre Stenagaga (2017), les expériences randomisées jouent un rôle fondamental non pas « en médecine », mais dans les procédures réglementaires qui encadrent la pratique de la médecine. Pour qu’un médicament (ou disons un traitement) soit approuvé par la Food and Drug Administration (FDA) des États-Unis, il doit généralement y avoir deux essais cliniques randomisés qui suggèrent que le médicament est supérieur à un placebo. Sans aucune contrainte sur le nombre d’essais effectués. Comme les tests négatifs sont souvent non-publiés, cette pratique tend à sur-estimer les bienfaits d’un traitement, à cause d’un biais de publication. Mais dans la période de crise sanitaire que l’on connait actuellement, refuser d’utiliser une telle technique n’est ni sérieux, ni raisonnable.

Références

Benson, K. & Hartz, A.J. (2000) A Comparison of Observational Studies and Randomized, Controlled Trials. New England Journal of Medicine, 342:1878-1886

Boring, E. G. (1954) The Nature and History of Experimental Control. American Journal of Psychology, vol. 67, no. 4, pp. 573–589.

Brownlee, K.A. (1955). Statistics of the 1954 polio vaccine trials. Journal of the American Statistical Association 50, 1005–1013

Charpentier, A., Elie, R. & Remlinger, C. (2020). Reinforcement Learning in Economics and Finance. ArXiv: 2003.10014.

Deaton A. (2010). Instruments, randomization, and learning about development. Journal of Economic Literature, vol. 48, n° 2 : 424-455.

Dehue T. (2001). Establishing the experimenting society: The historical origin of social experimentation according to the randomized controlled design. American Journal of Psychology, 114-2, p. 283-302.

Ferry-Danini, J. (2020). Petite introduction à l’éthique des essais cliniques. Medium.

Freedman, B. (1987). Equipoise and the ethics of clinical research. New England Journal of Medicine, 317: 141–145

Hacking, I. (1988). Telepathy: Origins of Randomization in Experimental Design. Isis, 79(3), 427-451

Headlam, J.W. (1891), Election by Lot at Athens. Cornell University Press.

Imai, K. (2017). Quantitative Social Science: An Introduction. Princeton University Press.

MRC Vitamin Study Research Group (1991). Prevention of neural tube defects. Results of the Medical Research Council Vitamin Study. Lancet 338:131-7.

Larroque, B., Kaminski, M., Dehaene, P., Subtil, D., Delfosse, M.J. & Querleu, D. (1995) Moderate prenatal alcohol exposure and psychomotor development at preschool age. American Journal of Public Health 85, 1654–1661.

Meier, M. (1990) Polio trial: An early efficient clinical trial. Statistics in Medicine, 9, 13–16.

Meldrum, M. (1998) A calculated risk: The Salk polio vaccine field trials of 1954. British Medical Journal 317, 1233–1236.

Moses, L. (1995). Measuring effects without randomized trials? Options, problems, challenges,” Medical Care 33: AS8–AS14.

Paternotte, C. (2020). Contre la méthode ?  Medium.

Raoult, D. (2020a). « Le médecin peut et doit réfléchir comme un médecin, et non pas comme un méthodologiste » Le Monde, 25 mars 2020

Raoult, D. (2020b). « L’éthique du traitement contre l’éthique de la recherche », le Pr Didier Raoult critique les « dérives » de la méthodologie. Le quotidien du médecin, 2 avril 2020.

Rosenbaum P. (2017), Observation and Experiment: An Introduction to Causal Inference. Harvard University Press.

Sibbald B. & Martin, R. (1998) Understanding controlled trials: Why are randomised controlled trials important? British Medical Journal. 316:201

Stegenga, J. (2018). Medical Nihilism. Oxford University Press.

Yitschaky, O., Yitschaky, M. & Zadik, Y. (2011) Case report on trial: Do you, Doctor, swear to tell the truth, the whole truth and nothing but the truth? Journal of Medical Case Reports 5, 179.

[i] En ligne sur https://www.youtube.com/watch?v=7TI3Re57X2Y

[ii] Comme le rappelle Headlam (1891), le tirage au sort a longtemps été utilisé dans la Grèce antique pour désigner les représentants. Il est aussi utilisé pour constituer des jury populaires. Cette méthode permettaient à certains d’y voir la possibilité d’une intervention divine.

[iii] En réalité, certains États ont opté pour cette approche. Plus de 200 000 enfants de deuxième année ont vaccinés (mais 125 000 enfants environs n’ont pas participé à l’expérience). L’ensemble des enfants de première et de troisième année ont participé à l’expérience, en tant que groupe témoin (non vaccinés). Dans le premier groupe, 17 cas de polio paralysante sur 100 000 ont été observé (comparable aux 16 cas dans le cas randomisé), mais seulement 46 cas dans le groupe supposé témoin. On passe ainsi de 16/57=28% à 17/46=37% de gain, qui est loin d’être comparable.

[iv] https://www.cdc.gov/vitalsigns/pdf/2016-02-vitalsigns.pdf

---

---