Why Most Published Research Findings Are False

Le PDF du papier

"Pourquoi la plupart des résultats de recherche publiés sont faux" est un essai de 2005 écrit par John Ioannidis, professeur à la Stanford School of Medicine, et publié dans PLOS Medicine. Il est considéré comme fondamental dans le domaine de la métascience.

Dans l'article, Ioannidis a fait valoir qu'un grand nombre, sinon la majorité, des articles de recherche médicale publiés contiennent des résultats qui ne peuvent pas être reproduits. En termes simples, l'essai indique que les scientifiques utilisent des tests d'hypothèses pour déterminer si les découvertes scientifiques sont significatives. La « significativité » est formalisée en termes de probabilité, et un calcul formalisé (« valeur p ») est rapporté dans la littérature scientifique comme un mécanisme de dépistage. Ioannidis a émis des hypothèses sur la façon dont les gens effectuent et rapportent ces tests ; puis il a construit un modèle statistique qui indique que la plupart des résultats publiés sont des faux positifs .

Argument

Supposons que dans un domaine scientifique donné, il existe une probabilité de base connue qu'un résultat soit vrai, notée $\mathbb {P} ({\text{Vrai}})$ . Lorsqu'une étude est menée, la probabilité qu'un résultat positif soit obtenu est $\mathbb {P} (+)$. Compte tenu de ces deux facteurs, nous voulons calculer la probabilité conditionnelle $\mathbb {P} ({\text{Vrai}}\mid +)$, connue sous le nom de valeur prédictive positive (VPP). Le théorème de Bayes nous permet de calculer la VPP comme suit :

$$\mathbb {P} ({\text{Vrai}}\mid +)={(1-\beta )\mathbb {P} ({\text{Vrai}}) \over {(1-\beta )\mathbb {P} ({\text{Vrai}})+\alpha \left[1-\mathbb {P} ({\text{Vrai}})\right]}}$$

où $\alpha$ est le taux d'erreur de type I et $\beta$ le taux d'erreur de type II ; la puissance statistique est $1-\beta$ . Il est d'usage dans la plupart des recherches scientifiques de désirer $\alpha =0,05$ et $\beta =0,2$ . Si nous supposons $\mathbb {P} ({\text{Vrai}})=0,1$ pour un domaine scientifique donné, alors nous pouvons calculer la VPP pour différentes valeurs de $\alpha$ et $\beta$ :

	$\beta$
$\alpha$	0,1	0,2	0,3	0,4	0,5	0,6	0,7	0,8	0,9
0,01	0,91	0,90	0,89	0,87	0,85	0,82	0,77	0,69	0,53
0,02	0,83	0,82	0,80	0,77	0,74	0,69	0,63	0,53	0,36
0,03	0,77	0,75	0,72	0,69	0,65	0,60	0,53	0,43	0,27
0,04	0,71	0,69	0,66	0,63	0,58	0,53	0,45	0,36	0,22
0,05	0,67	0,64	0,61	0,57	0,53	0,47	0,40	0,31	0,18

Cependant, la formule simple de la VPP dérivée du théorème de Bayes ne tient pas compte du biais dans la conception de l'étude ou dans le rapport. Certains résultats publiés n'auraient pas été présentés comme des résultats de recherche s'ils n'avaient pas été biaisés par les chercheurs. Laisser $u\in [0,1]$ être la probabilité qu'une analyse n'ait été publiée qu'en raison d'un parti pris du chercheur. Alors la VPP est donnée par l'expression plus générale :

$$\mathbb {P} ({\text{Vrai}}|+)={\left[1-(1-u)\beta \right]\mathbb {P} ({\text{Vrai}}) \over {\left[1-(1-u)\beta \right]\mathbb {P} ({\text{Vrai}})+\left[(1-u)\alpha +u\right]\left[1-\mathbb {P} ({\text{True}})\right]}}$$

L'introduction d'un biais aura tendance à faire baisser la VPP ; dans le cas extrême où le biais d'une étude est maximisé, $\mathbb {P} ({\text{Vrai}}\mid +)=\mathbb {P} ({\text{Vrai}})$. Même si une étude répond aux exigences de référence pour $\alpha$ et $\beta$, et est exempte de biais, il existe toujours une probabilité de 36 % qu'un article faisant état d'un résultat positif soit incorrect ; si la probabilité de base d'un vrai résultat est plus faible, cela fera également baisser le PPV. En outre, il existe des preuves solides que la puissance statistique moyenne d'une étude dans de nombreux domaines scientifiques est bien inférieure au niveau de référence de 0,8.

Compte tenu des réalités du biais, de la faible puissance statistique et du petit nombre d'hypothèses vraies, Ioannidis conclut que la majorité des études dans divers domaines scientifiques sont susceptibles de rapporter des résultats faux.

Corollaires

En plus du résultat principal, Ioannidis énumère six corollaires pour les facteurs qui peuvent influencer la fiabilité des recherches publiées.

Les résultats de recherche dans un domaine scientifique sont moins susceptibles d'être vrais,

1. plus les études menées sont petites.
2. plus les tailles d'effet sont petites.
3. plus le nombre est grand et moins la sélection de relations testées est importante.
4. plus grande est la flexibilité dans les conceptions, les définitions, les résultats et les modes d'analyse.
5. plus les intérêts et les préjudices financiers et autres sont grands .
6. plus le domaine scientifique est chaud (avec plus d'équipes scientifiques impliquées).

Ioannidis a ajouté à ce travail en contribuant à une étude méta-épidémiologique qui a révélé que seulement 1 intervention sur 20 testée dans les revues Cochrane présente des avantages étayés par des preuves de haute qualité. Il a également contribué à des recherches suggérant que la qualité de ces preuves ne semble pas s'améliorer avec le temps.

Réception

Malgré le scepticisme à l'égard des déclarations extrêmes faites dans l'article, l'argument plus large et les avertissements de Ioannidis ont été acceptés par un grand nombre de chercheurs. La croissance de la métascience et la reconnaissance d'une crise de réplication scientifique ont renforcé la crédibilité de l'article et conduit à des appels à des réformes méthodologiques dans la recherche scientifique.

Dans les commentaires et les réponses techniques, les statisticiens Goodman et Greenland ont identifié plusieurs faiblesses dans le modèle de Ioannidis. L'utilisation par Ioannidis d'un langage dramatique et exagéré selon lequel il « prouvait » que la plupart des affirmations des résultats de la recherche sont fausses et que « la plupart des résultats de la recherche sont faux pour la plupart des conceptions de recherche et pour la plupart des domaines » [italiques ajoutés] a été rejetée, et pourtant ils étaient d'accord avec son conclusions et recommandations du document.

Les biostatisticiens Jager et Leek ont critiqué le modèle comme étant basé sur des hypothèses justifiables mais arbitraires plutôt que sur des données empiriques, et ont mené leur propre enquête qui a calculé que le taux de faux positifs dans les études biomédicales était estimé à environ 14 %, pas plus de 50 % comme affirmé par Ioannidis. Leur article a été publié dans une édition spéciale de 2014 de la revue Biostatistics, accompagné de critiques détaillées et étayées d'autres statisticiens. Leek a résumé les principaux points d'accord comme suit : lorsque l'on parle du taux de fausses découvertes scientifiques, il faut apporter des données ; il existe différents cadres pour estimer le taux de fausses découvertes scientifiquement parlant ; et « il est assez peu probable que la plupart des recherches publiées soient fausses », mais cela varie probablement selon la définition de « la plupart » et de « faux ».

Le statisticien Ulrich Schimmack a renforcé l'importance de la base empirique des modèles en notant que le taux de fausses découvertes signalé dans certains domaines scientifiques n'est pas le taux de découverte réel car des résultats non significatifs sont rarement rapportés. Le modèle théorique de Ioannidis ne tient pas compte de cela, mais lorsqu'une méthode statistique (« courbe en z ») pour estimer le nombre de résultats non significatifs non publiés est appliquée à deux exemples, le taux de faux positifs se situe entre 8 % et 17 %, et non supérieur à 50 %.

Causes du taux élevé de faux positifs

Malgré ces faiblesses, il y a néanmoins un accord général avec le problème et les recommandations dont Ioannidis discute, mais son ton a été décrit comme « dramatique » et « trompeur alarmant », ce qui risque de rendre les gens inutilement sceptiques ou cyniques à l'égard de la science.

Un impact durable de ce travail a été la prise de conscience des facteurs sous-jacents du taux élevé de faux positifs en médecine clinique et en recherche biomédicale, et les efforts des revues et des scientifiques pour les atténuer. Ioannidis a reformulé ces moteurs en 2016 comme étant :

• Enquêteur seul et cloisonné, limité à des échantillons de petite taille
• Pas de pré-enregistrement des hypothèses testées
• Sélection post-hoc des hypothèses avec les meilleures valeurs p
• Ne nécessitant que p < 0,05
• Pas de réplication
• Pas de partage de données

Voir également

• Théorème de Bayes
• Métascience
• Crise de réplication
  • Initiative de Berkeley pour la transparence dans les sciences sociales
  • Dragage de données
  • Biais de publication
  • Projet de reproductibilité

Lectures complémentaires

• Carnegie Mellon University, Statistics Journal Club : Résumé et discussion sur : « Pourquoi la plupart des résultats de recherche publiés sont faux »
• Applications à l'économie : De Long, J. Bradford ; Lang, Kévin. « Toutes les hypothèses économiques sont-elles fausses ? Journal d'économie politique. 100 (6): 1257-1272, 1992
• Applications aux sciences sociales : Hardwicke, Tom E. ; Wallach, Joshua D.; Kidwell, Mallory C.; Bendixen, Theiss; Crüwell Sophia et Ioannidis, John PA "Une évaluation empirique des pratiques de recherche liées à la transparence et à la reproductibilité dans les sciences sociales (2014-2017)." Société royale des sciences ouvertes. 7 : 190806, 2020.

Liens externes

• Vidéo(s) YouTube de la Berkeley Initiative for Transparency in the Social Sciences, 2016, "Why Most Published Research Findings are False" ( Part I, Part II, Part III )
• Vidéo YouTube de John Ioannidis lors de Talks at Google, 2014 "Reproductible Research : True or False ?"