« Crise de la reproductibilité » : différence entre les versions

Un article de Wikipédia, l'encyclopédie libre.
Navigation interactive dans l’historique
← Modification précédenteModification suivante →
Contenu supprimé Contenu ajouté
VisuelWikicode
Jolek (discuter | contributions)
27 430 modifications
Jolek (discuter | contributions)
27 430 modifications
m →‎Psychologie : ajout + refs
Ligne 58 : Ligne 58 :


Le [[professeur émérite]] Daniel Kahneman affirme que les auteurs originaux devraient être présents lors du processus de reproduction pour combler les lacunes au niveau de la description de la méthode expérimentale<ref>{{lien web|langue=en|url=https://www.theguardian.com/science/head-quarters/2014/jun/10/physics-envy-do-hard-sciences-hold-the-solution-to-the-replication-crisis-in-psychology|titre=Physics envy: Do ‘hard' sciences hold the solution to the replication crisis in psychology?|prénom=Chris|nom=Chambers|date=10 juin 2014|éditeur=|via=The Guardian}}.</ref>. En effet, la présence de l'auteur original peut modifier la reproductibilité des résultats. En effet, une étude de 2012 indique que 91,7 % des essais de réplication avec les conseils de l'auteur original ont réussi, contrairement à 64,6 % pour celles réalisées sans sa présence<ref name=":1">{{article|langue=en|titre = Replications in Psychology Research How Often Do They Really Occur?|url = http://pps.sagepub.com/content/7/6/537|journal = Perspectives on Psychological Science|date = 2012-11-01|issn = 1745-6916|pmid = 26168110|pages = 537–542|volume = 7|numéro = 6|doi = 10.1177/1745691612460688|prénom = Matthew C.|nom = Makel|prénom2 = Jonathan A.|nom2 = Plucker|prénom3 = Boyd|nom3 = Hegarty}}.</ref>.
Le [[professeur émérite]] Daniel Kahneman affirme que les auteurs originaux devraient être présents lors du processus de reproduction pour combler les lacunes au niveau de la description de la méthode expérimentale<ref>{{lien web|langue=en|url=https://www.theguardian.com/science/head-quarters/2014/jun/10/physics-envy-do-hard-sciences-hold-the-solution-to-the-replication-crisis-in-psychology|titre=Physics envy: Do ‘hard' sciences hold the solution to the replication crisis in psychology?|prénom=Chris|nom=Chambers|date=10 juin 2014|éditeur=|via=The Guardian}}.</ref>. En effet, la présence de l'auteur original peut modifier la reproductibilité des résultats. En effet, une étude de 2012 indique que 91,7 % des essais de réplication avec les conseils de l'auteur original ont réussi, contrairement à 64,6 % pour celles réalisées sans sa présence<ref name=":1">{{article|langue=en|titre = Replications in Psychology Research How Often Do They Really Occur?|url = http://pps.sagepub.com/content/7/6/537|journal = Perspectives on Psychological Science|date = 2012-11-01|issn = 1745-6916|pmid = 26168110|pages = 537–542|volume = 7|numéro = 6|doi = 10.1177/1745691612460688|prénom = Matthew C.|nom = Makel|prénom2 = Jonathan A.|nom2 = Plucker|prénom3 = Boyd|nom3 = Hegarty}}.</ref>.

Selon une étude d'Andy<ref>{{Article |langue=en |nom1=Yeung |prénom1=Andy W. K. |date=2017 |titre=Do Neuroscience Journals Accept Replications? A Survey of Literature |périodique=Frontiers in Human Neuroscience |volume=11 |pages=468 |doi=10.3389/fnhum.2017.00468|pmid=28979201 |pmc=5611708}}</ref> et une autre de Martin et Clarke<ref>{{Article |nom1=Martin |prénio1m=G. N. |nom2=Clarke |prénom2=Richard M. |date=2017 |titre=Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices |périodique=Frontiers in Psychology |volume=8 |pages=523 |doi=10.3389/fpsyg.2017.00523 |pmid=28443044 |pmc=5387793 </ref> une toute petite proportion des journaux académiques en psychologie et en neurosciences demandaient explicitement les réplications des recherches.


== Causes ==
== Causes ==

Version du 25 juillet 2020 à 23:54

La crise de la reproductibilité (replication crisis ou replicability crisis ou reproducibility crisis en anglais) fait référence à la crise méthodologique dans le domaine des sciences selon laquelle de nombreux résultats publiés dans des revues scientifiques sont difficiles, voire impossibles à reproduire au cours d'études subséquentes. Initiée au milieu des années 2000, la crise prend de l'ampleur au milieu des années 2010, nourrie par la publication de plusieurs articles sur le phénomène.

La crise n'est pas propre à un domaine unique bien qu'elle semble moins toucher les sciences fondamentales et appliquées que les sciences médicales. Les facteurs qui en sont responsables semblent nombreux. Des pistes d'amélioration de la reproductibilité au sein des publications scientifiques, dont notamment l'amélioration des critères de publication, sont explorées.

Historique

Article de Ioannidis.
Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?

En 2005, John Ioannidis, professeur de médecine et chercheur à l'école de médecine de l'université Stanford, est l'un des premiers à faire état de la crise dans son article Why Most Published Research Findings Are False[1]. Il y expose, notamment, que la nature incertaine de la recherche scientifique rend souvent difficile la détermination avec précision des causes de non-reproductibilité d'une expérience et ainsi rend improbable l'atteinte éventuelle d'un taux de validité des résultats de 100 % dans la littérature publiée[1].

Étendue du phénomène

La pyramide de la complexité montre la complexité croissante des structures et, conséquemment, des disciplines qui les étudient. Plus le phénomène étudié est complexe, plus difficile est la reproductibilité d'une étude le concernant.

Le phénomène de non-reproductibilité semble être présent au sein d'un grand éventail de disciplines. Certaines, comme la physique et la chimie, sont moins affectées que d'autres[2], alors que l'exactitude de domaines comme la psychologie sociale est sévèrement touchée[3]. Il est particulièrement répandu en médecine et atteint également la biologie, la recherche biomédicale, la pharmacologie (dans le domaine des neurosciences et de la psychiatrie), la psychologie ou encore l'écologie[4].

Selon un sondage sur la reproductibilité des recherches sur le cancer, 50 % des répondants affirment avoir fait l'expérience d'au moins un épisode d'incapacité à reproduire des données publiées. Plusieurs étant incapable de déterminer la source du problème même en interrogeant les auteurs originaux[5].

Selon une étude réalisée auprès de 1 500 scientifiques et publiée par Nature en 2016, plus de 70 % des chercheurs affirment avoir été incapables de reproduire l'expérience scientifique d'un autre chercheur et plus de la moitié affirment avoir échoué à reproduire leur propre expérience. Selon les disciplines, les pourcentages se répartissent ainsi :

Discipline % d'échec d'expériences de collègues % d'échec de sa propre expérience
Chimie 90 60
Biologie 80 60
Physique et ingénierie 70 50
Médecine 70 60
Géologie et environnement 60 40

Des analyses portantes sur les taux de succès de reproduction dans les domaines de la psychologie et de l'oncologie étaient respectivement 40 %[6] et 10 %[7].

Médecine

Le domaine médical est l'un des domaines les plus touchés par la crise de reproductibilité. La problématique provient entre autres de la forte variabilité dans les systèmes biologiques, de la nature complexe de la médication et des pathologies (particulièrement les cancers)[8] ainsi que des limitations propres aux outils et modèles utilisés durant les tests pré-cliniques[7].

L'augmentation significative du nombre de recherches biomédicales fait en sorte que plusieurs traitements atteignent très rapidement l'étape de développement clinique avant même d'avoir terminé toutes les évaluations de la phase pré-clinique requises normalement[8],[7]. Ainsi, au cours des dernières années, le monde médical aurait été envahi par de nombreuses publications pré-cliniques non reproductibles et des centaines de publications secondaires seraient affectées[7][source insuffisante].

D'après Ioannidis (2005), sur 49 études médicales publiées de 1990 à 2003, 45 affirment que les thérapies étudiées sont efficaces, alors que 16 % de ces études ont été contredites par des travaux, 16 % ont surévalué l'efficacité des traitements et 24 % n'étaient pas reproductibles[9]. La Food and Drug Administration a trouvé de son côté des lacunes dans près de 10 à 20 % d'études médicales publiées entre 1977 et 1990[10]. En 2016, le chercheur affirme que la médecine est moins centrée sur les besoins du patient que sur les besoins des médecins, investisseurs et chercheurs[11].

Dans un article publié en 2012, des chercheurs ont déterminé que 11 % des études pré-cliniques sur le cancer sont reproductibles[7],[12].

Psychologie

Bien que les problèmes de reproductibilité soient présents dans plusieurs domaines, ils sont souvent associés à la psychologie[13],[14]. En effet, plusieurs facteurs ont fait de la psychologie le centre de la controverse, notamment la psychologie sociale.

Les résultats du Reproductibility project (en) démontrent que seulement 36 % des études testées avaient des résultats significatifs par rapport à 97 % des recherches initiales. La taille du taux d'effet de la réplication était en moyenne deux fois moins grande que celle de la recherche originale ainsi la moitié des recherches en psychologie cognitive et trois-quart de celles en psychologie sociale n'ont pas pu être reproduites[15].

Un des problèmes du milieu de la psychologie est que, selon une analyse des recherches des 100 plus importants journaux de psychologie entre 1900 et 2012, seulement environ 1,07 % des publications sont des expériences de réplication et que seulement 78,9 % de ces expériences de réplication étaient concluantes[16].

Selon Daniel Kahneman, trois éléments remettent en question la reproductibilité en psychologie[17] :

  1. De mauvaises pratiques de recherche (en) (questionable research practices, QRP) semblent fréquentes dans le domaine. En effet, un sondage réalisé auprès de plus de 2 000 psychologues montre qu'une majorité des répondants affirme avoir au moins une fois réalisé une QRP[18]. Les faux-positifs sont fréquents. Ils résulteraient de la pression à publier ou du biais de confirmation de l'auteur[19].
  2. La psychologie s'est retrouvée au centre de cas de recherches frauduleuses très importants, comme le cas de Diederik Stapel[20], qui a fortement nui à l'image de la psychologie sociale. Cependant, cet aspect contribuerait peu à l'absence de reproductibilité[réf. souhaitée].
  3. En dernier lieu, des problèmes de réplications dans le domaine avaient été découverts bien avant le début de la crise. En effet, des journaux scientifiques comme le Judgment and Decision Making (en) a publié plusieurs études au fil des ans sur des tentatives de reproduction non fructueuses. Les reproductions sont d'ailleurs particulièrement difficiles lorsqu'elles sont menées par des groupes n'ayant pas un fort lien avec le sujet.

James Coyne, un psychologue et professeur en psychologie, a récemment écrit que beaucoup de recherches et de méta-analyse sont compromises par leur piètre qualité et les conflits d'intérêts entre les auteurs et les groupes de défenses d'intérêts, ce qui résulterait en beaucoup de faux positifs quant à l'efficacité de certains types de psychothérapie[21].

Le professeur émérite Daniel Kahneman affirme que les auteurs originaux devraient être présents lors du processus de reproduction pour combler les lacunes au niveau de la description de la méthode expérimentale[22]. En effet, la présence de l'auteur original peut modifier la reproductibilité des résultats. En effet, une étude de 2012 indique que 91,7 % des essais de réplication avec les conseils de l'auteur original ont réussi, contrairement à 64,6 % pour celles réalisées sans sa présence[16].

Selon une étude d'Andy[23] et une autre de Martin et Clarke[24] une toute petite proportion des journaux académiques en psychologie et en neurosciences demandaient explicitement les réplications des recherches.

Causes

Les rayons N sont un cas classique de biais de confirmation.

Ionnidis et Begley identifient en 2015 de nombreuses causes à ce problème[8].

Un problème bien connu en sciences est le biais de confirmation. Plusieurs recherches non-reproductibles pourraient s'expliquer par une mauvaise gestion de ce phénomène[25].

Certaines expériences sont plus faciles à reproduire que d'autres. Ainsi, par exemple, certaines reproductions de l'expérience de la tour de Pise (en) de Galilée, notamment sur la Lune par l'astronaute David Scott ainsi qu'au Space Power Facility (en) de la NASA lors du tournage du quatrième épisode de la série Human Universe (en)[26], demandent des moyens qui étaient inaccessibles à l'expérimentateur initial.

Le mécanisme même de la publication de la recherche scientifique est également pointé du doigt. En effet, peu de revues s'intéressent à la publication de reproductions d'expériences précédentes. Elles priorisent plutôt les publications présentant des découvertes, ce qui fait en sorte que les expériences de reproduction sont considérées comme un gaspillage de ressources[27]. De plus, le lien direct entre l'avancée de la carrière d'un chercheur et le nombre de ses publications dans des revues renommées entraîne une certaine pression à publier, exprimée par l'expression publier ou périr (publish or perish). Ce phénomène pousserait les scientifiques, consciemment ou non, à modifier ou à interpréter ses résultats pour qu'ils soient publiés. Cette incitation à la publication de nouveaux articles vient du fait que les chercheurs doivent se faire une notoriété par la publication pour pouvoir recevoir des fonds de recherche[28]. Ainsi, lorsqu'un article n'est pas à la hauteur, il est possible de modifier les résultats pour qu'il le soit. Aussi, le fait que les chercheurs doivent publier plus rapidement pour ne pas sombrer dans l'oubli, crée une augmentation de la quantité de recherche publiée, mais la qualité de ces articles n'est pas toujours bonne vu le fait que les scientifiques ne peuvent pousser autant leurs recherches par manque de temps[28].

Fraudes

Article connexe : fraude scientifique.

La fraude scientifique ne serait pas une cause importante de la crise de la reproductibilité. Ainsi, bien que certains cas fortement médiatisés laissent croire une certaine étendue du phénomène[29],[30],[31], ces derniers sont relativement rares, ce qui fait en sorte qu'ils ne représentent qu'une mince partie des mauvaises publications.

Une méta-analyse portant sur l'inconduite de plusieurs scientifiques indique qu'en moyenne 2 % des scientifiques ont admis avoir fabriqué, falsifié ou modifié des résultats d'analyse au moins une fois. Entre 5,2 et 33,3 % des répondants ont affirmé avoir eu connaissance de collègues ayant fabriqué ou falsifié des résultats de recherche[31].

Selon la banque de données de PubMed, 0,02 % des publications sont retirées pour des raisons de mauvaise conduite[32].

Aux États-Unis, d'après les cas confirmés par le gouvernement américain, des éléments de fraude sont documentés dans les travaux de 1 scientifique sur 100 000. 8 parmi 800 publications présentées à The Journal of Cell Biology (en) comportent des images qui ont été manipulées de manière incorrecte[33].

Pistes de solutions

Plusieurs pistes sont explorées pour diminuer le nombre d'études non-reproductibles au sein des publications scientifiques.

En juillet 2016, le gouvernement des Pays-Bas annonce l'investissement de 3 millions d'euros afin d'augmenter le nombre d'expériences de reproduction dans les domaines des sciences sociales et de la médecine[34].

Notes et références

  1. ↑ a et b (en) John P. A. Ioannidis, « Why Most Published Research Findings Are False », PLoS Medicine, vol. 2, no 8,‎ , e124 (ISSN 1549-1277, PMID 16060722, PMCID 1182327, DOI 10.1371/journal.pmed.0020124).
  2. ↑ (en) Monya Baker, « 1,500 scientists lift the lid on reproducibility », Nature, vol. 533, no 7604,‎ , p. 452-454 (lire en ligne).
  3. ↑ (en) Gary Marcus, « The Crisis in Social Psychology That Isn't », The New Yorker, .
  4. ↑ (en) Jonah Lehrer, « The Truth Wears Off », The New Yorker, .
  5. ↑ (en) Aaron Mobley, « A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic », PLoS One,‎ (lire en ligne)
  6. ↑ (en) Monya Baker, « Over half of psychology studies fail reproducibility test », Nature,‎ (lire en ligne).
  7. ↑ a b c d et e (en) C. Glenn Begley, « Drug development: Raise standards for preclinical cancer research », Nature, vol. 483, no 7391,‎ , p. 531-533 (lire en ligne).
  8. ↑ a b et c (en) Begley, C. G. et Ioannidis, J. P., « Reproducibility in Science: Improving the Standard for Basic and Preclinical Research », Circulation Research, vol. 116, no 1,‎ , p. 116–126 (PMID 25552691, DOI 10.1161/CIRCRESAHA.114.303819)
  9. ↑ (en) Ioannidis JA, « Contradicted and initially stronger effects in highly cited clinical research », JAMA, vol. 294, no 2,‎ , p. 218–228 (DOI 10.1001/jama.294.2.218, lire en ligne).
  10. ↑ (en) J. Leslie Glick, « Scientific data audit—A key management tool », Accountability in Research, vol. 2, no 3,‎ , p. 153–168 (DOI 10.1080/08989629208573811, lire en ligne).
  11. ↑ Ioannidis JPA, 2016, Why Most Clinical Research Is Not Useful, PLoS Med 13(6): e1002049. doi:10.1371/journal.pmed.1002049.
  12. ↑ (en)Begley, C.G., 2013, Reproducibility: Six red flags for suspect work, Nature, 497, 433–434.
  13. ↑ (en) Joel Achenbach, « No, science's reproducibility problem is not limited to psychology », sur The Washington Post (consulté le ).
  14. ↑ (en) Tom Bartlett, « Power of Suggestion », .
  15. ↑ (en) Open Science Collaboration, « Estimating the reproducibility of psychological », Science, vol. 349, no 6251,‎ , aac4716 (ISSN 0036-8075, PMID 26315443, DOI 10.1126/science.aac4716, lire en ligne)
  16. ↑ a et b (en) Matthew C. Makel, Jonathan A. Plucker et Boyd Hegarty, « Replications in Psychology Research How Often Do They Really Occur? », Perspectives on Psychological Science, vol. 7, no 6,‎ , p. 537–542 (ISSN 1745-6916, PMID 26168110, DOI 10.1177/1745691612460688, lire en ligne).
  17. ↑ (en) Daniel Kahneman, « A New Etiquette for Replication ».
  18. ↑ (en) Leslie K. John, George Loewenstein et Drazen Prelec, « Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling », Psychological Science, vol. 23, no 5,‎ , p. 524–532 (ISSN 0956-7976, PMID 22508865, DOI 10.1177/0956797611430953, lire en ligne).
  19. ↑ (en) Joseph Simmons, Leif Nelson et Uri Simonsohn, « False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant », Association for Psychological Science, Washington DC, vol. 22, no 11,‎ , p. 1359–1366 (ISSN 0956-7976, PMID 22006061, DOI 10.1177/0956797611417632, lire en ligne, consulté le ).
  20. ↑ (en) Christopher Shea, « Fraud Scandal Fuels Debate Over Practices of Social Psychology », .
  21. ↑ (en) James Coyne, « Are meta analyses conducted by professional organizations more trustworthy? », Mind the Brain, (consulté le ).
  22. ↑ (en) Chris Chambers, « Physics envy: Do ‘hard' sciences hold the solution to the replication crisis in psychology? », .
  23. ↑ (en) Andy W. K. Yeung, « Do Neuroscience Journals Accept Replications? A Survey of Literature », Frontiers in Human Neuroscience, vol. 11,‎ , p. 468 (PMID 28979201, PMCID 5611708, DOI 10.3389/fnhum.2017.00468)
  24. ↑ {{Article |nom1=Martin |prénio1m=G. N. |nom2=Clarke |prénom2=Richard M. |date=2017 |titre=Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices |périodique=Frontiers in Psychology |volume=8 |pages=523 |doi=10.3389/fpsyg.2017.00523 |pmid=28443044 |pmc=5387793
  25. ↑ (en) Regina Nuzzo, « How scientists fool themselves-and how they can stop », Nature, vol. 526, no 7552,‎ (lire en ligne).
  26. ↑ (en) [vidéo] Brian Cox visits the world's biggest vacuum chamber - Human Universe: Episode 4 Preview - BBC Two sur YouTube.
  27. ↑ (en) Jim Albert Charlton Everett et Brian D. Earp, « A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers », Frontiers in Psychology, vol. 6,‎ , p. 1152 (PMID 26300832, PMCID 4527093, DOI 10.3389/fpsyg.2015.01152, lire en ligne).
  28. ↑ a et b (en) Seema Rawat et Sanjay Meena, « Publish or perish: Where are we heading? », JResMedSci.,‎ (lire en ligne).
  29. ↑ Agence Science-Presse, "Le Watergate du clonage", 9 janvier 2006.
  30. ↑ [PDF] (en) « DFG Imposes Sanctions Against Jan Hendrik Schön », Deutsche Forschungsgemeinschaft, .
  31. ↑ a et b (en) Daniele Fanelli, « How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data », PLOS ONE, vol. 4, no 5,‎ , e5738 (PMID 19478950, PMCID 2685008, DOI 10.1371/journal.pone.0005738, lire en ligne).
  32. ↑ (en) Claxton LD, « Scientific authorship. Part 1. A window into scientific fraud? », Mutation Research, vol. 589, no 1,‎ , p. 17-30.
  33. ↑ (en) Steneck NH, « Fostering integrity in research: definitions, current knowledge, and future directions », Science and engineering ethics, vol. 12, no 1,‎ , p. 53-74.
  34. ↑ (en) « NWO makes 3 million available for Replication Studies pilot », sur NWO (consulté le ).

Voir aussi

Bibliographie

  • (en) Jonathan W. Schooler, « Metascience could rescue the 'replication crisis' », Nature, vol. 515, no 7525,‎ , p. 9 (lire en ligne)
  • (en) Daniel J. Niven, T. Jared McCormick, Sharon E. Straus et Brenda R. Hemmelgarn, « Reproducibility of clinical research in critical care: a scoping review », BMC Medicine, vol. 16,‎ (PMID 29463308, PMCID 5820784, DOI 10.1186/s12916-018-1018-6).

Articles connexes

Liens externes

Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Crise_de_la_reproductibilité&oldid=173270876 ».