Pourquoi les expériences de psychologie ne sont-elles pas toujours reproductibles ?
Rigueur scientifique et reproductibilité des résultats
La reproductibilité des résultats lors de la réplication d’une expérience est une des bases de la méthode scientifique. Si les mesures obtenues, les effets mis en évidence, ne sont pas reproductibles, on peut légitimement se poser des questions sur leur validité.
La reproductibilité des résultats en psychologie, et notamment en psychologie sociale, est depuis quelques années questionnée. En 2011, Daryl J. Bem, psychologue bien connu, a publié un article dans lequel il prétendait apporter des preuves empiriques de la capacité de certains individus à prédire l'avenir. Ses résultats ont été par la suite réfutés mais cette publication fait germer le doute : les chercheurs en psychologie auraient-ils de mauvaises pratiques de recherche qui mèneraient à des résultats parfois douteux ? Depuis, ils tentent d'évaluer et de prévenir ce genre de problèmes.
C'est dans ce but qu'un collectif de 186 chercheurs, de 60 laboratoires répartis dans le monde entier, a sélectionné 28 expériences classiques et récentes de psychologie et les ont reproduites pour voir s’ils arrivaient bien aux mêmes résultats. L’objectif de ce projet nommé "Many Labs 2" était notamment de tester une hypothèse souvent avancée pour expliquer la mauvaise reproductibilité des expériences en psychologie : la dépendance à l’échantillon. En effet, l’échec de réplication élevé pour les expériences de psychologie pourrait s’expliquer par des différences d’échantillons (nombre de sujets, caractéristiques, etc.) avec l’expérience initiale.
14 réussites mais aussi 14 échecs pour les 28 expériences répliquées
Les 28 expériences ont été reproduites dans les 60 laboratoires avec une taille médiane d’échantillon de 7021 sujets, soit plus de 60 fois la taille médiane des expériences initiales. Mais même avec ces échantillons conséquents, de sujets originaires des six continents, les résultats initiaux n’ont pas pu être retrouvés pour 14 des 28 expériences, et quelle que soit l’échantillon considéré. En revanche, pour les expériences répliquées avec succès, les effets étaient significatifs dans tous les échantillons.
"Quand l’effet était bien reproductible, la diversité de nos échantillons n’a finalement pas eu beaucoup d’impact sur les résultats. Cela nous a beaucoup surpris" avoue Rick Klein, l’un des responsables du projet, chercheur associé au Laboratoire de psychologie de l’Université de Grenoble Alpes. "La variabilité observée semble indiquer que l’ampleur de l’effet est plus grande dans certains échantillons que dans d’autres mais l’effet était bien présent dans tous."
Pourquoi des résultats si peu robustes ?
La réplication d’études antérieures répond à une préoccupation de la communauté scientifique qui s’interroge sur la fiabilité des résultats publiés notamment en psychologie sociale. Le taux élevé d’échec lors de réplication d’expériences dans cette discipline a vraisemblablement différentes causes mais pourrait être induit par la pression de publication ("publish or perish"). En effet, cette pression forte ressentie par les chercheurs les pousserait à publier uniquement leurs résultats positifs et à ignorer ou éliminer les résultats négatifs, conduisant à un biais de sélection. Les résultats positifs ne pourraient alors parfois n’être que des artéfacts statistiques dus au hasard ou à des erreurs d’expérimentation. Ces résultats déformeraient les preuves publiées dans la littérature scientifique et surtout, empêcheraient d'identifier les conditions précises dans lesquelles les effets réels sont observés.
Améliorer les méthodes pour améliorer la reproductibilité
Les réplications des 28 expériences dans le projet Many Labs 2 se sont affranchies des critiques courantes pouvant expliquer la non-reproductibilité d’un résultat : la taille des échantillons était statistiquement suffisante pour que les effets recherchés apparaissent et les expériences ont été conduites dans les meilleures conditions, suivant les protocoles initiaux et avec l’aide des auteurs des études antérieures. "Nous avons mené les tests les plus rigoureux pour retrouver les conclusions originales" explique Michelangelo Vianello, professeur à l’Université de Padoue également responsable de l’étude. "Il est étonnant qu’avec toutes ces précautions, nous n’ayons pu retrouver les conclusions initiales que pour la moitié des études. Ces échecs ne signifient pas que ces conclusions étaient fausses, mais ils suggèrent qu'elles ne sont pas aussi robustes qu'on aurait pu le supposer. Des recherches supplémentaires sont nécessaires pour déterminer s’il existe des conditions dans lesquelles les effets non reproduits peuvent être observés. Le projet Many Labs 2 permet de dire en tout cas que les caractéristiques de l’échantillon n’ont pas d’incidence sur l’échec de reproductibilité."
Étudier la reproductibilité des expériences permet de proposer des améliorations méthodologiques essentielles pour la qualité et la rigueur de la recherche scientifique. Le projet Many Labs 2 suggère ainsi plusieurs pistes d’évolution, en particulier une pré-déclaration des expériences menées (dont les résultats seraient publiés qu’ils soient positifs ou négatifs), l’utilisation de Registered Reports en partenariat avec la revue scientifique permettant un examen du protocole expérimental par les pairs avant que les résultats ne soient connus et un partage de toutes les données, codes et matériels en libre accès pour tous les chercheurs. "A l'Université Grenoble Alpes, nous nous poussons constamment les uns, les autres pour améliorer nos protocoles et à développer de nouvelles pratiques pour nous assurer que nos résultats et nos découvertes soient robustes et fiables" complète Rick Klein.
Avec cette prise de conscience des problèmes liés à la reproductibilité et l’adoption de ces nouveaux principes méthodologiques, la recherche en psychologie améliore sa précision et commence à réaliser son potentiel de compréhension du comportement et de la cognition des êtres humains.
Laboratoire inter-universitaire de psychologie : Université Grenoble Alpes / Université Savoie Mont Blanc.
Mis à jour le27 avril 2022
Vous aimerez peut-être aussi
- The Conversation : "Avec la guerre, changement d’ère dans la géopolitique du climat ?"
- The Conversation : "Dépenses, manque de transparence… pourquoi le recours aux cabinets de conseil est si impopulaire ?"
- The Conversation : "Et pourtant, on en parle… un peu plus. L’environnement dans la campagne présidentielle 2022"
- The Conversation : "L’empreinte carbone, un indicateur à utiliser avec discernement"
Contact
Référence
Many Labs 2: Investigating Variation in Replicability Across Sample and Setting
Advances in Methods and Practices in Psychological Science