Le professeur de l’Université du Texas, Valen Johnson, a trouvé un moyen d’évaluer de manière cohérente la crédibilité de la recherche scientifique et a conclu que jusqu’à un quart des articles de psychologie utilisant le critère de crédibilité le plus courant pouvaient contenir de fausses conclusions. Son travail compare deux façons d’évaluer la validité des conclusions d’une étude scientifique.
Johnson a attiré l’attention sur le fait que les scientifiques utilisent généralement des approches probabilistes ou bayésiennes, mais il n’y a pas encore de moyen standard de les comparer. Cela lui a permis de conclure que l’un des critères les plus couramment utilisés pour l’exactitude des résultats n’est en fait pas aussi correct. Le professeur Walen Johnson estime que jusqu’à un quart des articles de psychologie qui utilisent le test de validité le plus courant peuvent contenir de fausses conclusions.
Dans le cas de l’approche probabiliste, un scientifique qui a reçu des données numériques dans ses observations s’interroge sur la probabilité d’obtenir exactement les mêmes données dans le cas où le résultat est en fait aléatoire (c’est-à-dire que le modèle souhaité n’est pas dans les données).
L’approche bayésienne est basée sur une question différente. Les chercheurs qui l’utilisent dans leur travail estiment la probabilité d’obtenir les données qu’ils ont reçues, si leur modèle est correct.
Johnson a proposé un test statistique spécial qui, dans de nombreux cas, permet de comparer les deux scores entre eux. En outre, le scientifique s’est référé à 855 études antérieures publiées par des psychologues en 2007 dans deux revues différentes: Psychonomic Bulletin & Review et Journal of Experimental Psychology : Learning, Memory and Cognition.
Les calculs ont montré que dans la plupart des cas, la confiance «suffisante» la plus courante au niveau p <0,05 correspond uniquement à une estimation bayésienne d’environ 5, ce qui est considéré comme une valeur assez petite. Selon les estimations de Johnson, de telles erreurs de calcul peuvent, dans environ 17 à 25% des cas (à partir du nombre d’œuvres basé sur le critère probabiliste de 5%), conduire à des conclusions erronées: les scientifiques rapporteront la présence d’un modèle là où il le fait réellement. n’existe pas. Le chercheur souligne que de mauvaises statistiques peuvent être l’une des principales raisons de la non-reproductibilité des travaux scientifiques : avant la falsification et les erreurs lors de l’expérience elle-même.
Pour protéger les scientifiques consciencieux de ces fausses conclusions, le statisticien suggère de réviser la sagesse conventionnelle selon laquelle les résultats sont considérés comme significatifs. Selon Johnson, la valeur de 0,05 donnée par l’approche probabiliste devrait être réduite à 0,005 : son analyse montre que les travaux avec p <0,005 résisteront presque certainement à des contrôles supplémentaires. L’augmentation de la précision, selon le scientifique, devra payer avec une augmentation du nombre de mesures et une augmentation du coût des expériences, mais les calculs joints à son article parlent du remboursement de ces dépenses. Le volume des travaux expérimentaux augmentera de moins de deux fois et la part des conclusions erronées tombera d’environ 20 à 4%, soit cinq fois.
Au cours des dernières années, même des articles de lauréats du prix Nobel ont été retirés de la publication, et de tels cas sont dus à plusieurs raisons: de la négligence dans la conduite d’expériences ou de la fraude à des erreurs comme celles analysées par Johnson. C’est en psychologie que la crise de reproductibilité a pris les plus grandes proportions (vous pouvez en savoir plus à ce sujet dans l’article de revue Nature ou dans le matériel du New Yorker).