Created jeudi 24 octobre 2019
TL;DR
La narration de la reproductibilité en tant que crise pose question : Pourquoi est on en crise maintenant (=depuis les années 2000/2010?) et ce dans des domaines distincts (psychologie, épidémiologie, sciences computationnelles...) Quel est le lien avec la narration de la science ouverte ? de la crise de la publication (l'ouverture des données en est une des clés) ? Quelles sont les enjeux ? Comment et pourquoi ces éléments de discours sont ils repris/amorcés/amplifiés par des institutions (sociétés savantes, institutions nationales...) ? Quelle vision normative de ce que devrait être la bonne science cela traduit il? Is there a crisis? Reproducibility is sometimes an issue, sometimes it's not : Scientific disputes, policy makers, vision normative de la sound science. where is the notion of crisis coming from and what is at stake ? en quoi cette narration est elle liée à une crise de confiance (des citoyens, des institutions) envers la science et comment est elle gérée (par les institutions) ?
La crise dans les médias
A première vue, les signaux d'alerte envoyés et la façon de les lancer laisse penser qu'il a un lien, ou du moins une concomittance avec le mouvement de l'Open Access, la rebellion contre les oligopoles des éditeurs scientifiques et leur tendance à rendre la littérature scientifique inaccessible au commun des mortels (voire au commun des chercheurs) : Un des chevaux de bataille de ce mouvement est la revendication de plus de transparence dans les sciences. Par extension, le mouvement de l'Open Science revendique que les expériences scientifiques puissent être reproductibles, dans le cadre de cette exigence de transparence. La reproductibilité est revendiquée comme le "gold standard", l'étalon qui permet la confiance dans l'activité scientifique, confiance de la part de la communauté des chercheurs eux-mêmes mais aussi pour les institutions scientifiques de financement, et les citoyens. Le lien entre publication, transparence et reproductibilité est particulièrement pregnant dans la critique du peer-reviewing qui accompagne le mouvement de l'Open Access.
Une compréhension fine du phénomène mériterait qu'une étude se penche sur les publications s'emparant du sujet, à la fois dans les journaux scientifiques, dans la presse, dans les journaux à l'interface de ces deux sphères (comme Nature) mais aussi dans les communiqués d'institutions (sociétés savantes, agences de fincement...). Une telle étude permettrait aussi de tracer des généalogies plus spécifiques, en particulier selon les domaines scientifiques, qui ne vivent pas cette crise tous de la même manière.
Enfin, la narration de la crise trouve ses sceptiques (Fanelli, 2018), en particulier dans la remise en cause de l'étendue des résultats irreproductibles, et surtout de leur augmentation récente. La science évolue, et avec elle ses propres critères de reliability, particulièrement en ce qui concerne la significance en statistiques.
La crise selon Nelson
Nicole Nelson (pas de publi en ref, mais des confs) s'intéresse aux différentes narrations de la crise, en particulier dans le monde des essais cliniques. D'une analyse rapide (qui demanderait à être affinée) de la crise telle qu'elle est narrée, on peut distinguer trois dynamiques principales de la médiatisation de la crise.
En psychologie
D'un côté, en psychologie, la reproductibilité d'études scientifiques est souvent contestée, en particulier parce que ces études apparaissent parfois dans la presse grand public : elles sont médiatiques, donc exposées. Un exemple célèbre de tapage méditique autour de cette question est l'expérience "feeling the future" en 2011. D'autre part, la psychologie est un domaine scientifique souvent sur la défensive, constamment sommé de justifier sa scientificité (voire par exemple la contestation des résultats des expériences de Milgram ou de la prison de Stanford). En 2011, est créé le Reproducibility Project, puis en 2013, le Center for Open Science, opération de reproduction d'epériences en psychologie impliquant toute une communauté scientifque. De nombreuses publications dans les journaux de ce domaine, résumées par le livre-manifeste "The seven deadly sins of psychology: a manifesto for reforming the culture of scientific practice". La crise de la reproductibilité, en psychologie, correspond à une introspection de l'ensemble de ce champ scientifique afin de définir collectivement des bonnes pratiques scientifiques, comme la preregistartion of studies as a good practice to improve reproducibility.
Essais cliniques
L'autre domaine concerne les essais cliniques en médecine. Nicole Nelson en propose une généalogie. La médiatisation, en 2012, d'une publication affirmant avoir tenté de reproduire plusieurs dizaines d'essais cliniques de traitements contre le cancer pour un taux déchec proche de 90% provoque un tollé. La curiosité de cette publication que retient Nicoel Nelson est que ses auteurs sont affiliés à une entreprise biomédicale privée. Il est notoire que les chercheurs n'ont a priori aucun intérêt (à l'exception de cas de compétitions ou disputes autour d'une controversev précise) à perdre leur temps à essayer de reproduire les résultats des autres puisque ça ne leur rapporte rien en termes d'originalité ni de publications. Dans le cas de chercheurs du privé, c'est encore plus étonnant puisque ça ne rapporte non plus rien financièrement.
L'historicisation des essais cliniques en médecine permet d'en comprendre les raisons. L' "evidence based medicine" est une politique (en particulier etats-unienne) apparue à la fin du XXe siècle fondée sur un espoir de rationalisation du processus de décision dans la pratique médicale. Les méta-analyses des essais cliniques ont connu à cette occasion une nouvelle mise en lumière comparative (en particulier grâce aux graphiques en forêt). Une conséquence en a été le doute grandissant sur la validité des études cliniques devant la visualisation de résultats parfois apparemment contradictoires. Au début des années 2000, la contestation a porté sur les biais liés au fiancement privé des recherches, avec en point d'orgue le livre "The Truth About the Drug Companies: How They Deceive Us and What to Do" provenant de la communauté académique médicale. La mise en évidence de problèmes de reproductibilité lié à autres chose que des intérêts financiers est donc une sorte de contre-attaque de l'industrie pharmaceutique pour sortir du rôle de gros méchant dans lequel elle est cantonnée.
La méta-science
L'autre angle de contestation est porté par les statisticiens. La publication de 2005 de Ioannidis "Why Most Published Research Findings Are False" (au titre particulièrement nuancé) est de loin la plus citée. Au point que depuis, un champ scientifique appelé "méta-science", censé analyser les problèmes de reproductibilité en science, se concentre exclusivement sur les problèmes posés par la statistique et analyse la question exclusivement sous l'angle des bonnes pratiques statistiques.
Il est de fait frappant que la quasi unanimité de la médiatisation de la crise concerne de fait le traitement statistique des résultats des expériences, et ce dans les deux domaines évoqués ici et dans la plupart des autres (mais pas tous). C'est la troisième dynamique en question.
Optionnel
un mot sur d'autres domaines, en particulier économie : exemple "Growth in a time of debt"
https://www.fun-mooc.fr/courses/course-v1:inria+41016+session02/courseware/66bc811404b8481da5f794de54681c5e/4061cf05107441ebaca82e07cc5f10ce/
IRM du saumon mort
https://www.wired.com/2009/09/fmrisalmon/
Retractation de Chang : Structures RX de protéines
https://onlinelibrary.wiley.com/doi/full/10.1110/ps.072888607
maquillée en simple erreur de colonnes, mais dénoncée par Matthews ?