Created vendredi 01 novembre 2019
lire
Rougier, Coudert, How open, Gelfert ? modèles en économie ?
TL;DR
Comment situer la reproductibilité computationnelle dans ce panorama ? En quoi est elle moins visible ? En quoi elle est différente ou semblable ? Est elle en période de crise ?
Expérimental - Statistique - Computationnel
la reproductibilité computationnelle est ce qu'il nous intéresse ici. D'une part, la narration de la crise (telle que cette dernière apparait dans les médias a tendance à l'invisibiliser (voir le paragraphe 4). Si on distingue trois domaines différents dans laquelle la reproductibilité s'exprime (bien que les trois soient entremêlés) expérimental / statistique / computationnel ,alors le statistique est la vedette de la crise. D'ailleurs, dans sa catégorisation, Leonelli a tendance à 1) confondre computationnel et statistique , 2) réduire le computationnel au traitement de données).
Le statistique a tendance à être plus impliqué dans les domaines les plus médiatiques (essais cliniques et psychologie), le statistique est plus utilisé par des non-experts et il est plus facile à dramatiser, donc à médiatiser. L'apparition médiatique d'experts en "méta-science" comme Ioannidis, surfant sur cettee vague de la crise de la reproductibilité en atteste.
La reproductibilité expérimentale, historiquement la plus ancienne, est souvent laissée de côté: d'une part, on admet un peu vite qu'elle ne pose pas de problème : elle ne concernerait que la physique, qui est une science qui a une image superficielle de "robustesse", mais voir chapitre 1), d'autre part, la complexité des expériences de physique (Boson de Higgs, ondes gravitationnlles...) a déplacé une grande part de ce champ de la catégorie 2 vers la catégorie 3 : exceptionnalité des objets a observer, donc exceptionnalité (non-reproductible) du dispositif expérimental et gestion de la fiabilité des résultats par le traitement signal/bruit statistique
Généalogie
La reproductibilité comme norme, comme exigence, est probablement liée, historiquement, à l'expérimentation, au discours de l'expérimentation (Shapin & Schaeffer). C'est peut-être cette légitimation de l'expérience qui est à la base du discours des scientifiques sur le fait que la reproductibilité doit être le "golden standard" en science. Du coup, la reproductibilité computationnelle ne vient, chronologiquement, qu'après.
Et on peut même se poser la question de savoir si une part de la "crise de la reproductibilité" n'est pas liée à la place importante que les outils computationnels et statistiques ont pris dans les sciences contemporaines. N'y aurait-il pas un soupçon de non-reproductibilité de l'expérience à cause des traitements statistiques et computationnels appliqués aux "données" expérimentales, dans la même veine que la citation apocryphe de Churchill "je ne crois aux statistiques que j'ai moi même falsifiées". Les controverses des ondes gravitationnlles dans les années 70 montrent déjà un déplacement du terrain de la reproduction du dispositif expérimental lui même vers son traitement statistique. La controverse s'est terminé en 2015 quand les traitements statistiques ont enfin fait consensus, et une des conclusions de Collins est que la validité statistique est grandement dépendante du domaine à laquelle on l'applique.
On a ici un lien de parenté avec l'idée que les travaux computationnels type simulation peuvent dire tout et n'importe quoi (le scepticisme de l'expérimentateur vis à vis du modélisateur) et que les pratiques computationnelles doivent être strictement encadrées. La crise de la reproductibilité expérimentale proviendrait alors de l'utilisation d'outils computationnels, alors même que la reproductibilité computationnelle est, elle, pensée comme plus facilement atteignable (même si on sait bien que c'est plus compliqué, voire illusoire) que la reproductibilité expérimentale.
En faisant le lien avec les travaux de Leonelli concernant sa vision d'une "data-centric science", on pourrait dire aussi que c'est parce que la science devient "data-centric" depuis le 21e sicècle (ce qui nécessite du "data handling", en grande partie computationnel) que la "crise de la reproductibilité" émerge comme question. C'est aussi parce que dans ce cadre, les données voyagent, et pas seulement les énoncés, ce qui conduit à l'idée de reproduire les données (et plus les énoncés).
D'ailleurs, le calcul computationnel est souvent réduit, y compris par ses acteurs mêmes, à l'activité de traitement de données par le calcul, ce qui favorise la confusion entre computationnel et statistique. De fait, le computationnel est vu comme "ce qui traite les données" : Computer scientist Jon Claerbout coined the term and associated it with a software platform and set of procedures that permit the reader of a paper to see the entire processing trail from the raw data and code to figures and tables (Goodman 2016). Pourtant, même s'ils sont interpénétrés, le statistique et le computationnel ne posent pas les mêmes problèmes de reproductibilité.
Caractéristiques de la reproductibilité computationnelle
La reproductibilité computationnelle souffre elle d'un déficit de reconnaissance "grand public" : beaucoup en ont une image superficielle d'infaillibilité "2+2=4 est tout le temps vrai" et pourtant elle a eu aussi son moment de "crise grand pubic" avec le climategate suivi du science code manifesto en 2011. A cette occasion, la révélation d'emails de chercheurs en science du climat avaient semé la panique dans la communauté dont la crédibilité est un enjeu hautement politique. Le point le plus controversé de ce climategate était l'utilisation de tricks dans la programmation des modèles, ce qui a abouti à une prise de conscience de la difficulté de la programmation scientifique, et à l'élaboration du Science Code Manifesto en 2011
Comme la curation de données, le travail de programmation (et non seulement de programmation mais aussi de compilation, distribution, politique de licence...) par un chercheur n'est pas récompensé par la publication (sauf s'il s'agit de son activité de recherche elle même) (Hocquet Wieber 2017)
Même si la définition et l'organisation de bonnes pratiques sont des préoccupations des chercheurs (Rougier 2018) et que ses bonnes pratiques sont souvent inspirées par les "libertés fondamentales du logiciel libre" établisssant en cela une connexion directe entre principes du logiciel libre et open science, Le logiciel scientifique possède une existence en pratique parfois sujette a des tensions entre normes académiques et normes commerciales, liées entre autres à cette absence de récompense : commercialisation de packages (éventuellement encouragées par les politiques de "technology transfer" des universités), ou inversement, énorme investissement en énergie et temps pour produire un logiciel libre, protection du code par peur de la compétition, mais aussi par souci de stabilité du logiciel, licences variables selon les utilisateurs académiques ou industriels, bricolage de paramètres dans les modèles en fonction des utilisateurs.
Toutes ces questions qui posent problème dnas une logique de reproductibilité sont spécifiques au computationnel.