[ Prev ] [ Index ] [ Next ]

1complexe

Created jeudi 03 octobre 2019

TL;DR

La reproductibilité est une question complexe : La diversité de termes (replicability? repeatability?, checking? robustness?) et la polysémie la caractérisent. Par qui (soi même, un collègue, un concurrent, un reviewer, une instance de vérification?) ? Pour quoi (pour valider?, pour contredire? pour interpréter?) Comment ? (même instrumentation ? même protocole ? même conclusion par d'autres moyens ?) qu'est ce qui est "pareil" ? (strictes mesures, patterns, généralisations ?) quand a t on besoin d'être "pareil" ? (pour démontrer, pour infirmer ou contredire, pour généraliser?). D'une manière générale, la littérature en histoire des sciences montre que si la reproductibilité conduit à plus de fiabilité en science, c'en est un moyen parmi d'autres, pas toujours suffisant, pas toujours nécessaire

La reproductibilité est une notion complexe

Il ya tout d'abord une complexité sémantique. Non seulement de nombreux termes (en anglais particulièrement : replicability? repeatability?, checking? robustness?) mais aussi de nombreux sens différents associés à chacun de ces termes : Le sens exact de la reproductibilité est rarement reproductible. La raison de cette absence de consensus est probablement à chercher dans la diversité des communautés scientifiques (différentes cultures épistémiques) qui s'emparent de cette notion. Une typologie des différents termes et de leurs emplois a déjà été esquissée (Barba, Goodman?), mais l'analyse fine des généalogies (d'où viennent les différences et à quelles cultures correspondent elles?) serait un sujet de recherche intéressant en soi. Dans la suite de ce texte, on essaye de rester agnostique, tout en essayant de pointer la diversité.

D'une manière générale, la littérature en histoire des sciences montre que si la reproductibilité conduit à plus de fiabilité en science, c'en est un moyen parmi d'autres, pas toujours suffisant, pas toujours nécessaire. La compilation historique de Steinle propose une variété de situations.

La reproductibilité est aussi complexe parce que, bien que simple à imaginer en apparence, le concept recouvre tout un tas de pratiques qui posent des questions :

Par ailleurs, la "reproduction" doit elle être hypothétique ou effective ? Il est notoire que les scientifiques en général n'ont (en général) aucune motivation à reproduire les expériences des autres : Puisque la récompense de l'activité de recherche est la publication et que la valeur de la publication réside dans l'originalité, la question reste souvent hypothétique, et les rares cas de tentatives de reproduction se font lors de controverses. Paradoxalement, malgré le flou qui l'entoure et la faible activité de reproduction en pratique, la reproductibilité est souvent citée comme une des activités de base de la bonne pratique scientifique, voire un "gold standard" de la science. Elle est par exemple pregnante dans la critique de l'activité de publication et en particulier du protocole de peer reviewing.

conviction : Leviathan & the air pump

Selon les situations, le fait de reproduire englobe celui de convaincre autrui ou pas, ce qui change beaucoup de choses à la fois à l'exigence de ce qui est accepté comme identique dans l'activité de reproduction mais aussi des techniques utilisées pour gagner l'adhésion.
L'avenement de la pompe a air au 17e siecle est un exemple canonique. La credibilite des experiences sur le vide de Otto von Guericke etait basee sur le spectacle et l'exceptionnalite de ses demonstrations publiques, et l'appareillage complexe et unique de la pompe a vide rendit la reproduction inenvisageable, si ce n'est pour Guericke lui meme (et le succes de ses spectacles).
Les experiences sur le vide de Robert Boyle, basees sur le meme principe experimental, avaient besoin d'autre chose pour gagner en credibilite. Le succes de ses experiences dependait de maniere critique du savoir faire experimental de Hooke. Pour emporter l'adhesion sur le resultat de ses experiences, Boyle a eu recours aux temoins bien choisis (les gentlemen a la base de la fondation de la Royal Society, dignes de confiance puisque aristocrates). Au dela, la description la plus precise possible par ecrit des experiences et des appareillages dans un compte rendu certifie par des gentlemen (et qui est l'ancetre de la publication telle qu'on la connait aujourd'hui) consiste en ce que les historiens Shapin et Schaeffer ont appele un virtual witness : un temoin virtuel consigne par ecrit : c'est l'avenement de la reproductibilite en tant que "technique litteraire".Il s'agit la d'un grand classique de l'histoire des sciences des annes 80-90 : une histoire qui ne contente pas de faire une histoire des idees, mais qui se preoccupe de l'influence de la materialite sur l'activite scientifique.

vertus épistémiques : Schikore

La reproduction d'experiences peut avoir des vertus epistemiques differentes selon les contextes. Dans le cas d'etudes des effets de morsures de viperes par les scientifiques de l'Academia dei Cimento dans la Toscane du 16e siecle, l'historienne Jutta Schikore compare l'utilisation differente de la repetition des experiences par Redi et son disciple Fontana. Si le premier se vante de repeter des centaines de fois ses experiences de morsures de viperes sur des grenouilles, c'est pour d'une part gerer l'incertitude de grenouilles ou de viperes differentes, et d'autre part pour disqualifier les resultats de ses concurrents. Fontana, plus tard, essaie de comprendre la variabilite des resultats en isolant les cas qui ne "collent pas" et en les interpretant. Ce faisant, il en deduit une theorie du fonctionnement du poison. Schikore montre ainsi que la reproductibilité peut servir différentes fonctions dans l'activité scientifique.

La reproductibilité en histoire des sciences : Joule et les brasseries

En histoire des sciences, la tentative de reproduction d'expériences du passé est une méthode pour essayer de révéler le contexte de ces expériences, au delà de la simple publication. Par exemple : l'historien Otto Sibum s'est interessé aux expériences de Joule sur la conversion de chaleur en travailet les brasseurs. Les résultats de Joule ne sont pas quantitativement reproductibles (la mesure de l'augmentation de température de l'eau sur laquelle on fait tomber un poids dépend est très sensible aux conditions atmosphériques dans le laboratoire) et rien n'indique ni dans les publications, ni dans les cahiers de laboratoire ni dans la correpsondance privée comment résoudre cette variabilité. Sibum est arrivé à la conclusion que la connexion de Joule avec le monde des brasseurs de bière (dont l'industrialisation demandait un savoir faire de régulation de la température pendant la fermentation) était l'explication d'un savoir tacite. La tentative de reproduction a permis de préciser la notion de savoir tacite (tacit knowledge): ce que l'epxérimentateur ne sait pas ou ne peut pas expliciter dans la réussite de son expérience, non pas seulement par négligence, mais aussi parce que certains savoirs ne sont par essence pas explicitables. En ce sens, la reproductibilité est un idéal inatteignable.

controverses : Collins

Ce concept de tacit knowledge, décrit initialement par Polanyi a été développé et catégorisé par le sociologue des sciences Harry Collins. Collins est la principale référence quand il s'agit de théoriser la reproductibilité. Ses quelques études de cas (Le laser TEA, le facteur Q du saphir, les essais de mise en évidence des ondes gravitationnelles sur 40 ans) montrent l'influence de ces savoirs tacites dans les difficultés de reproduction.
L'école de la SSK (pour Sociology of Scientific Knowledge) s'est particuilèrement intéressée aux controverses scientifiques, parce qu'elles permettent d'en savoir plus sur ce qui se passe vraiment que dans une situation sans problème. In the 1980s, tacit knowledge became a crucial part of the “controversy studies” literature, because it was understood to be elemental in successfully replicating an experiment. By studying controversies surrounding replication, one could uncover the many tacit preconditions underlying successful replication. (Wiiliams 2009)
Dans le cas des essais expérimenatux de mise en évidence des ondes gravitationnelles (prévues par la théorie de la relativité), Collins a mis en évidence que les dispoitifs expérimentaux (ou plus exactement, les dispositifs de traitement du rapport signal/bruit produits par l'expérience) posent toute une série de problèmes (pointés par les équipes essaynt de reproduire les résultats) qui empêchent le consensus. La controverse se clôt finalement sans qu'aucun parti ne puisse convaincre l'autre. Dans la formule "experimenter's regress", Collins pointe une indétermination qu'il considère irréductible. To know whether an experiment has been well conducted, one needs to know whether it gives rise
to the correct outcome. But to know what the correct outcome is, one needs to do a well-conducted experiment. But to know whether the experiment has been well conducted ...ad infinitum. the experimenters’ regress shows that experiment alone cannot force a scientist to accept a view that they are determined to resist.
Harry Collins’ sociology of “calibration” [...] pointed to the necessity that instruments and experimental procedures gain trust before assertions based on experimental results can be accepted (Williams 2009), ce que Shapin and Schaeffer ont repris dans Leviathan

ondes gravitationnelles :
complexité de l'appareilage (unique comme physique des particules) : expérimentalement pas reproductible ET complexité du rapport signal/bruit : traitement statistique primordial ET unique (contrairement aux procédures stats des essai cliniques) ET dépend du contexte ET analyse des données implique toute la communauté

exemple xkcd
histoire : https://www.xkcd.com/882/
file drawer effect, publications de résultats négatifs
ondes gravitationnles : procédures stats sont un objet de recherche elles mêmes : ellles influencent ce qui est considéré comme un résultat consensuel
context dependent
Weber, traitement signal/bruit, xkcd -> meta analyses dépendent du contexte

Le point commun de presque toutes ces études est qu'elles font la part belle à l'expérimentation (et à la question de sa reproductibilité) dans les sciences physiques : C'est la science de référence dans bien des cas, et la diversité des situations est masquée par son omniprésence.