Dans sa livraison du 22 mai 2020 le journal médical de réputation mondiale The Lancet a publié dans sa version en ligne, un article sur l’absence d’efficacité de la hydroxychloroquine dans le traitement des maladies causées par le covid 19, signé par quatre chercheurs du Bringam and Women’s hospital à Boston (MA). En dépit d’une procédure de ‘peer reviewing’ des investigations post-publication ont montré que les sources de données utilisées étaient non fiables, en particulier de la part d’hôpitaux australiens qui n’avaient jamais fourni de données pour une telle étude. Il s’est avéré que les données provenaient d’une société Surgisphere, contrôlée par l’un des auteurs. Les trois autres signataires ont demandé à ce que leurs noms soient retirés de la publication alors que le quatrième a refusé de le faire. (depuis la rédaction de cet article, la publication en question affiche la mention: retracted)

Cette situation illustre l’hyper- compétitivité qui prévaut dans les communautés de recherche académiques, publiques ou privées. Il y a des enjeux financiers pour ces communautés pour obtenir des financements publics ou privés mais aussi des enjeux personnels pour le développement de carrière des chercheurs. Un autre aspect est la difficulté de trouver des reviewers fiables pour les raisons qui seront explicitées par la suite.

Bref historique du peer reviewing

Le système de peer review apparut en Angleterre en 1665 avec la publication des Transactions of the Royal Society sous la houlette de son premier éditeur Henry Oldenburg (1618-1677). L’intention était que ‘’the honor of ye [author’s]invention will be inviolably preserved to all posterity” (Oldenburg, 24 November 1664). Il fut décidé que les articles soumis pour être publiés dans les ‘Society’s Philosophical Transactions’ devraient être examinés par des membres seniors de cette société avant d’ être acceptés pour publication.

Le système est resté dans son essence le même depuis lors. Il a reçu des modifications bénéfiques mais a subi depuis quelques dizaines d’années des corruptions qui minent sa réputation et jettent un doute profond sur la qualité de l’information diffusée.

On estime qu’il existe aujourd’hui 30000 journaux avec peer reviewing, produisant deux millions d’articles annuellement. Les technologies ont favorisé le développement d’éditeurs (publishers) prédateurs qui inondent les chercheurs de toutes disciplines de mails ‘call for papers’ et font payer les auteurs pour que leurs articles soient acceptés sans être factuelle ment lus avant d’être publiés.

Le terme de ‘fake peer review’ est introduit dans un article du New York Times (4 octobre 2018) par la journaliste Jennifer Schuessler dans lequel elle explique que James A. Lindsay, Helen Pluckrose et Peter Boghossian ont écrit vingt articles ‘bidon’ et que certains ont été accepté et publiés dans des revues.

Difficultés rencontrées aujourd’hui par le peer reviewing

-*Il est de plus en plus en plus difficile de trouver des reviewers honnêtes, compétents et prêts à consacrer du temps à analyser en profondeur des textes qui leur sont soumis.

Par honnêtes, il faut comprendre l’absence de conflits d’intérêt académique ou financier avec le contenu du texte proposé à la publication. Il est reconnu que dans l’industrie pharmaceutique des publications sont produites directement, ou indirectement par des contrats de recherche avec des institutions académiques, pour ‘leurrer’ la concurrence sur la nature réelle des sujets étudiés en interne.

Par compétents il faut être conscient que la spécialisation fait que dans certains domaines le nombre de spécialistes est très limité, ou que l’absence partielle de connaissances- comme c’est le cas pour le covid 19- rend la convergence des avis virtuelle.

Enfin la course contre le temps dans un monde qui nous laisse peu de répits pour la réflexion personnelle, dialoguer avec des auteurs pour améliorer une publication ne rentre pas toujours dans le plan de carrière des spécialistes.

-*On assiste au développement de circuits de faux reviewers aux quels les ‘editorial boards’ des revues sont confrontés. Ceux-ci demandent parfois aux auteurs de suggérer des reviewers. Il apparait maintenant que ces reviewers sont faux ou vrais, mais appartenant à un réseau de gens peu scrupuleux qui renvoient un avis favorable à l’adresse mail de celui qui requiert un avis.

Il y a des officines qui proposent aux auteurs contre rétribution de prendre en charge tout le processus de peer reviewing. La pression dans certaines institutions est telle que les auteurs ou même les institutions sont prêts à payer pour publier et apparaître dans des classements de performance.

Pour faire face aux faux reviewers voici quelques types de contrôle mis en place par les ‘editorial boards’ :

-est-ce-que l’organisme d’affiliation du reviewer est crédible ?

-est-ce-que l’adresse mail du reviewer est celle d’un tiers ?

-y-a-t-il des conflits d’intérêt entre l’auteur et le reviewer ? appartenance à la même institution, habitude de co-publication

-est-ce-que le reviewer est un expert reconnu en regardant l’historique de ses publications sur des sites spécialisés ?

Ces opérations ont été automatisées par beaucoup de revues.

-*Un autre fléau est la manipulation des références citées par les auteurs, qui se manifeste sous deux formes. La première forme est celle où l’éditeur de la revue veut que les auteurs citent le maximum d’articles publiés dans leur revue afin d’améliorer son scoring dans le cadre de comparaisons entre différentes revues, phénomène constaté par divers observateurs du domaine.

Une seconde forme est la pression exercée par les reviewers pour que les auteurs citent leurs propres publications, quelles soient ou non pertinentes par rapport aux sujets traités, afin d’obtenir un avis favorable. Ce sujet a été en 2012 l’objet d’un forum organisé par le Committee on Publication Ethics (COPE). La lecture approfondie des rapports des reviewers peut se révéler très instructive en faisant apparaître des positions excessives ou inappropriées.

Publish or perish

Ce slogan explique les initiatives très variées que l’on observe autour de la publication d’articles de recherche. Certaines ont pour objectif de tourner en dérision les procédés utilisés pour diffuser de l’information ‘scientifique’ en montrant comment il est facile, comme dans les réseaux dits ‘sociaux’, de fabriquer des ‘fake news’ et de devenir un influenceur rétribué au service d’intérêts privés ou politiques (fake news de Trump).

-Academia.edu est un site basé en Californie et fondé par Richard Price en septembre 2008.

C’est un anglais diplômé d’Oxford (UK) et détenteur d’un PhD en philosophie de la perception (2007). Le business model du site repose sur deux sources de revenus. Des universités (Oxford, Berkeley, MIT, University of New York(UNY) et des revues de recherche sont incitées à mettre sur le site d’Academia le contenu de leurs publications et les noms des auteurs, quand ils ont transféré leurs droits d’auteurs aux revues, ou à télécharger les références de leurs publications sur ce site. Contre paiement, dès qu’un auteur est mentionné dans un article chargé sur le site, il en est informé. Cette donnée lui permet d’évaluer sa réputation et son influence et de rentrer en contact avec le ou les auteurs de l’article où il est cité. Elle permet aux universités et aux revues de connaître leur réputation en comptabilisant le nombre de fois où ‘leurs’ auteurs sont mentionnés dans des publications de recherche.

Une seconde source de revenus est le conseil vendu à des institutions de recherche ou surtout d’enseignement supérieur sur les tendances observées sur les domaines de recherche. Les universités ainsi que des institutions d’enseignement supérieur dans les domaines de la gestion (écoles de commerce) ou de sciences sociales sont classées par des organismes privés (par exemple, Quacquarelli Symonds (QS) World University Ranking, Shanghai Ranking Consultancy, le Financial Times) sur la base de divers critères dont la ‘production’ de publications de recherche et le nombre de prix Nobel dans leur corps enseignant (sic !). Il est donc essentiel pour ces institutions de publier sur des sujets ‘tendance’ dans des revues à visibilité internationale.

-La première affaire de mise en lumière de publication d’articles ‘bidons’ est celle du physicien Alan Sokal de la NYU. En 1996 il soumit au journal bien connu ‘Social Text’ publié par l’Université Duke, un article farfelu qui mêlait la philosophie postmoderne et la gravité quantique (Transgresser les frontières : vers une herméneutique transformative de la gravitation quantique). Il fut accepté et publié sans qu’un comité de lecture intervienne. Dès sa publication il révélera l’imposture intellectuelle dont la finalité était de montrer que les revues académiques pouvaient publier n’importe quel contenu, aussi farfelu soit-il.

Dans le même ordre d’idée, l’article publié récemment par neuf Suisses et Français sous des noms bien caractéristiques (Didier Lembrouille, Sylvano Trotinetta, Manis Javanica, Nemo Macron…) dans l’Asian Journal of Medecine 18(9) 2020 sous le titre « SARS-CoV2 was unexpectedly deadlier than Push-Scooters : Could Hydroxychloroquine be the Unique Solution ? » se veut une démonstration de la possibilité de publier n’importe quelle absurdité sous couvert de présentation ‘scientifique’.

-Dans la livraison du 14 Avril 2015 du MIT news, un article ‘How three MIT students fooled the world of scientific journals’ explique comment en 2005 trois étudiants (Jeremy Stibling PhD 2009, Dan Aguayo et Max Krohn PhD 2008) ont développé un programme informatique qui génère automatiquement des articles sur l’informatique (computer science) avec des graphiques, des figures et des citations qui sont réalistes.

Ce programme fonctionne comme une librairie folle (Mad Lib) en introduisant de manière aléatoire des mots clefs tels que ‘distributed hash tables’ et ‘Byzantine fault tolerance’. En 2005 ils réussirent à faire accepter l’article ‘Rooter : a Methodology for the Typical Unification of Access Points and Redundancy’ à une conférence World Multiconference on Systemics, Cybernetics and Informatics (WMSCI).

En 2015 Jeremy Stibling estimait que des articles étaient encore générés par ce programme.

Pour conclure

C’est dans les domaines des sciences humaines que l’on trouve le plus de revues en ligne dont les titres ne semblent que répondre à des sujets ‘d’actualité’ tels que ‘Cogent Social Sciences’, ‘Gender Sciences’, ‘Sex Roles’….Les faibles coûts de lancement et de fonctionnement de sites en ligne poussent à la prolifération de ce genre de littérature.

Certains pensent que d’ici dix à vingt ans il ne sera plus possible de distinguer le vrai du faux sur les sites d’information ou de désinformation en ligne. Quels seront alors les canaux fiables de diffusion de l’information ? Y-aura-t-il un retour du papier pour assurer la dissémination transparente de données fiables dont l’origine est avérée ?