Institut des neurosciences, de la santé mentale et des toxicomanies : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Novembre 2016

Messages principaux

  1. Profonde déception et préoccupations concernant la mise en œuvre initiale de la réforme et le manque de reconnaissance apparente des répercussions négatives de l'adoption d'une technologie non éprouvée sur l'évaluation par les pairs : procédures inadéquates de jumelage de l'expertise des évaluateurs en fonction des visées scientifiques d'une demande donnée, diminution du nombre de discussions en personne et, surtout, indifférence manifeste quant aux risques potentiels des changements, dont le bien-fondé n'a pas été démontré, pour la pérennité du milieu canadien de la recherche en santé. Les intervenants de ce milieu ont d'ailleurs souvent dit que le nouveau processus et la nouvelle approche d'évaluation étaient « fondamentalement mauvais ».
  2. Appréciation de la réaction rapide aux demandes du milieu de la recherche en santé, qui souhaitait que les IRSC mettent en place des procédures pour assurer la participation directe de chercheurs expérimentés afin de combler des lacunes visibles dès le début du concours de subventions Projet de 2016.
  3. Certaine reconnaissance des avantages de la nouvelle approche du programme Fondation, mais déception que le résultat concret, pour le nombre relativement peu élevé de chercheurs qui ont eu la chance de recevoir du financement, était simplement de voir leur financement actuel confirmé pour sept ans au lieu de cinq. Comme l'a souligné un intervenant : « Beaucoup de bruit pour rien. »

Démarche d'engagement des intervenants

Le directeur scientifique a d'abord choisi de communiquer avec les 12 membres de la dernière édition du conseil consultatif de l'Institut (conseil dissout au printemps 2016). Il leur a demandé de répondre aux six grandes questions au cœur de cet exercice d'engagement des intervenants. Il leur a aussi fait parvenir les documents disponibles sur le site Web des IRSC présentant une justification détaillée de la réforme et une description complète des programmes Fondation et Projet. AUCUNE RÉPONSE N'A ÉTÉ REÇUE. Cela en dit long sur le degré d'épuisement et de mécontentement qui afflige ces chefs de file en recherche qui, par le passé, ne se faisaient pas prier pour donner leur avis et s'investir.

Participants

Ces deux derniers mois, le directeur scientifique a eu de nombreuses occasions de discuter de ces questions avec des leaders des milieux de la recherche en neurosciences et en santé mentale, qui étaient plus disposés à s'exprimer. Le présent rapport comprend aussi les commentaires de 13 répondants au sondage Web (deux femmes et dix hommes; l'autre répondant n'a pas divulgué cette information), qui ont désigné l'INSMT comme leur institut principal. La majorité des répondants étaient des chercheurs chevronnés liés au thème I (recherche biomédicale), et plusieurs ont dit être en milieu de carrière, en début de carrière ou à un autre stade. Les renseignements détaillés présentés ici proviennent de ces deux sources de participants.

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

Cette question a suscité des commentaires invariablement négatifs, tant à l'oral qu'à l'écrit. Plusieurs réponses écrites étaient même plutôt hostiles : « La réforme est désastreuse », « C'est un véritable désastre », « La conception des programmes et le processus d'évaluation par les pairs sont fondamentalement mauvais », « Le processus d'évaluation est fondamentalement mauvais », « D'après ce que je comprends, la réforme devait permettre de remédier à des problèmes de qualité et de fatigue chez les évaluateurs. À cet égard, c'est un échec sur toute la ligne. Nous avons perdu les évaluations par les pairs de haute qualité (jumelage inapproprié des évaluateurs aux demandes, évaluateurs inexpérimentés, évaluateurs non spécialisés), et nous avons perdu les évaluations en personne, qui sont indispensables pour effectuer un travail de grande qualité. »

Ce qui est particulièrement inquiétant, c'est que plusieurs répondants ont affirmé que « la réforme a créé un système de financement à deux paliers où une petite fraction des chercheurs – en majorité des chercheurs principaux chevronnés dont les meilleurs travaux remontent souvent à des lunes – reçoivent de très gros montants pour une durée sans précédent. Ils sont maintenant les seuls chercheurs canadiens du domaine biomédical disposant des ressources nécessaires pour mener des activités de recherche concurrentielle à l'échelle internationale, et pourtant, ils sont les moins susceptibles d'être réellement innovateurs : de nombreuses études montrent que ces travaux se déroulent généralement à des stades de carrière antérieurs. »

Dans presque toutes les réponses à la question 1, des préoccupations importantes ont été exprimées au sujet des défauts de conception du « système de classement en ligne », qui n'ont fait qu'accentuer le malaise causé par un système qui écarte l'évaluation par les pairs en personne, pourtant jugée essentielle à la qualité. Le recours à un système de classement plutôt qu'à un système de cotation numérique a aussi fait l'objet de vives préoccupations, comme en témoigne le commentaire suivant : « L'idée de classer chaque aspect de la demande (candidat, environnement, approche, etc.) et d'en faire la combinaison est complètement erronée, et c'est prouvé que ça ne fonctionne pas (voir l'exemple des NIH). La demande doit plutôt recevoir une cote globale qui dépend principalement de la qualité et de la faisabilité de la recherche. » Dans le même ordre d'idées, un autre participant a fait l'observation suivante : « Les NIH continuent d'utiliser un processus d'évaluation très efficace reposant sur les réunions en personne, ou à tout le moins sur des échanges téléphoniques. Le nouveau système des IRSC est très mauvais parce que les évaluateurs ne participent pas vraiment à la discussion lorsqu'ils ne se rencontrent pas en personne. Les demandes de subvention sont évaluées et classées au lieu d'être cotées. C'est déplorable, car une demande excellente pourrait être mal classée si un évaluateur reçoit d'autres bonnes demandes. C'est impossible de comparer toutes les demandes de subvention. »

Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

Encore une fois, peu de participants croyaient que les changements apportés à l'architecture des programmes avaient permis d'atteindre les objectifs fixés en ce qui concerne le vaste mandat interdisciplinaire des IRSC et la nature évolutive de la recherche en santé.

Plusieurs n'acceptaient pas l'hypothèse voulant que la recherche interdisciplinaire soit supérieure aux autres principes d'organisation. Certes, on ne peut nier le bien-fondé de l'argument selon lequel « l'innovation et les découvertes fondamentales surviennent presque toujours à l'intersection de disciplines... c'est là où les réflexions scientifiques profondes se sont toujours produites. La recherche interdisciplinaire est indispensable à la pollinisation croisée d'idées et à l'application opportuniste de concepts ou d'outils provenant d'un autre domaine. Il n'y a toutefois là rien de nouveau. L'idée que les chercheurs aient besoin que les organismes de financement fassent de l'interdisciplinarité une priorité temporaire est absurde. Chez les chercheurs, la collaboration va de soi, et ça a toujours été le cas. »

Voici un exemple d'une autre conséquence imprévue du retrait des comités d'évaluation spécialisés : « De petits domaines de recherche (systèmes moteurs, alimentation, etc.) se retrouvent complètement rayés de la carte, comme ils ne sont pratiquement pas financés. Nous devons protéger la recherche spécialisée par rapport à celle des grands domaines de recherche. Le problème est de taille. De nombreux laboratoires doivent fermer leurs portes, et le Canada pourrait prendre des dizaines d'années à se remettre des changements apportés par les IRSC. » La perte d'évaluateurs chevronnés et compétents – « la masse critique d'expertise nécessaire à des évaluations éclairées » – a aussi été soulignée.

Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

Aucun des participants n'a dit être au courant des défis relatifs à la sélection des demandes cernés par des organismes de financement internationaux, ni de ceux énoncés dans la documentation sur l'évaluation par les pairs. Il a été dit que le processus d'évaluation par les pairs des NIH est meilleur que celui des IRSC, car il accorde plus d'importance aux discussions approfondies sur les demandes à l'issue d'un processus rigoureux de triage. Un fait particulièrement intéressant a été observé : les IRSC ont mis en œuvre un système virtuel d'évaluation par les pairs que les NIH ont décidé d'écarter, et que d'autres pays ont jugé totalement inadéquat après l'avoir utilisé.

Un chercheur très expérimenté qui a obtenu une subvention Fondation a fait remarquer ce qui suit : « J'évalue régulièrement des demandes (ou préside des comités d'évaluation) pour les NIH, le Wellcome Trust, le Medical Research Council et le DFG, et aucun de ces organismes n'a repéré les “difficultés” dont font état les IRSC. Comment un pays disposant d'un budget de recherche aussi négligeable pourrait-il avoir repéré des problèmes qui auraient échappé à des organismes de bien plus grande envergure? » D'autres ont exprimé des préoccupations semblables, à savoir que la crise évidente secouant le processus d'évaluation par les pairs au Canada, crise que cette réforme avait pour objectif de résoudre, avait été exagérée. Il a aussi été souligné que « les problèmes les plus importants liés à l'évaluation par les pairs concernent l'équité et les préjugés. Comme le démontrent des analyses menées à l'intérieur et à l'extérieur des IRSC, la réforme a considérablement aggravé ces problèmes par comparaison aux autres organismes. »

Dans le même ordre d'idées que les réponses à la question 1, mais cette fois dans le contexte des défis relatifs au processus de sélection cernés par des organismes de financement internationaux, un intervenant a encore une fois fait référence aux difficultés liées aux évaluations virtuelles et à la supériorité des discussions en personne au sein d'un comité d'experts.

Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

Les réponses à cette question sont aussi extrêmement négatives. Même si certains répondants voyaient l'utilité d'un collège des évaluateurs bien informé et expérimenté, ils ne savaient pas trop quoi penser du fait que cette mesure importante soit mise en œuvre assez tardivement dans le processus de réforme plutôt que dès le départ.

Par ailleurs, l'opinion suivante a été émise : « La formation du collège des évaluateurs est complètement désorganisée. Je possède au moins 24 ans d'expérience en évaluation : NIH, IRSC, Medical Research Council, DFG, Wellcome Trust, Conseil de recherches médicales, Alberta Innovates – Health Solutions, Alberta Heritage Foundation for Medical Research, Fonds de recherche du Québec – Santé et Dieu sait combien d'autres organismes… De plus, je suis titulaire d'une subvention Fondation, et titulaire depuis 16 ans d'une chaire de recherche du Canada, et on ne m'a pas demandé d'évaluer des demandes dans le cycle actuel, et ce, malgré le fait que mon domaine figure parmi les domaines de l'heure en recherche à l'échelle internationale. » Une autre personne a répondu ainsi : « Non. Vous avez perdu de vue la nécessité d'entretenir des communautés d'experts. Vous avez perdu de vue l'importance de l'évaluation comme outil d'encadrement. » Et une autre : « Nous savons que chaque idée derrière la réforme a empiré l'évaluation par les pairs, ce qui a provoqué toute cette agitation pour trouver un système qui fonctionne. »

Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Sans grande surprise, compte tenu du ton général des réponses à cette série de questions, de nombreux répondants ont fait allusion à l'étalon de référence que constituent les réunions d'évaluation par les pairs en personne et fait part de l'admiration qu'ils vouent au système d'évaluation par les pairs des NIH. Voici l'un des commentaires formulés : « Les NIH prennent un risque et indiquent clairement ce qu'il manque pour que la demande soit subventionnable. Lorsque la demande est présentée de nouveau et que toutes les lacunes ont été corrigées, elle devient subventionnable. »

Des participants ont souligné la nécessité des réunions en personne pour la sélection de toutes les demandes qui recevront des subventions ou des bourses de recherche, ainsi que celle de politiques proactives visant le financement équitable peu importe le stade de carrière ou le genre. « Les normes des NIH devraient être suivies, en particulier les réunions en personne. De petits comités recevant un maximum de 100 demandes dans chaque section. Pour permettre l'évaluation juste de demandes spécialisées. »

Anticipant les recommandations du comité présidé par Paul Kubes, de nombreux répondants ont proposé ce qui suit : une évaluation par les pairs en personne menée par des experts compétents; le recours à des évaluateurs qui ont déjà reçu des fonds des IRSC ou d'autres contributions financières importantes; la sélection d'évaluateurs par des présidents compétents, plutôt qu'au moyen d'algorithmes de jumelage et d'affectations automatiques. De plus, selon les répondants, il est essentiel que chaque demande soit évaluée par une personne qui comprend le projet de recherche, que l'évaluation soit effectuée par des pairs possédant une expertise dans les domaines de recherche pertinents, et que le comité d'évaluation ait des échanges scientifiques sur chaque demande subventionnable.

Nous pouvons dire que les changements mis en œuvre sous le leadership efficace de Jeff Latimer contribueront grandement à faire en sorte que ces suggestions réfléchies donnent lieu à un processus d'évaluation par les pairs qui permettra de regagner la confiance d'une communauté scientifique fort mécontente.

Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

Les défis sont nombreux. En voici un exemple : « Votre système ne fonctionne vraiment pas, et le pourcentage de demandes que vous financez ne vous permet pas de comparer les cotes aux résultats. Par exemple, les NIH avaient des données longitudinales qui leur permettaient de calculer les ratios de citations relatives des extrants de recherche de nombreuses demandes figurant dans les 30 % de demandes au haut de l'échelle quant aux cotes attribuées. Cependant, vous ne pouvez en faire autant avec un taux de réussite aussi bas – quel serait le point de comparaison? Nous connaissons déjà les réponses grâce à des études fiables menées par le National Institute of General Medical Sciences : il n'y a aucune différence mesurable entre les extrants des demandes de subvention se classant aux 5e et 20e centiles. La concentration de fonds – comme dans le programme Fondation – entraîne une diminution immédiate des résultats par chercheur principal. La répartition équitable des fonds favorise les retombées et la qualité des extrants. »

Les IRSC devraient aussi porter une attention particulière : 1) à la variabilité des cotes attribuées par les évaluateurs même « si le taux de financement du programme Projet se révèle inférieur à 10 %, l'évaluation par les pairs est alors carrément une loterie »; et 2) à la cohérence des cotes initiales et à la variabilité des cotes finales comme moyen de mesurer la qualité des évaluations.

Pour conclure, un dernier conseil aux IRSC : « Écoutez les candidats. Ce sont tous des chercheurs qui composent avec des données éparpillées au quotidien. Ils sont aussi des évaluateurs et des candidats. Tant que vous refuserez de les écouter et persisterez à imposer votre programme, vous continuerez de vous heurter à un mur. »

Date de modification :