Institut du développement et de la santé des enfants et des adolescents : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Novembre 2016

Messages principaux

Les trois principaux messages communiqués par le milieu de l'Institut du développement et de la santé des enfants et des adolescents (IDSEA) dans le cadre du processus de consultation des intervenants ont été les suivants :

1. La réforme des programmes de recherche libre et du processus d'évaluation par les pairs, en particulier en ce qui a trait à l'évaluation en ligne, a été mal implantée et n'a pas répondu aux objectifs initiaux.
2. Les participants ont la nette impression qu'un fossé se creuse entre le milieu de l'IDSEA et les IRSC, ce qui compromet la viabilité à long terme de l'entreprise de recherche en santé des mères, des enfants et des adolescents.
3. La plupart des intervenants consultés par l'IDSEA estiment que la réforme nuit aux nouveaux chercheurs ou chercheurs en début de carrière.

Démarche d'engagement des intervenants

L'IDSEA a recueilli les commentaires des intervenants de son milieu de recherche à l'aide de deux méthodes : un groupe de discussion en personne et un formulaire Web élaboré par les IRSC. Au total, 12 personnes ont répondu à l'appel.

Dans le cadre du groupe de discussion, qui a duré deux heures, huit participants ont discuté des six questions pendant deux heures (environ 20 minutes par question). Ils avaient été choisis en fonction de leur rôle de leader établi au sein du milieu de l'IDSEA et afin que différentes disciplines et groupes d'intervenants soient représentés. Douze autres intervenants ont été invités à remplir le formulaire Web, et quatre d'entre eux l'ont finalement fait. Comme les réponses en ligne sont anonymes, on ignore si les participants faisaient partie des intervenants invités.

Les échanges du groupe de discussion ont été transcrits, puis combinés aux réponses reçues en ligne. Toute cette rétroaction a ensuite été analysée pour en dégager des thèmes principaux, qui sont résumés ci-après.

Participants

Comme nous l'avons mentionné, 12 personnes ont fourni leurs commentaires – six hommes et six femmes. Le groupe de participants était composé du président-directeur général d'un organisme national sans but lucratif axé sur la santé des enfants, d'un cadre travaillant en recherche, évaluation et élaboration de politiques pour une organisation gouvernementale provinciale axée sur la santé des enfants, du fondateur d'un groupe de défense des familles, de six chercheurs chevronnés en santé des mères, des enfants et des adolescents et de trois nouveaux chercheurs ou chercheurs en début de carrière en santé des mères, des enfants et des adolescents. Tous les intervenants invités sont des membres très actifs et visibles du milieu de l'IDSEA. Les participants du groupe de discussion venaient de la Colombie-Britannique, du Manitoba, de l'Ontario, du Québec et du Nouveau-Brunswick. Les personnes qui ont répondu en ligne provenaient de la Colombie-Britannique, de l'Alberta et de l'Ontario.

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

À titre d'information, les objectifs originaux de la réforme étaient les suivants : 1) atteindre l'excellence dans les quatre thèmes de recherche; 2) favoriser la recherche novatrice, originale et inédite; 3) intégrer de nouveaux talents pour soutenir l'afflux de chercheurs en santé au Canada; 4) améliorer la viabilité des activités de recherche à long terme; et 5) résoudre des problèmes opérationnels, comme la charge de travail pour les candidats, le fardeau de l'évaluation par les pairs, l'efficacité du processus d'évaluation par les pairs et la complexité des programmes des IRSC.

Dans l'ensemble, les réponses à la question 1 étaient principalement négatives. Seulement un participant a indiqué qu'il trouvait la conception de la réforme « plus large et ciblée que ce qui était fait auparavant, ce qui permet une véritable évaluation par les pairs et assure l'absence de préjugés ». Deux autres participants ont fait remarquer qu'en théorie, la conception reposait sur une bonne idée, mais qu'il était trop tôt pour dire si les programmes Fondation et Projet tiendraient la route à long terme, même si les problèmes de mise en œuvre actuels étaient résolus. Ils ont poursuivi, appuyés par le reste des participants, en soulignant quelques ratés de la mise en œuvre, les inégalités potentielles découlant des changements et les dégâts causés par la réforme. Plusieurs participants ont affirmé que la réforme, plutôt que de répondre aux objectifs initiaux, aurait fait tout le contraire.

La réforme ne permet pas d'atteindre l'excellence et de favoriser l'innovation en recherche

Une bonne partie de la discussion et de la rétroaction reçue portaient sur le nouveau processus d'évaluation par les pairs (voir la question 4 pour lire d'autres réponses à ce sujet). Les participants étaient communément d'avis que le processus n'avait pas été amélioré et ne répondait pas aux objectifs initiaux de la réforme. Plusieurs ont d'ailleurs souligné qu'il avait nui à la capacité des IRSC d'atteindre l'excellence et de favoriser l'innovation en recherche. Un participant a même dit que « le processus d'évaluation par les pairs est un échec sur le plan de la sélection des pairs évaluateurs, de l'interprétation des demandes et de l'absence de discussion adéquate pour évaluer l'excellence ».

La réforme nuit aux nouveaux talents

Au sujet des nouveaux chercheurs de talent : « L'approche actuelle a une influence négative profonde sur les nouveaux talents et l'innovation en recherche, puisque le financement tend à favoriser les chercheurs hautement performants qui ont une feuille de route bien garnie », ce qui place « les nouveaux chercheurs au Canada dans une situation très précaire ». Cette opinion était partagée par plusieurs participants, surtout en ce qui a trait au financement des concours Fondation, « qui a été distribué de façon disproportionnelle aux chercheurs chevronnés ». Par ailleurs, certains trouvaient que le fait de permettre à un titulaire de subvention Fondation de présenter une demande comme cocandidat à un concours Projet était injuste envers les nouveaux chercheurs. Toutefois, d'autres estimaient plutôt que ce serait un bon moyen de tirer profit des connaissances et du soutien des chercheurs chevronnés si les candidats principaux désignés de la demande présentée au concours Projet étaient des nouveaux chercheurs.

La viabilité de l'entreprise de recherche a été compromise

Les commentaires à ce sujet pourraient être séparés en deux catégories : 1) le fossé qui se creuse entre le milieu de la recherche et les IRSC, qui nuit assurément à la viabilité à long terme de l'entreprise de recherche; et 2) les problèmes de viabilité financière de l'entreprise de recherche.

Les participants ont fait part de leur mécontentement, de leur confusion et de leur incompréhension (notamment en raison du manque de clarté) quant à la réforme et à son processus de conception et de mise en œuvre. Ils trouvaient également que le milieu de la recherche en santé n'avait pas participé de façon significative à la conception et à la mise en œuvre de la réforme. Voici quelques-uns des commentaires que nous avons reçus :

« Il n'y a pas assez de scientifiques qui participent aux discussions sur les programmes. »

« Il n'y a pas de communauté de pairs scientifiques qui collaborent, offrent du mentorat et cultivent les talents. »

« La centralisation du processus décisionnel et la coupure avec la communauté scientifique ont eu pour effet de détériorer les relations. »

« L'élimination des [conseils consultatifs d'instituts] est un autre changement qui témoigne de la dégradation des relations avec les milieux de recherche. »

« Les taux de réussite [ont] chuté, et la confiance dans le système d'évaluation par les pairs n'a jamais été aussi faible. »

« De 2000 à 2012, c'était “nos IRSC”. Maintenant, pour ne donner qu'un exemple, les gens refusent de siéger à des comités – ils ne se sentent aucunement redevables aux IRSC. »

En ce qui a trait à la viabilité financière de l'entreprise de recherche, plusieurs répondants ont soulevé des préoccupations sur les taux de réussite historiquement bas et leur incidence négative sur les chercheurs, qui seront nombreux à ne pas pouvoir obtenir du financement. En outre, un participant a aussi remis en question la pertinence des programmes supplémentaires comme la SRAP, les CERC et les CRC, lorsque le volume de demandes aux concours de subventions Projet et Fondation est si élevé. Un autre participant a indiqué qu'« on n'a pas mesuré les effets du programme de subventions Fondation sur l'ensemble des taux de financement, ce qui a entraîné un manque de planification pour la grande proportion de fonds alloués à ce programme ».

Le fardeau des candidats et des pairs évaluateurs n'a pas été allégé

En plus d'aborder de façon générale les effets systémiques de la réforme, les participants ont souligné que les défis relatifs à la charge de travail des candidats et au fardeau de l'évaluation par les pairs n'avaient pas été surmontés. En raison des taux de réussite historiquement bas, de nombreux chercheurs devront continuer de rédiger plusieurs demandes pour obtenir du financement. Par ailleurs, les candidats ont eu beaucoup de mal à composer avec le nouveau format de la demande (qui a été modifié depuis). On a aussi fait état du calendrier d'évaluation par les pairs totalement irréaliste. Un participant a d'ailleurs indiqué que les personnes recevaient un avis de trois semaines pour agir comme président virtuel, et que certains évaluateurs se voyaient remettre 10 demandes à évaluer en deux semaines.

Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

En gros, les défis dont il est question comprennent l'accessibilité et la complexité des programmes de financement, le fardeau pour les candidats, les processus ne permettant pas d'obtenir les données appropriées, le soutien insuffisant pour les nouveaux chercheurs et les chercheurs en début de carrière, le manque de disponibilité des chercheurs pour l'évaluation par les pairs, le manque de cohérence de l'évaluation, la nature conventionnelle de l'évaluation par les pairs et la charge de travail élevée des pairs évaluateurs.

Une fois de plus, les réponses des intervenants étaient toutes négatives, sauf une, qui indiquait que les nouveaux programmes étaient « plus encourageants pour les nouveaux, les techniques et les jeunes scientifiques ». Le reste des réponses montrait clairement que les participants estimaient que les changements apportés aux programmes et au processus d'évaluation par les pairs, tels qu'ils ont été appliqués jusqu'à maintenant, n'avaient permis aux IRSC de répondre à aucun des défis énumérés, ce qui limitait l'étendue de la discussion. En réponse à cette question, une brève discussion a eu lieu sur des détails du processus de demande et les changements annoncés à l'automne 2016; ces changements ont été accueillis favorablement. Les inégalités relatives au soutien des nouveaux chercheurs et des chercheurs en début de carrière (voir ci-dessus) ont été abordées de nouveau. La majorité des réponses portaient sur l'évaluation par les pairs et les problèmes issus du processus d'évaluation en ligne. Ces réponses sont d'ailleurs présentées dans le résumé de la discussion approfondie sur la réforme de l'évaluation par les pairs. Cette discussion a eu lieu en réponse à la question 4, lorsque de nombreux points semblables ont été soulevés à nouveau.

Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

Tous les intervenants consultés trouvaient qu'on ne disposait pas d'assez de connaissances à ce sujet pour en discuter en détail.

Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

À l'exception d'un répondant, qui a affirmé que le nouveau processus d'évaluation par les pairs « permet[tait] de faire appel aux experts appropriés pour évaluer les demandes en temps voulu », tous les répondants ont mentionné diverses lacunes relatives aux mécanismes d'évaluation par les pairs. Trois estimaient que le nouveau processus était un échec et qu'il était pire que l'ancien système de comités, citant des rapports sur le contrôle de la qualité défaillant et le recours à des non-experts pour évaluer les demandes. Les autres appuyaient la théorie derrière le collège des évaluateurs, mais ont soulevé des problèmes dans la mise en œuvre, en particulier sur le plan du recrutement des évaluateurs et du processus d'évaluation en ligne. La plupart des lacunes s'apparentaient à celles qui avaient déjà été relevées par les membres du milieu de la recherche en santé lors de la réunion de travail de juillet 2016 et par le groupe de travail sur l'évaluation par les pairs des IRSC qui en a découlé.

Incapacité de trouver des pairs évaluateurs appropriés

En ce qui a trait à la qualité de l'évaluation par les pairs, des candidats ont souligné que « la qualité et la nature des commentaires des pairs évaluateurs indiquent que les IRSC sont incapables de sélectionner les bonnes personnes pour accomplir la tâche ». Beaucoup de commentaires visaient le processus de sélection des évaluateurs, perçu comme étant aléatoire et incapable de jumeler efficacement les demandes aux évaluateurs ayant l'expertise appropriée. Les participants ont en particulier mis l'accent sur l'algorithme utilisé pour apparier les évaluateurs et les demandes, signalant que les choix de mots-clés donnés aux évaluateurs potentiels étaient trop restreints pour leur permettre de décrire adéquatement leur expérience et leur expertise. Ce manque de choix a entraîné de mauvais jumelages, une situation injuste pour le candidat et l'évaluateur. Un répondant a mentionné « qu'on ne pouss[ait] pas suffisamment la réflexion à savoir qui est en mesure d'évaluer les nouveaux secteurs de programme, comme l'innovation et les services intégrés ».

Voici d'autres raisons invoquées pour expliquer les problèmes de jumelage :

« Les personnes invitées à agir comme pair évaluateur ou président virtuel [ont] reçu un avis trop court (souvent, deux ou trois semaines seulement) pour pouvoir accepter. »

« L'évaluateur potentiel est moins susceptible d'accepter une demande d'agir comme pair évaluateur si elle provient d'une “équipe” anonyme que si elle provient de ses pairs. »

« Il manquait de renseignements sur la qualification, l'expertise et la compétence de l'évaluateur. »

Processus d'évaluation par les pairs en ligne de piètre qualité

L'autre sujet de discussion important qui a été soulevé relativement à l'évaluation par les pairs était l'abolition de la structure de comités d'évaluation par les pairs en personne et la mise en place de l'évaluation par les pairs en ligne. Les répondants ont fourni plusieurs raisons pour expliquer pourquoi cette idée ne tient pas la route, ainsi que pourquoi elle réduit les possibilités de discussion appropriée pour évaluer l'excellence et entraîne des évaluations incohérentes et de mauvaise qualité.

« [L'évaluation en ligne] nous prive d'un avantage appréciable des discussions en personne : la mise en commun des idées et des connaissances. »

« La responsabilisation des évaluateurs est éliminée. »

« En personne, les évaluateurs doivent défendre leur point de vue, ce qu'ils n'ont pas à faire en ligne. »

« La structure de comités permettait une certaine mémoire organisationnelle et, par conséquent, certaines mesures régulatrices. »

« Peu de personnes ont un lien avec le processus, dont le comité d'évaluation externe et les candidats. »

« Il n'existe aucune façon de combler l'écart entre l'expertise de l'évaluateur et le sujet de la demande. »

Critères d'évaluation par les pairs discriminatoires

Le dernier thème abordé : les critères d'évaluation par les pairs utilisés dans le nouveau processus. Certains les trouvaient « inappropriés »; à leurs yeux, ils favorisaient la recherche sur la prestation de soins de santé, l'application des connaissances et les retombées, des conditions qui ne peuvent s'appliquer à toutes les demandes, en particulier celles touchant la recherche fondamentale. Comme l'a mentionné un participant, « les IRSC ne laissent pas à l'évaluateur le soin de déterminer la qualité, mais le poussent à privilégier le type de recherche qu'ils ont choisi ». De ce fait, les participants ont indiqué que cette approche universelle « compromettra vraiment certains thèmes », en plus d'« étouffer la créativité ». Ils ont également souligné que « l'évaluateur devrait avoir plus de latitude dans ses commentaires, plutôt que de devoir répondre à des questions précises qui ne s'appliquent pas nécessairement [à toutes les demandes] ». En revanche, un participant en ligne a dit avoir remarqué que la majorité des candidats retenus menaient des travaux de recherche biomédicale fondamentale, précisant que « si la recherche clinique […] doit être mise de l'avant, il faudrait alors envisager de séparer les possibilités de financement de la recherche biomédicale fondamentale et de la recherche clinique ».

Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Si les participants ayant répondu à cette question ont affirmé qu'ils ne connaissaient pas très bien les « meilleures pratiques à l'échelle internationale », cela ne les a pas empêchés de fournir des suggestions pertinentes. Certaines des pratiques suggérées ont d'ailleurs déjà été adoptées par les IRSC dans le cadre du cycle actuel de subventions Projet.

Tous les répondants considéraient les réunions en personne cruciales pour assurer la qualité de l'évaluation par les pairs. La récente décision des IRSC de mener une évaluation en personne dans 40 % des demandes aux programmes Fondation et Projet a été accueillie favorablement, mais certains se demandaient si cette proportion était encore trop faible. En outre, il a été souligné que les évaluateurs devraient être des pairs du candidat et que « les cliniciens ne devraient pas participer à l'évaluation d'une demande touchant la recherche fondamentale » et que ceux qui font de la recherche fondamentale ne devraient pas évaluer des demandes dans le domaine de la recherche clinique. Quant au recrutement et au jumelage des évaluateurs, un participant a mentionné que si un algorithme de jumelage électronique devait être employé, celui-ci devrait utiliser une machine d'apprentissage automatique qui balaie un résumé à la recherche de mots-clés, plutôt que de se fier aux mots-clés choisis par le candidat à partir d'une liste établie. Les participants estimaient également que les évaluateurs devraient pouvoir déterminer s'ils se sentent aptes à évaluer une demande avant qu'on la leur assigne. Ensuite, les présidents devraient jouer un rôle dans la décision de jumelage finale. Par ailleurs, on a aussi souligné la nécessité que le collège des évaluateurs et le processus d'évaluation par les pairs soient transparents.

L'autre thème qui se dégage des suggestions est qu'il fallait assurer la qualité des évaluateurs et des évaluations au moyen de formations et d'évaluations. Certains participants se demandaient si les nouveaux évaluateurs recevaient une formation et un mentorat adéquats. Dans l'ancien système, les futurs évaluateurs étaient invités à observer les comités pour apprendre comment évaluer une demande. Un participant a d'ailleurs indiqué que « ce processus de mentorat a disparu avec le [nouveau] système ». En ce qui concerne l'évaluation, il a été mentionné que « les évaluateurs ne sont pas évalués [par personne, et que] la qualité des évaluations remises n'est [donc] pas vérifiée ». Par conséquent, on a suggéré d'établir un système de responsabilisation pour empêcher les mauvais évaluateurs de récidiver dans d'autres concours. On a donné en exemple un tableau de bord qui permettrait aux évaluateurs de voir où se situent leurs cotes dans l'écart-type des évaluations d'une demande donnée. On a aussi recommandé que le rôle des présidents de comité comprenne l'évaluation des compétences des évaluateurs et la détection de ceux qui ont besoin d'une formation supplémentaire.

Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

La discussion en réponse à cette question portait sur des suggestions générales pour l'évaluation plutôt que sur des méthodes ou des indicateurs précis. Les participants s'entendaient pour dire qu'il fallait vraiment évaluer la qualité des évaluations par les pairs. Cette évaluation devrait être qualitative pour vérifier non seulement la qualité, mais aussi toute amélioration apportée à la suite de la modification du processus. Comme l'a mentionné un participant, « la méthode utilisée pour établir les critères [d'évaluation] nécessite une boucle de rétroaction afin que nous puissions mesurer l'atteinte des objectifs initiaux ». On a également indiqué qu'il serait « utile de mesurer la satisfaction (des candidats et des évaluateurs) à l'égard du nouveau processus… comparativement à l'ancien ».

Un autre point apporté était qu'il est essentiel de commencer à mesurer les conséquences générales de la réforme, en particulier pour les jeunes scientifiques, et de déterminer si ceux-ci poursuivent dans le domaine des sciences. Quelques participants ont également indiqué que toutes les mesures « devraient être imposées par une organisation autre que les IRSC et surveillées par une organisation indépendante » et que « la mise en œuvre et l'évaluation des solutions devraient également être confiées à une organisation externe ».

Date de modification :

2017-05-30