Comité d’experts sur l’évaluation par les pairs : rétroaction des présidents du Collège des évaluateurs
Démarche d’engagement des présidents du Collège des évaluateurs
Le 27 octobre 2016, à la première réunion des présidents du Collège, des membres du personnel de la Direction du rendement et de la responsabilisation des IRSC ont dirigé une discussion semi-structurée au sujet des questions soumises au comité d’experts sur l’évaluation par les pairs. Des 17 présidents, 12 ont participé à la discussion. Celle-ci n’a pas été enregistrée, mais des notes détaillées ont été prises; ces notes ont servi à rédiger le résumé qui suit. Par la suite, les présidents du Collège ont commenté le résumé et ont ajouté quelques précisions sur des échanges concernant le comité d’experts qui ont eu lieu à d’autres moments de la réunion.
Les présidents du Collège ont recommandé que soit fourni au comité d’experts, en plus du résumé de cette discussion dirigée, un résumé du procès-verbal de la réunion des présidents, qui comprend un survol des fonctions de base du Collège, ainsi qu’un résumé des activités stratégiques prévues à court terme (définition du mandat des présidents, nature des liens avec l’évaluation internationale externe) et à long terme (p. ex. recrutement, apprentissage et mentorat, mesures incitatives et reconnaissance, assurance de la qualité des évaluations).
Résumé des thèmes de discussion
Le comité : préoccupations générales et possibilités
Les présidents du Collège avaient des questions et des préoccupations concernant la composition du comité, sa sélection par les IRSC, et les questions qui lui seraient soumises. Plus précisément, ils ont recommandé aux IRSC de veiller à ce que le comité d’experts se concentre sur la manière dont la conception et les concours de subventions devraient se dérouler pour assurer la qualité et l’efficacité de l’évaluation par les pairs.
De plus, les présidents ont manifesté un vif intérêt pour les données et d’autres renseignements devant être fournis au comité d’experts, et ils aimeraient aussi y avoir accès. Ils ont aussi exprimé le souhait que les données soient analysées et accompagnées de renseignements contextuels qui permettraient aux membres du comité d’experts de comprendre les conclusions clés à en tirer. Selon eux, il est essentiel que le comité comprenne les conclusions de la réunion du 13 juillet avec le milieu de la recherche et les progrès réalisés en vue de leur application.
On s’est aussi interrogé sur la capacité du comité international à examiner le processus itératif d’évaluation en cours d’élaboration par le groupe de référence sur les bonnes pratiques d’évaluation par les pairs pour la recherche en santé autochtone, vu sa composition exclusivement internationale et son manque d’expertise autochtone. Il a été précisé que ce processus ne ferait pas partie du mandat du comité.
Les présidents ont en outre demandé qu’on les tienne au courant des travaux du comité d’experts (dans les limites du raisonnable), particulièrement en ce qui a trait à la relation entre le mandat du comité et celui du Collège des évaluateurs et aux rôles qu’ils doivent exercer en leur qualité de président.
Opinions sur l’architecture des programmes et les difficultés liées à la mise en œuvre
Les présidents du Collège ont des opinions diverses sur la conception des programmes Fondation et Projet, notamment sur l’organisation des évaluations et le nouveau processus de demande structurée. Manifestement, des problèmes importants sont survenus durant la mise en œuvre de la réforme de l’évaluation par les pairs, par exemple en ce qui concerne le recrutement des évaluateurs, le jumelage de l’expertise, la qualité des évaluations et la participation des évaluateurs aux discussions postévaluation. Les présidents ont convenu que ces problèmes avaient miné la confiance du milieu canadien de la recherche en cette fonction essentielle des IRSC.
Plusieurs présidents se sont dits préoccupés par le fait que les calculs liés au budget du programme Fondation reposaient grandement sur des subventions dans le cadre d’un programme ouvert reçues précédemment et ne tenaient pas compte de sources antérieures de financement de la recherche priorisée reçu par le chercheur principal désigné, ni du financement d’équipe. Cette pratique pourrait avoir injustement limité le budget de certains types de recherche qui attiraient généralement plus de projets de recherche priorisée ou de groupes interdisciplinaires des IRSC comparativement à d’autres antérieurement financés dans un programme ouvert de l’organisme.
Plusieurs ont aussi exprimé des inquiétudes au sujet de l’équité de la sélection : genre, thème, demandes présentées en français. L’évaluation de projets de recherche autochtone et de recherche participative a aussi été considérée comme problématique. Il a été suggéré que les présidents du Collège et les IRSC envisagent des formats de demande différents pour des domaines de recherche différents, particulièrement en ce qui concerne la structure distincte des demandes de recherche participative, dont les candidats proviennent souvent des milieux correspondants et non d’universités.
Tous les présidents du Collège se sont entendus pour dire que le plafonnement global du budget des IRSC avait eu des effets importants sur les taux de réussite et sur le moral du milieu canadien de la recherche.
Appui massif envers le Collège et création de structures de soutien robustes
Le Collège était considéré comme un mécanisme nécessaire, mais insuffisant pour assurer la qualité de l’évaluation par les pairs. Même si le recrutement des évaluateurs et des présidents de concours et leur jumelage (à des subventions individuelles et à des blocs, respectivement) représentent des difficultés importantes dans l’immédiat, les incitatifs à l’engagement, le programme d’apprentissage, les programmes de mentorat et la qualité des évaluateurs étaient tous considérés comme des structures de soutien importantes au sein du Collège. Ces programmes conçus pour consolider les effectifs amélioreront le rendement du Collège.
Les présidents du Collège se sont accordés pour dire que le retard dans la création et la concrétisation du Collège a contribué à compromettre la qualité du processus d’évaluation des premiers concours Fondation et Projet. Une grande priorité est la mise en œuvre du Collège et des activités connexes. Au fil de la mise en œuvre, les présidents surveilleront, en collaboration avec les IRSC, les retombées de ces efforts sur la qualité de l’évaluation par les pairs.
L’évaluation par les pairs est une entreprise sociale et humaine dont le succès est tributaire de l’engagement des membres du Collège des évaluateurs. Par ailleurs, bien qu’elle soit utile pour appuyer la mise en œuvre, la technologie ne peut pas remplacer les efforts assidus visant à accroître l’engagement des évaluateurs à l’égard du processus d’évaluation. Afin de favoriser cet engagement, le Collège et ses présidents doivent devenir le lien entre les IRSC et le milieu de la recherche. En outre, le Collège constitue une structure importante pour susciter la participation du milieu des évaluateurs à tous les aspects de l’évaluation par les pairs.
Indicateurs et méthodes de mesure de la qualité et de l’efficacité
Les présidents du Collège ont souligné la nécessité de données de qualité sur les pairs évaluateurs, le processus d’évaluation et les résultats à toutes les étapes de l’évaluation par les pairs. Ils ont insisté sur l’importance d’obtenir de la rétroaction des présidents du concours Projet de l’automne 2016 sur la qualité des évaluations et le travail des évaluateurs aux deux étapes d’évaluation (étape 1, discussion en personne à l’étape 2).
Il existe d’autres données pertinentes, notamment les taux absolu et proportionnel de demandes ainsi que, comme exemples d’indicateurs de justice et d’équité, les taux de réussite par langues, par thèmes et par genres. Pour cet aspect du mandat, les IRSC fourniront aux présidents du Collège des mesures sur ces indicateurs afin que ce sujet puisse être abordé à une réunion ultérieure.
- Date de modification :