Institut de la santé des femmes et des hommes : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Novembre 2016

Messages principaux

  • Équité en matière de financement. D'importantes préoccupations ont été soulevées sur : 1) la façon dont les nouveaux chercheurs sont évalués et le fait qu'ils doivent souvent satisfaire aux mêmes normes que les chercheurs chevronnés; 2) l'avantage considérable qui semble être accordé à la recherche biomédicale; 3) les faibles taux de réussite des chercheuses chevronnées et des chercheuses en milieu de carrière aux concours de subventions Fondation.
  • Manque d'expertise des évaluateurs, en particulier pour les questions relatives au sexe et au genre. Il n'est pas rare que le jumelage des évaluateurs et des candidats soit inapproprié. Les intervenants craignent notamment que les évaluateurs n'aient pas l'expertise nécessaire pour évaluer adéquatement l'intégration du sexe et du genre aux protocoles de recherche. Bon nombre d'entre eux croient également qu'on devrait ouvrir le bassin d'évaluateurs aux non-titulaires de subvention des IRSC afin d'accroître le nombre d'évaluateurs potentiels ayant l'expertise appropriée dans certains domaines de recherche en santé.
  • Suggestions d'améliorations au processus d'évaluation par les pairs. Les intervenants s'inquiètent du fait que la plupart des évaluateurs ne lisent pas le contenu de la case de la section administrative où le candidat décrit comment il tient compte du sexe et du genre dans son projet de recherche. Des directives précises devraient être fournies aux évaluateurs sur l'endroit où se trouve cette case parce que les candidats y inscrivent souvent des renseignements généraux et méthodologiques très pertinents qui ne se trouvent nulle part ailleurs dans la demande. Plusieurs intervenants appuient également l'idée d'offrir aux candidats la possibilité de répondre aux commentaires des évaluateurs.

Démarche d'engagement des intervenants

Le 10 novembre 2016, 20 membres du milieu de l'Institut de la santé des femmes et des hommes (ISFH) ont pris part à un groupe de discussion pour commenter les processus de conception et de sélection des programmes de recherche libre en tenant compte du mandat de l'organisme, à l'aide des questions du comité d'experts sur l'évaluation par les pairs.

Participants

Le groupe de discussion était majoritairement composé de candidats et d'évaluateurs du dernier cycle de concours des programmes de recherche libre Projet et Fondation. Vingt-cinq chercheurs, dont trois stagiaires, y ont participé.

Les participants du groupe n'étaient pas certains s'ils devaient parler de leur expérience au dernier concours ou des changements mis en œuvre pour les prochains concours. Ils ont finalement décidé de répondre en fonction de leur expérience.

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

La très grande majorité des intervenants estimaient que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC ne répondait pas aux objectifs initiaux. Plus précisément…

  • Des préoccupations ont été soulevées sur la façon dont les nouveaux chercheurs sont évalués et le fait qu'ils doivent souvent satisfaire aux mêmes normes que les chercheurs chevronnés. On a suggéré de former les pairs évaluateurs sur la façon d'évaluer les nouveaux chercheurs et indiqué que ces derniers gagneraient à être évalués séparément.
  • Les intervenants s'accordaient généralement pour dire que la qualité globale des évaluations avait diminué après la réforme. La sélection des évaluateurs semblait « plutôt aléatoire », le jumelage de l'expertise (évaluateurs-candidats) était souvent inapproprié et l'objectif en matière d'excellence scientifique n'était pas atteint.
  • Les intervenants ont indiqué qu'il fallait revenir aux réunions en personne, puisqu'elles facilitent la discussion, constituent un bon moyen de comparer les demandes, favorisent l'atteinte d'un consensus en toute transparence et, possiblement le point le plus important, assurent la responsabilisation des évaluateurs. En effet, ces derniers mettent plus d'efforts à évaluer les demandes en sachant qu'ils devront présenter leur évaluation à leurs pairs.
  • En ce qui a trait à la sélection des évaluateurs (limités aux titulaires de subvention des IRSC), on a souligné qu'il existait, hors de la sphère des IRSC, un important bassin d'experts qui pourraient être sollicités dans le cadre de futures évaluations. Par exemple, le milieu de la recherche en sciences humaines regorge d'experts pour les questions relatives au genre et au sexe. Si les évaluateurs admissibles se limitent aux titulaires de subvention des IRSC, il se peut que nous nous privions d'un important bassin d'experts. De nombreux intervenants estimaient également que les experts se trouvaient « hors » des IRSC parce que ces derniers les avaient mis de côté, et qu'un travail devait être fait pour combler le fossé créé par le schisme structurel qui divise les IRSC et le CRSH. Ce dernier a tourné le dos à la santé, tandis que les IRSC n'ont pas fait grand-chose pour intégrer les spécialistes des sciences sociales. Une étude portant sur la question a d'ailleurs été citée : https://ejournals.library.ualberta.ca/index.php/CJS/article/view/21329/17200.
  • La majorité des intervenants avaient l'impression que les chercheurs en sciences biomédicales bénéficiaient d'un avantage important et significatif. Ils ont indiqué que les taux de réussite des chercheurs des thèmes III et IV étaient inférieurs à ceux des autres thèmes. De même, les sciences humaines étaient faiblement représentées dans les demandes retenues.
  • Les intervenants étaient aussi généralement préoccupés par les taux de réussite des femmes aux concours de subventions Fondation. Le taux de chercheuses en milieu de carrière et de chercheuses chevronnées ayant obtenu du financement correspondait à la moitié du taux d'hommes financés.
  • Les chercheurs titulaires d'une subvention Fondation ont vivement déploré le fait que les cochercheurs principaux ne pouvaient pas être nommés dans la demande de subvention. Il s'agit d'un problème important vu que la subvention Fondation a remplacé les anciennes subventions de fonctionnement auxquelles ils avaient droit.
Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

Plusieurs préoccupations ont été soulevées sur l'utilisation de la case de la section administrative où le candidat décrit comment il tient compte du sexe et du genre dans son projet de recherche ou explique pourquoi il a choisi de ne pas en tenir compte. Dans le cadre de leur mandat, les IRSC se sont engagés à respecter la Politique en matière d'analyse comparative fondée sur le sexe et le genre pour tous les partenaires du portefeuille de la Santé du gouvernement du Canada. La Politique exige que les recherches, les politiques et les programmes financés par le gouvernement répondent tous aux divers besoins des hommes et des femmes. L'interprétation des IRSC : la recherche financée par les IRSC devrait s'appliquer et contribuer à la santé des hommes et des femmes de manière équitable.

  • Beaucoup d'intervenants s'inquiétaient du fait que la plupart des évaluateurs ne lisent pas cette section et ne fournissent pas de commentaires aux candidats sur son contenu. Les National Institutes of Health (NIH), aux États-Unis, ont dans leurs demandes une section sur l'inclusion des femmes, des minorités et des considérations relatives au sexe comme variable biologique, qui est évaluée par le comité d'évaluation par les pairs.
  • Comme la case se trouve dans la section administrative de la demande de subvention, la plupart des évaluateurs ne la voient pas. Des directives précises devraient être fournies aux évaluateurs sur l'endroit où se trouve cette case parce que les candidats y inscrivent souvent des renseignements généraux et méthodologiques très pertinents qui ne se trouvent nulle part ailleurs dans la demande. Par ailleurs, il a été suggéré que le contenu de cette case soit déplacé dans la section portant sur la proposition de recherche afin d'accroître son accessibilité.
  • Les intervenants craignaient également que les évaluateurs n'aient pas l'expertise nécessaire pour évaluer adéquatement l'intégration du sexe et du genre aux protocoles de recherche. Ils ont suggéré que les évaluateurs suivent au moins un des trois modules de formation en ligne élaborés par l'ISFH, conçus pour les aider à évaluer les protocoles de recherche ou les publications en fonction de l'intégration des aspects liés au sexe et au genre. Cela contribuerait, à tout le moins, à améliorer le sentiment d'efficacité personnelle des évaluateurs.
  • Un autre problème soulevé concerne le fait que la plupart des demandes de subvention s'inscrivent dans les thèmes de recherche I et II, alors que la majorité des experts en matière de genre et de sexe mènent des travaux relevant des thèmes III et IV.
  • Les intervenants ont également souligné la nécessité d'ajouter dans la demande une section où les candidats pourraient démontrer la multidisciplinarité et l'interdisciplinarité. Il est possible d'évaluer ces aspects en vérifiant les cochercheurs associés à la demande, mais cela ne dit pas tout sur les différents partenariats, dans le milieu universitaire ou non, et leurs rôles respectifs dans les projets de recherche proposés.
Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

  • Il a été proposé que chaque comité d'évaluation par les pairs compte au moins un expert des aspects liés au sexe et au genre pour assurer une bonne évaluation comparative de l'intégration de ces aspects dans les demandes.
  • Les participants s'entendaient généralement pour dire qu'il était nécessaire de développer les compétences de base pour l'évaluation de ces aspects, en plus de faire appel à des experts. On pourrait y arriver en obligeant les évaluateurs à suivre un module de formation en ligne sur le sujet (www.decouvrezsg.ca). De plus, l'élévation du niveau de connaissances sur les façons d'intégrer les considérations de genre et de sexe aux méthodes dans la demande améliorera la recherche en santé et les résultats pour la santé des Canadiens.
  • Les présidents et les agents scientifiques des comités d'évaluation par les pairs devraient suivre la formation en ligne et veiller à ce que les aspects liés au sexe et au genre soient pris en compte adéquatement, s'il y a lieu.
  • Plusieurs évaluateurs des IRSC ont souligné que dans l'Union européenne, le sexe et le genre font souvent partie des critères d'évaluation dans les concours ouverts de financement de la recherche libre. Les IRSC devraient envisager de faire de même pour leurs concours ouverts, s'il y a lieu.
Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

Pour répondre à cette question, plusieurs membres de notre milieu ont voulu exprimer des préoccupations qui allaient au-delà des concours ouverts. Certaines recommandations portaient sur les concours ouverts, mais d'autres, plus précisément sur les initiatives stratégiques des instituts.

  • Les participants s'accordaient pour dire que les candidats devraient être tenus d'intégrer les aspects liés au sexe et au genre ou d'expliquer adéquatement pourquoi ils ne se sont pas pertinents pour leur recherche. Trop d'évaluateurs s'en tirent en écrivant seulement « s. o. » dans la case. Ce type d'exigence est actuellement appliquée aux NIH et cadre avec les principes de qualité de l'évaluation par les pairs.
  • Des intervenants ont voulu souligner que, dans les possibilités de financement stratégiques, il y a souvent un fossé entre la conceptualisation de la possibilité de financement et le processus d'évaluation. Les évaluateurs manquent souvent de formation sur les critères d'évaluation les plus importants ou ne disposent pas d'assez de renseignements généraux pour bien évaluer les demandes tout en tenant compte des objectifs de la possibilité.
  • Le renforcement des capacités en matière de genre et de sexe devrait s'appliquer à toutes les possibilités de financement (pas seulement celles de l'ISFH). Par exemple, des liens directs vers des ressources comme les modules de formation de l'ISFH devraient être proposés explicitement aux candidats de tous les concours, dont les concours ouverts. Cette mesure aiderait à faire connaître le rôle prépondérant que jouent le sexe et le genre dans la santé et les maladies et à accroître la qualité de l'évaluation par les pairs en ce qui concerne ces aspects.
  • Dans les possibilités de financement stratégiques, les rôles et les responsabilités des champions en matière de genre et de sexe doivent être mieux définis dès le départ. Des mécanismes doivent être mis en place pour que ces champions ne soient pas ajoutés symboliquement au processus à la dernière minute, mais participent à l'ensemble du processus de recherche, y compris aux activités d'application des connaissances et de mise en œuvre.
  • Des préoccupations ont été soulevées sur les critères d'évaluation utilisés dans le cadre des concours de subventions Fondation. Les intervenants avaient l'impression que les critères de leadership et de productivité (p. ex. l'indice h) avantageaient injustement les chercheurs du domaine biomédical.
Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

  • Au Royaume-Uni, la population est souvent sollicitée pour participer au comité de sélection et prendre part aux discussions sur les retombées potentielles de la recherche. Ainsi, on s'assure que peu importe l'excellence scientifique d'une demande, cette dernière a peu de chances d'être financée si elle ne présente pas de retombées potentielles importantes pour la société.
  • Plusieurs intervenants appuyaient l'idée que les candidats puissent répondre aux commentaires des évaluateurs. Une option intéressante est le modèle de financement en deux étapes utilisé en Australie, où une partie des fonds est octroyée seulement après l'examen des réponses du candidat à son évaluation initiale. Le principal inconvénient de ce modèle, cependant, est que les candidats manquent d'espace pour bien répondre à tous les commentaires. Bien que le processus en deux étapes puisse augmenter la charge de travail des évaluateurs, il pourrait contribuer à améliorer la science. Ce modèle a été mis à l'essai par l'Institut de la santé publique et des populations des IRSC.
  • Aux États-Unis, les NIH ont dans leurs demandes une section sur l'inclusion des femmes et des minorités pour s'assurer que la science s'applique à ces populations. Le contenu de cette section est évalué par les comités d'évaluation par les pairs des NIH. L'approche est très semblable à celle proposée par notre milieu, selon laquelle les pairs évaluateurs seraient appelés à évaluer le contenu de la case sur le sexe et le genre, qui se trouve actuellement dans la section administrative de la demande.
Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

Les intervenants ont relevé plusieurs indicateurs clés qui pourraient être utilisés pour évaluer la qualité et l'efficacité des systèmes d'évaluation par les pairs des IRSC.

  • Déterminer le nombre de femmes financées (et les taux de réussite des demandes) pour assurer l'équité.
  • Déterminer le nombre d'évaluateurs qui refusent de participer à une évaluation en raison du genre, de la discipline, du domaine, etc.
  • Recenser les raisons fournies par les chercheurs qui refusent de s'acquitter de fonctions d'évaluation par les pairs des IRSC.
  • Déterminer le nombre de demandes dans lesquelles le sexe et le genre sont bien intégrés à la question de recherche.
  • Passer en revue les divers sous-thèmes des demandes pour établir si les taux de réussite de certains domaines sont disproportionnellement élevés ou faibles. Cet indicateur pourrait aider à débusquer certains préjugés dans le système d'évaluation par les pairs.
  • Déterminer et comparer les taux de réussite pour chaque thème de recherche des IRSC en vue d'atteindre un meilleur équilibre et d'assurer l'équité.
  • Demander aux évaluateurs de remplir un court sondage sur les façons d'améliorer l'efficacité et la qualité du processus d'évaluation.
  • Déterminer le nombre de comités d'évaluation par les pairs qui comptent un champion ou un expert de l'analyse du sexe et du genre.
  • Déterminer le nombre d'agents scientifiques, de présidents, d'évaluateurs et de candidats pouvant démontrer qu'ils ont suivi les modules de formation en ligne sur le sexe et le genre (un certificat est fourni).
Date de modification :