Institut de la santé publique et des populations : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC

Novembre 2016

Messages principaux

  1. Selon le milieu de la recherche en santé publique et des populations (SPP), la nature complexe et hétérogène de la recherche en SPP (thème IV) et ses multiples volets exigent qu'une attention particulière soit accordée au recrutement et à la formation de pairs évaluateurs ainsi qu'au jumelage évaluateur-demande. Premièrement, à la différence des études axées sur les personnes, en SPP, l'unité d'analyse, ce sont les populations. Deuxièmement, la SPP n'est pas comme la médecine de précision ou la médecine personnalisée. Cette distinction et certaines autres doivent être précisées aux évaluateurs. En vue d'assurer la présence d'un bassin d'évaluateurs solide et approprié, le milieu recommande aussi un élargissement des efforts de recrutement du collège des évaluateurs afin que des évaluateurs internationaux liés au thème IV soient visés, et qu'une formation adéquate soit offerte pour favoriser la compréhension du contexte canadien de la recherche, des politiques et des pratiques en santé.
  2. Selon le milieu de la recherche en SPP, à l'heure actuelle, les règles des IRSC et leur mandat élargi de recherche en santé ne sont pas systématiquement respectés par les pairs évaluateurs. Les IRSC doivent donc veiller à ce que les commentaires des évaluateurs ne soient pas retenus s'ils trahissent un manque de compréhension du soutien apporté par l'organisme à la recherche portant sur le thème IV. Les intervenants de l'Institut de la santé publique et des populations (ISPP) ont formulé les recommandations qui suivent. Premièrement, il faut mieux informer tous les évaluateurs sur la diversité des projets de recherche en santé financés par les IRSC (notamment dans le thème IV) et leur fournir une rétroaction continue sur la pertinence de leurs évaluations. Deuxièmement, la nature complexe et hétérogène des demandes de subvention en SPP et les multiples volets du domaine exigent l'intégration d'interactions en personne au processus de sélection afin qu'on puisse vérifier le niveau de compétence des évaluateurs et veiller à ce qu'aucun d'entre eux ne se dise plus compétent qu'il ne l'est vraiment relativement à toute section d'une demande de subvention liée au thème IV.
  3. Le milieu de la recherche en SPP demande un suivi transparent et continu du volume de demandes et du taux de réussite par thèmes de recherche (notamment le thème IV) dans le cadre des plans de mise en œuvre des programmes Projet et Fondation. Il préconise également d'intégrer aux futures activités de mesure et d'évaluation du rendement des indicateurs spécifiques au thème IV qui permettraient de révéler rapidement l'existence de préjugés systémiques ayant une incidence sur la quantité, la qualité et la diversité de la recherche financée en SPP.

Démarche d'engagement des intervenants

L'Institut de la santé publique et des populations (ISPP) a formé deux groupes de discussion ciblés qui se sont réunis par téléconférence le 11 octobre (groupe 1) et le 28 octobre 2016 (groupe 2). Une première invitation du directeur scientifique de l'ISPP a été envoyée par courriel aux titulaires actuels et passés d'une chaire en santé publique appliquée. Par la suite, deux rappels ont été envoyés. Les titulaires de chaire ont aussi été encouragés à inviter un collègue du domaine de la santé publique et des populations (SPP) qui pourrait apporter un point de vue différent du leur (stagiaire, professeur débutant, chercheur chevronné, chercheur ayant obtenu plusieurs subventions des IRSC, chercheur n'ayant obtenu aucune subvention des IRSC, chercheur œuvrant à l'échelle locale ou mondiale, etc.). L'ISPP a également demandé aux personnes qui n'ont pu participer à ni l'un ni l'autre des groupes de discussion de lui donner par écrit leur avis concernant les six questions posées au comité d'experts. La rétroaction portant sur la recherche en SPP (thème IV) a été particulièrement encouragée. Dans certains cas, des questions précises ont été posées aux participants; celles-ci figurent dans le résumé, et le groupe de discussion est indiqué.

Participants

Les titulaires actuels et passés d'une chaire en santé publique appliquée (n = 26) financés par l'ISPP et d'autres partenaires, comme l'Agence de la santé publique du Canada, ont été invités parce qu'ils constituent un segment représentatif du milieu élargi de la recherche en SPP. Ce sont des chercheurs en milieu de carrière (6 à 12 ans d'expérience après l'obtention de leur dernier diplôme pertinent) et des chercheurs chevronnés dans le domaine de la SPP qui sont professeurs agrégés ou professeurs titulaires. Ils représentent divers domaines et disciplines (sciences infirmières, médecine communautaire, géographie, promotion de la santé, etc.) et travaillent dans des établissements universitaires canadiens. Les titulaires de chaire reçoivent des fonds pour mettre en œuvre des programmes de recherche appliquée ainsi que des activités de renforcement des capacités et d'application des connaissances sur des interventions en santé des populations (c.-à-d. étude de politiques et de programmes ayant des retombées en matière de santé et d'équité en santé à l'échelle des populations). Au total, neuf titulaires de chaire ont participé à deux téléconférences d'une heure coanimées par Steven Hoffman et Erica Di Ruggiero. Leur rétroaction est représentative des points de vue partagés par le milieu élargi de la recherche en SPP au sujet de la réforme et de l'évaluation par les pairs des demandes du thème IV (sources diverses : visites dans des écoles de santé publique effectuées par l'ancienne directrice scientifique de l'ISPP, tournée de consultation de l'automne 2016 réalisée par le directeur scientifique actuel, rapport de l'Institut sur le forum sur le thème IV).

Résumé de la rétroaction des intervenants

Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

Objectifs flous et non atteints

Les participants ont fait état d'un manque général de clarté concernant les objectifs de la réforme, les « problèmes » auxquels celle-ci devait remédier ainsi que les avantages qu'elle devait procurer aux chercheurs du thème IV. Après que les représentants de l'ISPP ont fourni des explications supplémentaires, la rétroaction suivante a été obtenue (plus détaillée sous les questions 2 et 3).

Certains participants ont qualifié la réforme d'insatisfaisante, les objectifs fixés, notamment la nécessité que la réforme tienne compte de tous les thèmes de la recherche en santé (dont le thème IV), n'ayant selon eux pas étéatteints. En outre, les participants s'inquiètent beaucoup de l'avenir, d'abord en raison de leur expérience récente relativement au thème, mais aussi quand ils la comparent à celle du programme de recherche libre précédent. La plupart des préoccupations concernaient le nouveau système d'évaluation par les pairs et sa pertinence pour évaluer la complexité de la recherche portant sur le thème IV.

Degré de compatibilité avec la recherche liée au thème IV

Certains participants ont indiqué qu'ils n'avaient pas présenté de demande au programme Fondation en raison de « l'opinion répandue » selon laquelle celui-ci n'est pas conçu pour appuyer la recherche en SPP (thème IV) et que les évaluateurs affectés aux demandes ne comprennent pas ce domaine. Les participants ont ajouté que le programme Fondation ne semble pas favoriser l'innovation en recherche.

Transparence par thèmes

Les participants aimeraient savoir comment le milieu de la recherche en SPP se porte et continuera de se porter dans les programmes Fondation et Projet, admettant que les chercheurs du thème IV sont reconnus comme des évaluateurs plutôt sévères qui accordent une trop grande importance aux méthodes. Les résultats récents du concours du programme Projet n'ont pas été jugés encourageants pour la recherche liée au thème IV. Les participants ont donc demandé aux IRSC de faire preuve de transparence au sujet des taux de réussite par thèmes dans les programmes Fondation et Projet.

Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

Selon les participants, il faut tenir compte de la situation globale de la recherche au Canada. Ils estiment que le travail des chercheurs du thème IV pourrait avoir de l'influence si le taux de réussite se chiffrait à 20 % ou 21 %, mais qu'à 12 %, c'est impossible qu'il ait une réelle incidence. Ils ont aussi souligné qu'il sera difficile d'atteindre un degré d'influence approprié au moyen de la recherche en SPP, surtout en ce moment, puisque la capacité et l'intérêt en matière de données probantes en SPP sont encore plus élevés.

Essentiellement, les participants croient que les changements mis en place se résument à une augmentation du nombre de personnes évaluant chaque demande de subvention, mais que l'établissement d'un consensus lors de réunions en personne ne transparaît pas dans l'attribution des cotes aux demandes du thème IV. À leur avis, les classements forcent la prise d'une décision définitive sur le plan financier – les IRSC doivent reconnaître cette réalité et en tenir systématiquement compte, surtout si le financement de la recherche n'est pas augmenté dans un avenir rapproché.

Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs?

Mauvaise compréhension des règles et du mandat élargi des IRSC

Les participants estiment que les règles des IRSC et que leur mandat élargi ne sont actuellement pas respectés par les pairs évaluateurs. Ils recommandent que les commentaires des évaluateurs ne soient pas retenus dans les évaluations finales s'ils trahissent un manque de compréhension du soutien apporté par l'organisme à la recherche en SPP.

Qualité et pertinence des évaluations

D'après les participants, l'expertise dans le domaine de la SPP était « lamentable » (en ce qui concerne le dernier concours du programme Projet). Les évaluateurs ont fait preuve dans leurs commentaires d'un manque flagrant de compréhension de la recherche en SPP. Selon l'expérience de certains participants, les demandes semblaient avoir été évaluées par des spécialistes des sciences fondamentales plutôt que par des experts en SPP. Des termes comme « éloignée » et « aléatoire » ont été utilisés pour qualifier l'expertise, et « inutiles », pour qualifier les commentaires issus de ces évaluations. Un seul participant a mentionné que durant le dernier concours Projet, pour les demandes du thème IV, le jumelage des évaluateurs semblait adéquat, et que la rétroaction était spécialisée et pertinente sur le plan méthodologique. Les participants ont réclamé une meilleure cohérence entre les évaluateurs ainsi qu'entre les évaluations des différentes demandes.

Bassin d'évaluateurs

Certains participants se demandaient pourquoi les chercheurs titulaires d'une autre subvention à titre de chercheur principal sont exclus du processus d'évaluation. À leur avis, le bassin d'évaluateurs compétents est déjà très restreint, surtout dans le domaine de la SPP. Ils se demandaient en outre si les IRSC disposeraient d'un bassin suffisant pour les activités d'évaluation lorsque des restrictions semblables sont en place.

Utilité des réunions en personne

En ce qui concerne le thème IV, les participants étaient d'avis que la nature complexe et hétérogène des demandes de subvention en SPP et les multiples volets du domaine exigent des interactions en personne. Selon eux, les comités en personne étaient un moyen de « vérifier » le niveau de compétence des évaluateurs et de veiller à ce qu'aucun ne « gonfle » le sien relativement à toute section d'une demande de subvention liée au thème IV. Selon les participants, en raison de la pression exercée par leurs pairs, les réunions en personne obligent les évaluateurs à faire un meilleur travail. Les participants ne voyaient pas le nombre d'évaluateurs par demande (cinq) comme une solution pour l'évaluation de celles associées au thème IV. Il a été souligné que cinq personnes auraient des interprétations différentes d'une même demande sans nécessairement la comprendre dans sa totalité. Les évaluateurs devraient être en mesure de coter les sections d'une demande associée au thème IV, mais ils devraient éviter de coter celles dont ils ne comprennent que superficiellement le contenu.

Favoriser la compréhension de la recherche en SPP

Dans le but de garantir la pertinence des évaluations, les participants ont recommandé que les évaluateurs comprennent bien la SPP et ce qui la distingue des autres domaines. Le fait qu'il y ait un plus grand nombre d'évaluateurs est une bonne nouvelle, mais si ceux-ci ne comprennent pas le propos d'une demande de subvention, cela crée beaucoup de bruit dans l'évaluation, ce qui, selon les participants, est problématique. Ces derniers ont donc recommandé aux IRSC d'aider les évaluateurs à mieux comprendre la portée de la recherche en SPP, ce qui vient, d'une certaine façon, exiger des candidats qu'ils soient plus clairs dans leurs demandes.

Les participants ont indiqué que la recherche en SPP est complexe et hétérogène, et qu'elle s'appuie sur un grand nombre de disciplines, théories, méthodes et domaines de recherche. À leur avis, cette hétérogénéité peut représenter un défi dans le processus de sélection. Les IRSC devraient donc considérer l'orientation, le renforcement et la rétroaction continue comme hautement prioritaires. Les participants ont recommandé qu'une formation soit offerte sur le vocabulaire de la recherche en SPP. Par exemple, dans ce domaine, l'unité d'analyse, ce sont les populations, ce qui diffère des études axées sur les personnes. Ils ont ajouté que la SPP n'est pas comme la médecine de précision ou la médecine personnalisée. Selon eux, cette distinction et certaines autres doivent être précisées aux évaluateurs.

Certains participants ont commenté la possibilité que la recherche associée au thème IV rejoigne d'autres groupes et domaines (p. ex. politiques publiques, étude d'interventions médicales complexes). Selon eux, la SPP n'est pas seulement différente : elle rejoint d'autres domaines et les complète (p. ex. les interventions médicales complexes sont pertinentes pour la recherche clinique). Les participants ont recommandé d'initier les évaluateurs au domaine afin de favoriser la compréhension : 1) des distinctions et des similitudes entre le thème IV et d'autres domaines de recherche; 2) du fait que ceux-ci peuvent coexister dans des demandes de subvention interdisciplinaires englobant plusieurs thèmes.

Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

Selon les participants, les IRSC ont trop tardé à mettre sur pied le collège des évaluateurs. Les participants se demandaient aussi si le processus de recrutement des IRSC avait donné de bons résultats jusqu'alors. Par exemple, ils voulaient savoir si l'organisme avait atteint ses objectifs de recrutement, étant donné qu'il semble avoir atteint la fin du processus prévu. De plus, ils croyaient que des efforts de mobilisation plus nombreux et plus ciblés seraient nécessaires pour recruter d'autres collègues de la recherche en SPP ou pour les encourager à se joindre au collège.

Lorsqu'on a demandé aux participants si l'évaluation par les pairs devait être obligatoire pour les titulaires de subvention des IRSC comme façon de redonner au système (groupe 2; n = 6), les avis étaient partagés. L'un des inconvénients potentiels de cette pratique mentionnés par les participants associés au thème IV est que si on les forçait à évaluer des demandes, il se pourrait qu'ils ne fassent pas un aussi bon travail que d'autres personnes s'étant portées volontaires.

Renforcement des capacités des évaluateurs

Lorsqu'on a demandé aux participants ce qui pouvait être fait pour améliorer le jumelage entre les pairs évaluateurs et les demandes liées au thème IV, ils ont suggéré que plus de temps et d'efforts soient investis pour former les évaluateurs et les familiariser avec leur rôle. À leur avis, les évaluateurs n'ont pas seulement besoin de modules et de téléconférences : ils ont aussi besoin d'un cours d'été sur l'évaluation par les pairs. Même si un cours semblable nécessite beaucoup de ressources, il pourrait aider les évaluateurs à apprendre à gérer certaines demandes qui ne correspondent pas à leur champ d'expertise. Les participants jugeaient cet aspect particulièrement important compte tenu de l'hétérogénéité de la recherche en SPP (question 3).

Évaluateurs internationaux

Lorsqu'on a demandé aux participants si les IRSC devraient faire appel à des évaluateurs internationaux (groupe 2; n = 6), tous croyaient que c'était une bonne idée pour la recherche liée au thème IV, mais certaines réticences ont tout de même été exprimées. Les participants ont indiqué que le bassin de chercheurs en SPP est plus petit que celui d'autres domaines (p. ex. biomédical). Ils ont par ailleurs ajouté que la recherche associée au thème IV dépend grandement du contexte; ainsi, il se peut que les évaluateurs qui ne saisissent pas le contexte canadien passent à côté de l'essentiel dans le processus d'évaluation. Lorsque la question a été posée de nouveau aux participants, ceux-ci n'ont exprimé aucune vive opposition à la mobilisation d'évaluateurs internationaux en ce qui concerne le thème IV. D'ailleurs, il se pourrait que des évaluateurs internationaux soient mieux placés pour s'occuper de certaines demandes. Selon les participants, il serait à long terme plus avantageux que les IRSC forment un groupe de spécialistes internationaux qui pourraient évaluer régulièrement des demandes; ainsi, l'organisme pourrait compléter et améliorer le bassin existant de chercheurs canadiens associés au thème IV.

Boucle de rétroaction pour les évaluateurs

Les participants ont insisté sur l'importance de fournir aux évaluateurs du thème IV de la rétroaction sur la qualité de leur travail dans une optique d'amélioration. Ils ont suggéré d'attribuer des cotes de qualité aux évaluations, et ils ont demandé si des critères spécifiques au thème permettraient au collège des évaluateurs de coter les évaluations et de faire des recommandations quant aux personnes qui devraient rester dans le collège et recevoir des demandes associées au thème IV.

Mécanismes complémentaires

Le recours à un système interne d'évaluation par les pairs dans les établissements universitaires a été avancé comme une excellente stratégie pour améliorer la qualité des demandes associées au thème IV avant leur présentation officielle. Si on se fie à l'expérience de l'établissement cité en exemple, cette stratégie a manifestement fait augmenter le succès collectif des chercheurs du thème IV dans les concours des IRSC. Elle a aussi confirmé la nécessité de mieux comprendre la portée de la recherche en SPP.

Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Tous les participants avaient déjà évalué des demandes pour d'autres organismes subventionnaires au Canada et ailleurs. La Fondation des maladies du cœur et de l'AVC et la Commission européenne ont été citées par certains comme des exemples de bailleurs de fonds à suivre (groupe 1), tandis que selon d'autres participants (groupe 2), ces organismes sont dotés de processus relativement traditionnels, tout comme l'étaient les IRSC. Un participant a mentionné les NIH, qui ont un système où une rétroaction est fournie aux candidats ayant reçu les évaluations les plus basses, dans une optique d'amélioration.

Lorsqu'on a demandé aux participants de comparer leur expérience des évaluations des IRSC dans les concours ouverts et les concours stratégiques, l'un d'eux a indiqué qu'elles étaient de meilleure qualité dans les premiers, tandis que les autres ont affirmé le contraire (groupe 2; n = 6). Il a été recommandé que les IRSC tirent de façon plus systématique des leçons de leur propre expérience d'évaluation par les pairs à la fois dans les concours ouverts et stratégiques.

Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

Un participant a souligné la nécessité de distinguer l'efficacité de la qualité, deux concepts différents. L'efficacité est axée sur la production, tandis que la qualité exige beaucoup de ressources. L'efficacité n'est pas nécessairement synonyme de qualité. Si l'efficacité prime, la qualité écope. En revanche, si c'est la qualité qui prime, les évaluations exigeront inévitablement plus de travail. Cette réalité n'est pas propre au thème IV, mais les participants estimaient que la quantité de projets financés associés à ce thème et leur qualité seraient altérées si un juste équilibre entre ces concepts n'était pas atteint.

Selon certains participants, la diversité des projets qui sont financés dans les thèmes de la recherche en santé et entre ceux-ci devrait aussi être utilisée comme mesure de la qualité.

La suggestion suivante, qui n'est pas directement liée au système d'évaluation par les pairs, a tout de même été formulée par un participant : les IRSC devraient envisager le ratio de citations relatives pour évaluer les effets de la recherche et se pencher sur la façon dont celui-ci pourrait être adapté pour la recherche liée au thème IV. Pour en savoir plus, voir l'article original ou la page du site des NIH qui permet de faire des analyses sur des articles et des chercheurs.

Date de modification :