Évaluation du Programme de soutien opérationnel (2011-2012 – 2017-2018)
Rapport d’évaluation final

Juin 2023

Les Instituts de recherche en santé du Canada (IRSC) savent que la recherche a le pouvoir de changer des vies. En tant qu’organisme fédéral chargé d’investir dans la recherche en santé, ils collaborent avec des partenaires et des chercheurs pour appuyer les découvertes et les innovations qui améliorent la santé de la population et le système de soins du Canada.

Instituts de recherche en santé du Canada
160, rue Elgin, 9e étage
Indice de l’adresse : 4809A
Ottawa (Ontario) K1A 0W9

Publication produite par les Instituts de recherche en santé du Canada. Les opinions exprimées dans le présent document ne sont pas nécessairement celles des Instituts de recherche en santé du Canada.

Remerciements

Nous tenons tout particulièrement à remercier les personnes qui ont participé à cette évaluation en remettant un rapport de fin de subvention ou une étude de cas, ainsi que la Direction de la conception et de l’exécution des programmes, la Direction du soutien opérationnel et la Direction des politiques scientifiques du Portefeuille de la recherche, de l’application des connaissances et de l’éthique des IRSC, l’Unité de planification financière des IRSC, l’Unité des résultats et de l’impact des IRSC et Nathalie Kishchuk, directrice de Program Evaluation and Beyond.

Équipe d’évaluation du Programme

Shevaun Corey, Angela Mackenzie, Kwadwo (Nana) Bosompra, Kimberly Anne Ford, Jenny Larkin, Hayat El Ghazal, Alexandra Leguerrier (étudiante), Sabrina Jassemi (étudiante), Michael Goodyer, and Ian Raskin.

Pour en savoir plus ou pour obtenir des exemplaires, veuillez écrire à evaluation@cihr-irsc.gc.ca.

Table des matières

Liste des tableaux

Liste des figures

Liste des sigles

Sigle Signification
ACSS Académie canadienne des sciences de la santé
CDC Chercheur en début de carrière, chercheuse en début de carrière
CEP Conception et exécution des programmes
CMR Cadre ministériel des résultats
CPD Chercheur principal désigné, chercheuse principale désignée
DORA Déclaration de San Francisco sur l’évaluation de la recherche
FIRM Facteur d’impact relatif moyen
IRSC Instituts de recherche en santé du Canada
MCR Moyenne des citations relatives
OCDE Organisation de coopération et de développement économiques
PFA Politiques de financement et Analytique
PHQ Personnel hautement qualifié
PIP Profil d’information des programmes
POSF Programme ouvert de subventions de fonctionnement
PSF Programme de subventions Fondation
PSO Programme de soutien opérationnel
PSP Programme de subventions Projet
SMOS Sous‑comité de mise en œuvre et de surveillance
SRR Système de rapport sur la recherche

Sommaire

Aperçu du Programme

Environ les trois quarts du budget des Instituts de recherche en santé du Canada (IRSC) servent à appuyer la recherche libre, qui désigne les projets amorcés par des chercheuses et chercheurs et leur équipe. Au moment de l’évaluation, le financement de la recherche libre provient principalement du Programme de subventions Projet (PSP) et du Programme de subventions Fondation (PSF), qui ont remplacé le Programme ouvert de subventions de fonctionnement (POSF). Ces trois programmes constituaient le Programme de soutien opérationnel (PSO). Outre le PSP, des fonds sont également fournis par l’entremise des programmes des trois organismes visant à appuyer la carrière et la formation (p. ex. le Programme des chaires de recherche du Canada, le Programme de bourses postdoctorales Banting et le Programme de bourses d’études supérieures du Canada Vanier). En 2010, les IRSC ont amorcé un processus de réforme axé sur leurs programmes de recherche libre et leurs processus d’évaluation par les pairs. Il convient toutefois de noter que cette initiative s’est déroulée dans un contexte de restrictions budgétaires et de difficultés de mise en œuvre et qu’elle a suscité des réactions mitigées chez les intervenants du milieu de la recherche en santé des IRSC. Le PSF et le PSP ont subi de nombreux changements et, en avril 2019, les IRSC ont pris la décision de mettre fin au PSF.

Objectifs, portée et méthodologie de l’évaluation

L’objectif de la présente évaluation est de fournir à la haute direction des IRSC des conclusions éclairées, exploitables et valides sur le rendement de l’ancien POSF ainsi que sur la pertinence, la conception et l’exécution des programmes qui lui ont succédé, c’est‑à‑dire le PSF et le PSP. Cette évaluation couvre la période s’échelonnant de 2011‑2012 à 2017‑2018, et il s’agit de la deuxième évaluation du POSF. Les conclusions ont été validées à l’aide d’une variété de sources de données, notamment : des analyses de documents, de données et de rapports de fin de subvention, ainsi que des analyses bibliométriques. En outre, l’évaluation répond aux exigences du Secrétariat du Conseil du Trésor du Canada (SCT) établies dans la Politique sur les résultats et la Loi sur la gestion des finances publiques.

Étant donné que le financement du PSO provient désormais uniquement du PSP, les recommandations formulées portent principalement sur ce dernier. Il importe de noter que l’évaluation a été achevée en 2019-2020; toutefois, l’approbation et la publication Web du présent rapport ainsi que la préparation du plan d’action de la direction ont été retardées en raison de la pandémie de COVID-19. De plus, certains changements importants ont été apportés au sein des IRSC depuis l’achèvement du rapport, en particulier la mise en œuvre du Plan stratégique 2021-2031, suivant lequel différentes mesures clés ont été prises afin de promouvoir l’excellence de la recherche, de renforcer la capacité de recherche en santé et d’assurer la prise en compte des données probantes dans les décisions en santé.

Principales conclusions

L’évaluation conclut qu’en général, financer la recherche libre est un moyen efficace pour soutenir la recherche en santé et renforcer la capacité de recherche dans ce domaine. Les principales conclusions présentées ci‑dessous portent sur la pertinence, le rendement, la conception et la mise en œuvre du Programme de soutien opérationnel (PSO).

Le PSO a répondu à un besoin continu en recherche libre dans le domaine de la santé

Compte tenu de la nature et de la portée des investissements dans le PSO, les IRSC répondent au besoin continu en recherche libre dans le domaine de la santé. D’après les résultats de l’évaluation, les investissements des IRSC dans le PSO sont conformes aux priorités du gouvernement du Canada, qui sont appuyées par les priorités de la Vision scientifique du Canada, de l’examen du soutien fédéral aux sciences et du budget fédéral (2018 et 2019). De façon générale, le PSO concorde avec la Loi sur les IRSC, les rôles et les responsabilités des IRSC, ainsi que les orientations stratégiques de la Feuille de route pour la recherche (c.‑à‑d. le plan stratégique en place pendant la période à l’étude), notamment : promouvoir l’excellence, la créativité et l’étendue de la recherche.

Le PSO a contribué à faire progresser la création de connaissances et à renforcer la capacité de recherche en santé

Conformément aux résultats de l’évaluation, le PSO a attiré et financé l’excellence en recherche. Plus précisément, les chercheurs financés par le POSF et les candidats du PSF et du PSP sont plus productifs et ont un impact plus élevé que les chercheurs en santé du Canada et d’autres pays de l’Organisation de coopération et de développement économiques (OCDE). Toujours d’après les résultats de l’évaluation, les fonds destinés à l’ensemble des thèmes de recherche du POSF, bien que la majorité soit des subventions pour la recherche biomédicale, ont facilité la création, la diffusion et l’utilisation de connaissances liées à la santé (principalement au sein du milieu universitaire) et ont contribué à renforcer la capacité de recherche en santé du Canada en faisant augmenter le nombre de chercheurs et de stagiaires indirectement soutenus par ces subventions.

Les résultats de la recherche financée par le POSF ont démontré que l’application des connaissances au delà du milieu universitaire ainsi que les bienfaits pour la santé à long terme et les avantages socio économiques sont limités

Malgré les objectifs du programme, ainsi que les objectifs et les priorités de la Loi sur les IRSC et du plan stratégique (Feuille de route pour la recherche), l’évaluation a révélé que moins de la moitié des subventions du POSF font participer et touchent des parties prenantes autres que les chercheurs et les intervenants dans l’étude, comme indiqué par les chercheurs principaux désignés (CPD) dans leurs rapports de fin de subvention. De même, moins de 15 % des subventions du POSF ont donné lieu à une application des connaissances au‑delà du milieu universitaire ainsi qu’à des bienfaits pour la santé à long terme et à des avantages socio‑économiques.

Les IRSC doivent mieux définir et harmoniser les objectifs du PSP par rapport à la Loi sur les IRSC, compte tenu de l’élimination progressive du PSF

Le PSO a subi de nombreux changements depuis le lancement des nouveaux programmes dans le cadre de la réforme. En outre, plusieurs éléments n’ont pas été livrés comme prévu (p. ex. le logiciel de jumelage des évaluateurs et le Collège des évaluateurs) et des difficultés de mise en œuvre ont été notées (recommandations issues de la mission de consultation de la Vérification interne, de la réunion de travail de 2016 avec le ministre de la Santé et du Comité d’experts sur l’évaluation par les pairs). Malgré l’harmonisation générale du PSO avec la Loi sur les IRSC, l’évaluation a révélé qu’il existe un manque de concordance entre les objectifs actuels du PSP et la Loi, surtout en ce qui concerne le renforcement de la capacité de recherche en santé du Canada. Le renforcement de la capacité était un objectif précis des deux programmes ayant fait l’objet d’une élimination progressive (c.‑à‑d. le POSF et le PSF). Étant donné que le PSP est le seul programme de recherche libre restant, il est nécessaire de revoir les objectifs afin d’assurer leur harmonisation avec la Loi.

Les IRSC doivent améliorer le suivi et l’évaluation des résultats et de l’incidence de la recherche libre

Bien qu’il existe une grande quantité de données sur les demandes, les concours et la mise en œuvre en lien avec le PSO (p. ex. sondages au sujet des processus de demande et de décision), il existe actuellement un manque de données sur les extrants/résultats pour évaluer les progrès accomplis vers l’obtention des résultats escomptés au‑delà du rapport de fin de subvention (qui est seulement produit 18 mois après la fin de la subvention). En outre, l’évaluation montre qu’il existe des préoccupations quant à l’accessibilité et à la fiabilité des données issues du rapport de fin de subvention actuel (p. ex. données autodéclarées; faible taux de réponse; variabilité des délais d’exécution; longueur, structure et type des questions posées dans leur ensemble), ce qui limite la capacité de déterminer avec précision si les programmes du PSO atteignent leurs objectifs. Bien que les IRSC réalisent des progrès quant à la gouvernance des données, les difficultés en lien avec la propriété et la gestion des données (c.‑à‑d. de multiples unités sont responsables de la collecte et de la diffusion des données) nuisent à la capacité de surveiller et d’évaluer le rendement des programmes.

Les IRSC doivent s’assurer que les décisions de financement sont prises de manière équitable

L’évaluation a révélé qu’il existe des différences dans les caractéristiques du financement et des résultats selon le thème de recherche, le sexe et le stade de la carrière entre les programmes du PSO (c.‑à‑d. le POSF, le PSF et le PSP) et que ces différences doivent être prises en compte dans la conception et l’exécution du PSP à l’avenir. Bien que le PSO finance des chercheurs dans tous les thèmes de recherche, la majorité d’entre eux sont issus du thème 1 (recherche biomédicale). Le taux de réussite des chercheurs est plus élevé que celui des chercheuses, et la recherche montre la présence de préjugés fondés sur le sexe et le genre dans les décisions de financement, en particulier en lien avec le POSF et le PSF. En outre, le taux de réussite des chercheurs en début de carrière (CDC) est inférieur à celui des chercheurs chevronnés/en milieu de carrière, et les demandes présentées en anglais sont généralement mieux accueillies que celles présentées en français. Récemment, les IRSC ont pris des mesures pour remédier aux inégalités, y compris l’égalisation des taux de réussite selon le stade de la carrière pour le PSP. Les IRSC sont déterminés à éliminer les préjugés inconscients de leurs processus afin de fournir un accès équitable au financement de la recherche (p. ex. la Stratégie des IRSC en matière d’équité, l’Énoncé des trois organismes sur l’équité, la diversité et l’inclusion et le Plan d’action des trois organismes pour l’EDI).

Recommandations

Compte tenu des changements apportés au PSO, plus particulièrement l’élimination progressive du PSF, l’évaluation émet trois recommandations visant à améliorer la conception, la mise en œuvre et le rendement du Programme de subventions Projet.

Recommandation 1

Les IRSC devraient revoir les objectifs du PSP pour s’assurer qu’ils sont clairement définis, qu’ils correspondent bien aux éléments clés de la Loi sur les IRSC liés au renforcement de la capacité de recherche en santé du Canada et qu’ils appuient ces éléments.

Recommandation 2

Les IRSC doivent s’assurer que le financement de la recherche libre est réparti de façon aussi équitable que possible, tout en réduisant au minimum les risques de partialité dans l’évaluation par les pairs. La conception et la mise en œuvre des subventions pour la recherche libre doivent tenir compte des différences au sein de la communauté de la recherche en santé qui ont été relevées pendant l’évaluation (p. ex. thème de recherche, sexe, stade de la carrière et langue) ainsi que dans le domaine de la recherche en général.

Recommandation 3

Les IRSC doivent améliorer le suivi et l’évaluation des activités et des investissements en lien avec la recherche libre.

  1. Les IRSC doivent améliorer la façon dont les données sur le rendement sont recueillies en ce qui a trait au renforcement de la capacité (p. ex. soutien indirect des stagiaires), à l’application des connaissances au‑delà du milieu universitaire (c.‑à‑d. éclairer la prise de décisions), aux collaborations, aux bienfaits pour la santé et aux avantages socio‑économiques généraux afin de mieux comprendre toute l’incidence des subventions.
  2. Les IRSC doivent réviser le modèle et les processus actuels de rapport de fin de subvention afin d’améliorer l’accessibilité, l’exactitude et la fiabilité des données recueillies.
  3. Les IRSC devraient envisager d’autres moyens de recueillir des données, au‑delà des rapports de fin de subvention, par l’entremise de rapports d’étape et d’un suivi à plus long terme pour évaluer l’incidence.

Profil du Programme

Mise en contexte

Comme stipulé dans la Loi sur les Instituts de recherche en santé du Canada, les IRSC ont pour mandat d’« exceller, selon les normes internationales reconnues de l’excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d’améliorer la santé de la population canadienne, d’offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada ». Les IRSC sont le principal organisme de financement de la recherche en santé du gouvernement canadien. Ils divisent la recherche en santé en quatre grands « thèmes » : la recherche biomédicale, la recherche clinique, la recherche sur les services et les systèmes de santé et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Chaque année, les IRSC investissent environ un milliard de dollars pour appuyer la recherche en santé. Ces investissements servent à soutenir la recherche libre et la recherche priorisée.

Pour les IRSC, la recherche libre est un type de recherche où des chercheurs et leur équipe proposent des projets sur un sujet de santé de leur choix. Les IRSC affectent environ les trois quarts de leur budget d’un milliard de dollars à la recherche libre par ses programmes principaux (c.‑à‑d. le Programme ouvert de subventions de fonctionnement, le Programme de subventions Projet et le Programme de subventions Fondation) et des programmes des trois organismes visant à appuyer la carrière et la formation (p. ex. Programme des chaires de recherche du Canada, les bourses postdoctorales Banting et les bourses d’études supérieures du Canada Vanier). Le reste du budget est alloué à la recherche priorisée, qui est axée sur des domaines revêtant une importance stratégique pour le gouvernement du Canada. Dans ce contexte, des appels de propositions sont lancés selon des thèmes précis.

Évolution des programmes de recherche libre dans les IRSC

Jusqu’en 2014, le principal mécanisme utilisé par les IRSC pour financer la recherche libre était le Programme ouvert de subventions de fonctionnement (POSF). Ce programme avait pour objectifs de contribuer à la création, à la dissémination et à l’utilisation de connaissances liées à la santé et d’aider au développement et au maintien de la capacité de recherche en santé au Canada en appuyant des projets ou programmes de recherche originaux et de qualité, proposés et réalisés par un chercheur ou un groupe de chercheurs, dans tous les domaines de la santé.

En 2009, le plan stratégique des IRSC, intitulé L’innovation au service de la santé : de meilleurs soins et services par la recherche, présentait une vision audacieuse, soit une réforme du processus d’évaluation par les pairs et des programmes ouverts de financement. Dès 2010, les IRSC ont entamé la réforme de leurs programmes de recherche libre, dont le POSF, et du processus d’évaluation par les pairs associé (voir Figure A : Calendrier du processus de réforme des IRSC de 2009 à 2017. Cette réforme a été influencée par les trois principales sources de données suivantes :

  1. les données d’un sondage IPSOS Reid mené pour les IRSC auprès du milieu scientifique en 2010, qui a révélé que le milieu de la recherche appuyait fortement la réforme du système d’évaluation par les pairs, dont la qualité et la cohérence étaient perçues comme étant insuffisantes;
  2. une recommandation du deuxième Comité d’examen international des IRSC, énoncée en 2011, qui stipule que « les IRSC doivent étudier la possibilité d’attribuer des subventions à plus long terme aux chercheurs les plus performants au pays. Ils doivent aussi fusionner les comités de subventions pour en réduire le nombre et donner à chacun un mandat scientifique plus vaste, ce qui permettra d’atténuer les contraintes »;
  3. les constatations de l’évaluation de 2012 du Programme ouvert de subventions de fonctionnement (POSF) des IRSC, qui reconnaissaient les obstacles associés aux programmes ouverts de financement des thèmes de la recherche et confirmaient la nécessité d’alléger le fardeau des pairs évaluateurs et des candidats.

Les IRSC ont mené plusieurs rondes de consultation auprès de leurs intervenants avant et pendant le processus de réforme. Durant les premières consultations, qui ont mené à la conception initialement proposée, les intervenants ont mis en évidence plusieurs problèmes liés à l’architecture de financement et au processus d’évaluation par les pairs des IRSC. La deuxième version proposée visait à remédier à ces problèmes, notamment la difficulté d’accès et la complexité des programmes de financement, le fardeau pour les candidats, le soutien insuffisant pour les nouveaux chercheurs et les chercheurs en début de carrière, le manque de fiabilité et de cohérence de l’évaluation par les pairs et une charge de travail trop élevée pour les pairs évaluateurs.

Les IRSC sont passés à une nouvelle série de programmes ouverts qui ont été mis à l’essai et mis en œuvre entre 2010 et 2016. À l’heure actuelle, la majorité du financement de la recherche libre provient du PSF et du PSP. Les objectifs de la nouvelle série de programmes ouverts sont présentés ci‑dessousNote en bas de page i. Il convient toutefois de noter que la réforme, qui s’est déroulée dans un contexte de restrictions budgétaires et de difficultés de mise en œuvre, a suscité des réactions mitigées chez les intervenants du milieu de la recherche en santé. Pendant ce temps, le plan stratégique des IRSC a également été mis à jour (Feuille de route pour la recherche, de 2014‑2015 à 2018‑2019) et la mise en œuvre de la réforme s’est poursuivie dans le cadre de l’orientation stratégique suivante : promouvoir l’excellence, la créativité et l’étendue de la recherche en santé et de l’application des connaissances.

Suivi et examen des nouveaux programmes

Depuis 2013, les IRSC ont mis à l’essai des éléments de conception précis associés aux nouveaux programmes, y compris des demandes structurées, un examen à distance, une nouvelle échelle de notation et un curriculum vitae (CV) simplifié. Des concours pilotes ont été réalisés « en direct » (c.‑à‑d. pendant la prestation courante de plusieurs programmes) afin que les IRSC puissent surveiller les résultats à l’aide de données probantes et préserver la fiabilité, l’uniformité, l’équité et l’efficacité des processus de concours et d’évaluation par les pairs. Les IRSC ont voulu rendre itérative la mise en œuvre des programmes, en s’appuyant sur la rétroaction issue des études pilotes avec les intervenants et sur leurs propres examens internes. Les résultats de ces projets pilotes ont été analysés et regroupés dans les rapports suivants, et un aperçu des points principaux est fourni ci‑dessous.

En 2015, les IRSC ont commandé un certain nombre d’examens pour évaluer leurs processus de mise en œuvre et leurs systèmes internes, afin que des modifications puissent être apportées en temps opportun, compte tenu de la complexité des concours pilotes et des nouveaux programmes.

L’équipe de la Vérification interne des IRSC a examiné la mise en œuvre de la réforme dans le rapport intitulé Mission de consultation de la Vérification interne (2016). Il traite principalement de la gouvernance et des pratiques administratives liées à la gestion de projets et à la réorganisation interne, qui ont mené aux nouveaux programmes de subventions Fondation et Projet. Selon le rapport, le projet de mise en œuvre de la réforme est appuyé par des outils de planification bien conçus, et les échéanciers des concours pilotes ont été respectés. On a également cerné des possibilités d’amélioration en ce qui touche l’échange d’information, les communications, l’établissement de rapports, la planification de projets et la mobilisation des intervenants. Les IRSC prennent actuellement des mesures à l’égard de chacune de ces possibilités. Le rapport Examen indépendant du projet CRM dans le cadre de la réforme, réalisé par Interis Consulting, a pour but d’évaluer la mise en place de systèmes opérationnels requis pour appuyer les nouveaux processus d’exécution des programmes. Les IRSC ont sollicité les recommandations d’experts au sujet de la mise en place de systèmes opérationnels complexes et transformateurs. Parmi les conclusions figuraient des possibilités d’amélioration, qui visaient notamment la clarification des rôles et des responsabilités ainsi que de l’échéancier et de la portée des projets.

Les IRSC ont accepté les recommandations issues des examens, énoncées dans la réponse de la direction des IRSC et publiées en mai 2016, en plus de prendre des mesures pour adopter les recommandations présentées dans le rapport et former des comités de gouvernance qui surveilleront la portée et l’échéancier des projets. Les deux premiers rapports ont permis à la direction de recevoir de la rétroaction tout au long de la mise en place des nouveaux systèmes opérationnels et de gestion, et ainsi d’ajuster le tir au besoin. À ce jour, les IRSC ont mis en œuvre la plupart des recommandations et continuent de prendre les mesures nécessaires pour relever les défis liés à la gestion de projets.

Au milieu de 2018, quatre concours avaient été lancés au titre du PSF (en 2014, en 2015, en 2016 et en 2017), les deux premiers ayant été qualifiés de « concours pilotes en direct ». En outre, quatre concours ont été lancés au titre du PSP depuis 2016, et le premier d’entre eux avait été qualifié de « concours pilote en direct ». Les concours ont eu lieu au printemps 2016, à l’automne 2016, à l’automne 2017 et au printemps 2018 (aucun concours n’ayant été lancé au printemps 2017). Plusieurs changements ont été apportés au concours pilote du volet Fondation de 2015 et sont motivés par le concours pilote de 2014 et les réponses à des sondages connexes fournies par des évaluateurs, des candidats et des présidents de concours. Il a notamment été question de préciser les lignes directrices et les critères concernant les demandes et les décisions de sélection, d’augmenter les limites et de faire des ajouts dans les sections concernant le CV et les demandes à l’étape 2 pour le volet Fondation, de modifier la pondération des sous‑critères, d’offrir une formation supplémentaire aux évaluateurs, ainsi que d’étudier les avantages et les exigences opérationnelles de la mise en place d’évaluations synchrones.

La mise en œuvre de cette réforme a suscité des réactions mitigées chez les intervenants de la communauté de la recherche en santé du Canada et, le 13 juillet 2016, à la demande de la ministre de la Santé, les IRSC ont organisé une réunion de travail avec les membres de cette communauté. Cette réunion avait pour but d’aborder les préoccupations soulevées quant aux processus d’évaluation par les pairs, surtout celles associées au PSP, et d’y répondre conjointement. Les principaux résultats de cette réunion et les changements demandés pour le concours de subventions Projet de 2016 comprenaient l’examen approprié des demandes autochtones, la modification du nombre de demandes pouvant être présentées et du nombre limite de pages, des modifications en lien avec l’étape 1 : triage (p. ex. nombre d’évaluations, élimination des discussions en ligne asynchrones et élimination du système de notation alphabétique) et l’étape 2 : discussion en personne (p. ex. inclusion des demandes les mieux cotées et de celles dont les notes s’écartent de façon marquée et retour à des évaluations au cours de réunions en personne pour 40 % des demandes évaluées à l’étape 1), ainsi que la création d’un groupe de travail sur l’évaluation par les pairs.

La création du groupe de travail sur l’évaluation par les pairs est l’un des résultats de la réunion de travail du 13 juillet 2016. Sous la direction du Dr Paul Kubes, les membres du groupe de travail ont discuté de l’ensemble des résultats et ont proposé des recommandations, notamment : la révision des critères d’admissibilité et de sélection; la révision des rôles des présidents et des agents scientifiques; le retrait de la discussion en ligne asynchrone de l’étape 1; le retour à un système de notation numérique; l’évaluation par les pairs en personne à l’étape 2; la formation des évaluateurs; le lancement d’un programme pilote d’observation de l’évaluation par les pairs pour les chercheurs en début de carrière (CDC).

En septembre 2016, les IRSC ont annoncé la mise en place d’un comité international d’experts sur l’évaluation par les pairs afin d’examiner les processus de conception et de sélection des programmes de recherche libre en tenant compte du mandat de l’organisme, de l’évolution de la recherche en santé, des pratiques des organismes de financement internationaux et de la documentation disponible sur l’évaluation par les pairs. Il s’agissait d’une initiative conforme au cycle quinquennal prescrit pour l’examen international des IRSC, mais le calendrier a été devancé, notamment en raison de la réaction des intervenants à la mise en œuvre de la réforme. Le comité a été soutenu par le directeur général de la Direction du rendement et de la responsabilisation ainsi que par les membres de l’équipe d’évaluation du PSO, compte tenu du besoin d’indépendance du comité et de la pertinence directe de son travail pour l’évaluation prévue du PSO. Le comité a présenté son rapport en février 2017, dans lequel il a noté que, même si les objectifs de conception de base et l’intention de la réforme étaient adéquats, solides et fondés sur des données probantes, il y a eu certaines lacunes dans la mise en œuvre. Il a notamment été question d’une incapacité : à tester adéquatement l’algorithme de jumelage évaluateur‑projet (qui n’est plus utilisé); à mettre en place le Collège des évaluateurs à temps pour le début de la réforme, à mobiliser le milieu de la recherche tout au long de la réforme; à maintenir la confiance des principaux intervenants des IRSC, du milieu de la recherche et de la population canadienne telle que représentée par les politiciens. Le comité a noté que les lacunes dans la mise en œuvre, de concert avec les nombreux changements rapides et simultanés apportés par les IRSC à quelques‑uns de leurs instituts et programmes de financement ainsi que le plafonnement persistant du financement pour la recherche libre au Canada, ont miné la confiance de la communauté de recherche et des intervenants des IRSC.

En juillet 2017, les IRSC ont annoncé que l’inclusion des CDC dans le PSF était incompatible avec la vision du programme et qu’ils ne pourraient donc plus présenter de demandes de subventions Fondation à compter du concours de 2017‑2018. En même temps, en réponse aux commentaires de leurs principaux intervenants et dans le contexte des fonds disponibles, les IRSC ont annoncé un réalignement de leur stratégie de financement pour les deux programmes, en réaffectant 75 des 200 millions de dollars de l’enveloppe du PSF à l’enveloppe du PSP. Puis, en novembre 2017, les IRSC ont créé le comité d’évaluation du Programme de subventions Fondation, présidé par le Dr Terry Snutch de l’Université de la Colombie‑Britannique, afin de fournir des recommandations sur les objectifs, la conception et les processus de demande et d’évaluation par les pairs du PSF, recommandations qui ont été présentées au conseil d’administration des IRSC en novembre 2018. Il a été recommandé de continuer à soutenir le PSF, moyennant certaines modifications, notamment en continuant à cibler les chercheurs chevronnés/en milieu de carrière, en établissant un processus de demande et d’examen en une seule étape et en personne, en veillant à ce que le PSF représente 25 % du budget des IRSC consacré à la recherche libre, en ne permettant pas aux candidats du PSF de présenter une demande au titre du PSP en même temps, ainsi qu’en faisant le suivi des données relatives au sexe et aux minorités visibles afin d’éliminer tout préjugé pouvant être présent.

Le 15 avril 2019, les IRSC ont annoncé qu’ils allaient mettre fin au PSF et que le concours de 2018‑2019 serait le dernier. La décision a été basée sur un certain nombre de consultations (notamment auprès des directeurs scientifiques, du conseil scientifique et du conseil d’administration des IRSC), sur les commentaires des membres du comité d’évaluation du Programme de subventions Fondation (qui a été créé en 2017 et qui avait recommandé que des modifications importantes soient apportées au programme, tout en le conservant) et sur une analyse critique des données, y compris les conclusions préliminaires de la présente évaluation. L’analyse des données a révélé des conséquences involontaires sur la répartition du financement au sein du PSF (p. ex. le financement d’un nombre disproportionné de candidats plus âgés/chevronnés, provenant de plus grands établissements et menant des recherches associées au thème 1, ainsi que des inégalités pour les candidates de sexe féminin à l’étape 1) qui ont été jugées inacceptables. En outre, les IRSC ont reconnu que le processus d’évaluation par les pairs n’était pas conforme à leur engagement renouvelé à l’égard des réunions en personne et n’avait pas permis de réduire le fardeau imposé aux évaluateurs, comme prévu au départ.

Depuis 2019, certains changements clés ont été apportés au sein des IRSC, en particulier la préparation et la mise en œuvre du Plan stratégique des IRSC 2021-2031, suivant lequel différentes mesures clés ont été prises afin de promouvoir l’excellence de la recherche, de renforcer la capacité de recherche en santé et d’assurer la prise en compte des données probantes dans les décisions en santé. De plus, la Stratégie des IRSC en matière d’équité prévoit des mesures pour favoriser l’équité, la diversité et l’inclusion dans le système de recherche.

Objectifs du Programme

La présente évaluation se concentre sur le PSO qui, au cours de la période à l’étude, représente les investissements des IRSC dans le POSF et les programmes qui lui ont succédé, c’est‑à‑dire le PSF et le PSP. Le PSO est un sous‑programme du vaste programme de recherche libre des IRSCNote en bas de page ii et il vise à contribuer à la viabilité du secteur de la recherche en santé au Canada en finançant des chercheurs de premier ordre qui mènent des activités de recherche et d’application des connaissances dans tous les domaines de la santé.

Programme ouvert de subventions de fonctionnement

Comme indiqué ci‑dessus, le POSF était le principal mécanisme des IRSC par lequel la recherche libre en santé était soutenue; il est entré en vigueur avant la création des IRSC en 2000 (lorsqu’il s’agissait encore du Conseil de recherches médicales du Canada) et a pris fin en 2014‑2015. Le POSF avait pour objectif :

Suivant cette réforme, deux programmes ont été créés : le PSF, qui fournit un soutien à long terme pour la réalisation de programmes de recherche innovants et à impact élevé, ainsi que le PSP, qui appuie des projets ayant un but précis et un résultat ultime défini. Les objectifs du POSF devaient être pris en compte par les objectifs des nouveaux programmes.

Au total, 13 331 subventions ont été accordées par le POSF au cours des années de concours comprises entre 2000‑2001 et 2015‑2016, et ce, pour les quatre thèmes de recherche (thème 1 : 72 %, thème 2 : 12 %, thème 3 : 6 % et thème 4 : 8,5 %). Près des trois quarts des subventions ont été accordées à des CPD de sexe masculin (72 %), tandis qu’un peu plus du quart (28 %) ont été accordées à des CPD de sexe féminin.

Programme de subventions Fondation

Le Programme de subventions Fondation (un concours par année) a été conçu pour contribuer à l’édification d’une assise durable formée de chefs de file de la recherche en santé en offrant du soutien à long terme pour entreprendre des programmes de recherche novateurs et porteurs.

Le Programme devrait permettre :

Programme de subventions Projet

Le Programme de subventions Projet (deux concours par année) a été conçu pour exploiter les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats sur la santé en appuyant des projets ayant une fin et un but précisNote en bas de page iii.

Le Programme devrait permettre deNote en bas de page iv :

Dépenses des programmes, volume de demandes et taux de réussite

Pendant la période allant de 2011‑2012 à 2017‑2018, les dépenses en subventions pour le PSO comprenaient les subventions du POSF jusqu’à la mise en œuvre des subventions du PSF en 2015‑2016 et de celles du PSP en 2016‑2017. Il convient toutefois de noter que toutes les subventions du POSF encore en cours continuent d’avoir des dépenses. Les subventions ont augmenté de façon constante, passant de 434 millions de dollars en 2011‑2012 à 539 millions de dollars en 2017‑2018 (Tableau 1 : Dépenses consacrées au Programme de soutien opérationnel de 2011‑2021 à 2017‑2018 en millions de dollars). Il convient de noter qu’au cours de la période à l’étude, la majorité des subventions ont été financées par l’entremise du POSF (82,5 %), puis par le PSF (10,6 %) et le PSP (6,9 %). Le PSO a compté pour de 48 à 52 % des dépenses annuelles des IRSC en bourses et en subventions entre 2011‑2012 et 2017‑2018. Quant à la part associée au POSF, elle était de 43 à 54 % entre 2000‑2001 et 2010‑2011, comme indiqué dans l’évaluation précédente.

Le volume de demandes pour le POSF était relativement constant jusqu’en 2012‑2013; il a toutefois augmenté pendant son dernier exercice, avant le lancement des nouveaux programmes. Les taux de réussite associés au POSF ont commencé à diminuer en 2009‑2010, et cette tendance à la baisse s’est ensuite poursuivie, probablement en raison du plafonnement du budget entre 2008 et 2013, comme noté par le Comité d’experts sur l’évaluation par les pairs. Le nombre de demandes présentées dans le cadre des concours du PSP dépasse largement celui des concours du PSF, et les taux de réussite associés au PSP semblent être légèrement supérieurs à ceux associés au PSF (Figure B : Volume de demandes et taux de réussite liés au POSF et aux programmes de subventions Fondation et Projet de 2006‑2007 à 2017‑2018).

Description de l’évaluation

L’évaluation du PSO des IRSC, pour la période allant de 2011‑2012 à 2017‑2018, a porté sur le rendement de l’ancien POSF ainsi que sur la pertinence, la conception et l’exécution du PSF et du PSP, qui ont remplacé le POSF. En 2011‑2012, l’Unité d’évaluation des IRSC a réalisé une évaluation de la pertinence et du rendement du POSF pour la période allant de 2000‑2001 à 2010‑2011.

Portée et objectifs de l’évaluation

L’évaluation des IRSC du Programme de soutien opérationnel, faisant partie du Plan d’évaluation pour 2017‑2018, a été conçue pour répondre aux exigences du Secrétariat du Conseil du Trésor du Canada (SCT) pour les trois organismes, énoncées dans la Politique sur les résultats (2016), en s’attaquant aux principaux problèmes relatifs au rendement, à l’efficacité, à la pertinence, à la conception et à la mise en œuvre. En outre, l’évaluation visait à fournir à la haute direction des données indépendantes, objectives et exploitables sur l’incidence de la recherche financée par le Programme ouvert de subventions de fonctionnement et sur l’efficacité de la conception et de l’exécution du Programme de subventions Fondation et du Programme de subventions Projet. Les conclusions de l’évaluation ont éclairé les discussions et les décisions concernant le PSO (et plus particulièrement le PSF) tout au long de l’évaluation.

L’évaluation porte sur le POSF, le PSF et le PSP, qui font partie du PSO, et couvre la période allant de 2011‑2012 à 2017‑2018. À l’instar de l’approche adoptée dans le cadre de l’évaluation du POSF de 2012, la portée de la présente évaluation ne comprend pas le financement provenant de mécanismes axés sur les priorités. L’évaluation répond aux exigences du Secrétariat du Conseil du Trésor du Canada (SCT) établies dans la Politique sur les résultats et la Loi sur la gestion des finances publiques.

Il importe de noter que l’évaluation a été achevée en 2019-2020; toutefois, l’approbation et la publication Web du présent rapport ainsi que la préparation du plan d’action de la direction ont été retardées en raison de la pandémie de COVID-19. De plus, certains changements importants ont été apportés au sein des IRSC depuis l’achèvement du rapport, en particulier la mise en œuvre du Plan stratégique 2021-2031, à la suite duquel différentes mesures clés ont été prises en vue de promouvoir l’excellence de la recherche, de renforcer la capacité de recherche en santé et d’assurer la prise en compte des données probantes dans les décisions en santé.

Évaluation précédente du POSF

Le POSF a fait l’objet d’une première évaluation en 2012. De façon générale, l’évaluation a révélé que le programme a atteint ses objectifs, qu’il a contribué à la création et à la diffusion de connaissances liées à la santé et qu’il a soutenu des travaux de recherche de grande qualité. Compte tenu des changements qui allaient être apportés au programme et à l’évaluation par les pairs dans le cadre de la réforme, les recommandations comprenaient les suivantes :

  1. faire en sorte que les prochains modèles des programmes ouverts optimisent l’utilisation du temps des pairs évaluateurs et des candidats;
  2. faire en sorte que les prochains modèles des programmes ouverts tiennent compte des habitudes dans les quatre thèmes quant à la présentation de demandes, à l’évaluation par des pairs et au renouvellement;
  3. effectuer des analyses plus poussées afin de bien comprendre l’impact potentiel des modifications du système d’évaluation par les pairs;
  4. créer des indicateurs de réussite pour les prochains programmes ouverts et faire en sorte que ceux‑ci soient pertinents pour les différents milieux de la recherche en santé des IRSC.

La réponse et le plan d’action de la direction, qui étaient inclus dans le rapport, montraient l’approbation de toutes les recommandations, dont la plupart ont été traitées tout au long de la mise en œuvre de la réforme.

Facteurs ayant une incidence sur la présente évaluation

Plusieurs facteurs ont eu une incidence sur la présente évaluation. Plus important encore : il y a eu un changement majeur de programme, soit le remplacement du POSF (qui a été le principal mécanisme des IRSC et auparavant du Conseil de recherches médicales du Canada pour soutenir la recherche libre pendant des décennies) par le PSF et le PSP. En 2009, les IRSC ont lancé un plan stratégique quinquennal, intitulé Feuille de route pour la recherche, qui présentait une vision consistant à réformer les processus d’évaluation par les pairs et les programmes ouverts de financement. À partir de 2010, les IRSC ont entrepris de réformer leurs programmes de recherche libre, dont le POSF, et leurs processus connexes d’évaluation par les pairs, dans le but de répondre à la pleine portée de leur mandat tout en réduisant le fardeau imposé aux pairs évaluateurs et aux candidats. Les IRSC ont voulu rendre itérative la mise en œuvre des changements, en s’appuyant sur les consultations avec les intervenants, sur des études pilotes et sur leurs propres examens internes. La nouvelle série de programmes, qui a remplacé le POSF, a été mise à l’essai et mise en œuvre au cours de la période allant de 2010 à 2017Note en bas de page v. Cependant, la réforme, qui s’est déroulée dans un contexte de restrictions budgétaires et de difficultés de mise en œuvre, a suscité des réactions mitigées chez les intervenants du milieu de la recherche en santé. Le plan stratégique des IRSC a également été mis à jour pendant la mise en œuvre de la réforme (Feuille de route pour la recherche, de 2014‑2015 à 2018‑2019). Malgré la nature évolutive de ces programmes, l’évaluation a été réalisée afin de répondre aux exigences du SCT établies dans la Politique sur les résultats. En 2016, les IRSC ont annoncé la création du Comité d’experts sur l’évaluation par les pairs, qui était directement soutenu par l’équipe d’évaluation du PSO. Puis, en 2019, les IRSC ont commencé à élaborer leur prochain plan stratégique et ont pris la décision de mettre fin au PSF. Des précisions sont fournies ci‑dessous.

Questions d’évaluation

Les questions d’évaluation suivantes ont été élaborées pour appuyer les objectifs de l’évaluation et sont basées sur les consultations avec le comité de la haute direction (en tant que comité de la mesure du rendement et de l’évaluation des IRSC), divers directeurs généraux des directions des IRSC (la Direction des finances, la Direction de la recherche, de l’application des connaissances et de l’éthique, ainsi que la Direction du rendement et de la responsabilisation) et le Sous comité de mise en œuvre et de surveillance (SMOS).

Pertinence – Programme de soutien opérationnel

  1. Dans quelle mesure le Programme de soutien opérationnel correspond il aux rôles et aux responsabilités des IRSC et du gouvernement du Canada dans le contexte de la recherche libre?

Rendement – évaluation d’impact du POSFNote en bas de page vi

  1. Quels sont les résultats et les retombées des investissements des IRSC dans le Programme de soutien opérationnel, par l’intermédiaire du POSF, en ce qui concerne les points suivants :
    1. l’avancement des connaissances liées à la santé au moyen de la production et de l’utilisation de résultats de recherche;
    2. le renforcement de la capacité de recherche en santé du Canada;
    3. une prise de décisions éclairées au moyen de la diffusion des connaissances liées à la santé générées par les travaux de recherche soutenus par le POSF;
    4. les bienfaits pour la santé découlant des travaux de recherche soutenus par le POSF;
    5. les avantages socio économiques généraux découlant des travaux de recherche soutenus par le POSF?

Conception et exécution – mise en œuvre des programmes de subventions Fondation et Projet et détermination des coûts associés au Programme de soutien opérationnel

  1. Les programmes ont‑ils été conçus et exécutés de manière à atteindre les résultats escomptés?
  2. Le Programme de soutien opérationnel des IRSC est‑il exécuté de manière rentable?

Méthodologie

Conformément aux directives du SCT et aux pratiques exemplaires reconnues en matière d’évaluation, diverses méthodes et sources de données ont été utilisées pour valider les conclusions de l’évaluation (examen des documents et des données; rapports de fin de subvention, n = 3 304; études de cas, n = 8; analyses bibliométriques).

La conception de la présente évaluation a été élaborée en réponse aux besoins d’information de la haute direction à un moment précis, étant donné le stade de mise en œuvre de la nouvelle série de programmes. L’évaluation a été réalisée à un moment où des activités de surveillance et de consultation supplémentaires avaient lieu, y compris une collecte de données pour orienter la mise en œuvre des programmes. Compte tenu de la quantité de données recueillies pour la mise en œuvre de la nouvelle série de programmes, des vastes consultations menées pendant la réforme et des décisions prises par la haute direction des IRSC, la conception a intégré la plupart de ces activités en tant que sources de données (p. ex. le Comité d’experts sur l’évaluation par les pairs), tout en limitant délibérément l’utilisation de mesures supplémentaires de collecte de données primaires auprès du milieu de la recherche (p. ex. entrevues et sondages).

Étant donné que le PSF et le PSP n’en étaient qu’à leurs débuts et qu’ils étaient constamment modifiés, l’évaluation du rendement s’est concentrée sur le POSF. Plus précisément, l’évaluation a examiné les résultats et l’incidence du POSF en lien avec l’avancement des connaissances, le renforcement de la capacité de recherche en santé du Canada, la prise de décisions éclairées, les bienfaits pour la santé et les avantages socio‑économiques généraux. La création, la diffusion, l’application et l’utilisation des connaissances liées à la santé faisaient partie des objectifs précis du POSF. De même, la création et l’utilisation de connaissances liées à la santé font également partie des objectifs du PSF et du PSP. Par conséquent, on s’attendait à ce que les leçons apprises pendant l’évaluation du rendement du POSF soient applicables aux programmes qui lui ont succédé. En outre, le cadre de mesure d’impact de l’Académie canadienne des sciences de la santé (ACSS) [ PDF (3,5 Mo) - lien externe ] (ACSS, 2009) a été utilisé pour orienter l’analyse des résultats et de l’incidence du POSF. Les données issues des rapports de fin de subvention ont été ventilées selon le thème de recherche, le sexe, le stade de la carrière et la langue, et des analyses comparatives ont été réalisées lorsque la taille des échantillons était suffisante. De même, lorsqu’il était possible et approprié de le faire, des comparaisons ont été faites avec les conclusions de l’évaluation antérieure du POSF (2012). L’annexe B – Méthodologie comporte des renseignements supplémentaires à ce sujet.

Limites

Il convient de noter les limites suivantes :

Conclusions de l’évaluation

Pertinence : besoin continu et concordance du PSO avec la Loi sur les IRSC

Conclusions principales

Le PSO était étroitement aligné sur le rôle, les responsabilités et les priorités des IRSC

Le programme contribue :

Les IRSC ont pour mission « d’exceller, selon les normes internationales reconnues de l’excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d’améliorer la santé de la population canadienne, d’offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada ». Ils ont pour vision de faire du Canada un chef de file mondial dans la création et l’utilisation de connaissances en santé qui sont bénéfiques pour les populations canadienne et mondiale.

Le PSO contribue à la réalisation de ce mandat et de cette vision d’ensemble en attirant et en finançant l’excellence en recherche depuis 2000 (par l’entremise du POSF, du PSF et du PSP) et surpasse les comparateurs de référence (p. ex. les chercheurs en santé des pays de l’OCDE). En outre, le POSF a facilité la création, la diffusion et l’utilisation des connaissances liées à la santé (surtout au sein du milieu universitaire) ainsi que le renforcement et le maintien de la capacité de recherche en santé du Canada en soutenant des projets originaux et de grande qualité proposés et menés par des chercheurs individuels ou des groupes de chercheurs dans tous les domaines de la recherche en santé, comme en témoigne la présente évaluation. En outre, la pertinence a été fermement déterminée dans l’Évaluation du Programme ouvert de subventions de fonctionnement [ PDF (2,1 Mo) ] réalisée par les IRSC en 2012.

Étant donné que plusieurs des objectifs du POSF figurent aussi parmi les objectifs du PSF et du PSP, on pourrait s’attendre à ce que ces deux programmes produisent des résultats similaires à ceux observés dans le cadre du POSF. Cependant, la structure de ces deux nouveaux programmes comporte des différences. De façon générale, les objectifs du PSF et du PSP sont conformes à la Loi sur les IRSC et au mandat des IRSC. Cependant, les objectifs du PSF n’ont pas été mis à jour pour tenir compte de la non‑admissibilité des CDC, et le renforcement et le maintien de la capacité de recherche en santé du Canada ne sont pas clairement mentionnés dans les objectifs du PSP. Bien que l’on s’attende à ce que du personnel hautement qualifié (PHQ) participe aux subventions du PSP et reçoive une formation connexe, ce rôle devrait être reconnu de manière explicite dans les objectifs du programme, étant donné que la formation relative à la recherche en santé est une priorité pour les IRSC. Il convient également de noter que la présente évaluation s’est concentrée sur la conception et l’exécution des nouveaux programmes; par conséquent, aucune évaluation des progrès accomplis vers l’atteinte des objectifs n’a été réalisée. Cela devrait être pris en compte dans les évaluations futures de la recherche libre en général et du PSP.

Le PSO répond à un besoin continu et concorde avec les priorités du gouvernement du Canada

Le besoin continu en recherche libre et la concordance du Programme avec les priorités du gouvernement du Canada sont mentionnés dans :

La valeur de la recherche libre est reconnue dans la Vision scientifique du Canada. Les objectifs précis sont entre autres d’augmenter la collaboration en recherche par un soutien accru de la part des organismes subventionnaires et par d’autres formes d’appui à la recherche, à l’infrastructure et à la prochaine génération de scientifiques, en plus de favoriser l’équité et la diversité en recherche.

De plus, selon l’examen du soutien fédéral aux sciences (en anglais seulement) [ PDF (7,8 Mo) - lien externe ] (dirigé par le Dr Naylor), le gouvernement du Canada devrait augmenter rapidement ses investissements dans la recherche libre indépendante afin de remédier au déséquilibre causé par l’écart favorisant les investissements dans la recherche priorisée au cours de la dernière décennie.

Les objectifs et les recommandations figurant ci‑dessus ont été pris en compte dans le budget fédéral de 2018. Ce budget a confirmé l’engagement du gouvernement à soutenir la recherche et la prochaine génération de scientifiques en faisant un investissement sans précédent de près de 4 milliards de dollars sur cinq ans, dont près de 1,7 milliard de dollars pour les conseils subventionnaires afin d’améliorer les mesures de soutien et les possibilités de formation offertes aux chercheurs, aux étudiants et au PHQ. Le budget de 2019 s’appuie sur ces investissements dans l’excellence en recherche au Canada en faisant des investissements supplémentaires dans les organisations des sciences, de la recherche et de la technologie et en établissant un nouveau fonds stratégique des sciences.

Le Programme de soutien opérationnel concorde avec ces priorités puisqu’il offre aux chercheurs des fonds de recherche dans tout domaine lié à la santé visant la découverte et l’application de connaissances. Plus particulièrement, ses programmes (Programme ouvert de subventions de fonctionnement et les programmes de subventions Projet et Fondation) à vise à faciliter la création, la dissémination et l’utilisation des connaissances en santé ainsi qu’au développement et au maintien de la capacité de recherche en santé au Canada en appuyant des projets de recherche originaux, novateurs et de qualité, proposés et réalisés par un chercheur ou un groupe de chercheurs, dans tous les domaines de la santé. Le PSP vise également à promouvoir la collaboration entre les disciplines, les professions et les secteurs.

Rendement : Évaluation de l’incidence du POSF

Conclusions principales

La recherche financée par le POSF a facilité l’avancement des connaissances

Les résultats et les retombées des investissements dans le POSF concernant l’avancement des connaissances liées à la santé par la production et l’utilisation de la recherche ont été examinés à l’aide d’une analyse des rapports de fin de subvention, d’études de cas et d’analyses bibliométriques. Il convient de souligner que le cadre de mesure d’impact de l’ACSS a été utilisé pour orienter l’analyse des résultats et de l’incidence du POSF. L’ACSS définit l’avancement des connaissances comme étant les nouvelles découvertes et percées de la recherche en santé, ainsi que les contributions aux publications scientifiques. Cela comprend notamment des mesures de la qualité de la recherche, de l’activité de recherche (volume) et de la sensibilisation d’autres chercheurs, ainsi que des mesures structurelles (les domaines de recherche dans lesquels une organisation est active et la manière dont elle équilibre son portefeuille pour différents domaines de recherche).

Les meilleurs chercheurs ont été sélectionnés pour un financement au titre du POSF

L’analyse bibliométrique est une méthode fréquemment utilisée pour mesurer la création de connaissances; elle est considérée comme une façon objective, fiable et rentable de mesurer les résultats de la recherche évaluée par les pairs (Campbell et coll., 2010). Les articles universitaires publiés dans une variété de revues largement diffusées facilitent l’accès aux dernières avancées et découvertes scientifiques et sont considérés comme les résultats les plus tangibles de la recherche universitaire (Godin, 2012; Larivière et coll., 2006; Moed, 2012; Thonon et coll., 2015). Plus précisément, l’analyse bibliométrique utilise une analyse quantitative pour mesurer les tendances relatives aux publications et aux citations scientifiques, en se concentrant habituellement sur les articles de revues, afin d’évaluer l’incidence de la recherche (Ismail, Farrands et Wooding, 2009). Dans la présente évaluation, la moyenne des citations relatives (MCR) et le facteur d’impact relatif moyen (FIRM) sont utilisés en tant que mesures de l’impact scientifiqueNote en bas de page vii.

Les limites de l’analyse bibliométrique comprennent la difficulté d’estimer la qualité des publications sur la base des citations, les différences dans les pratiques en matière de citation entre les disciplines et parfois entre les sous‑domaines d’une même discipline, ainsi que la difficulté de passer de la contribution à l’attribution (Ismail, Nason, Marjanovic et Grant, 2012). En outre, les IRSC ont récemment signé la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), qui reconnaît le besoin d’améliorer les méthodes d’évaluation des résultats de la recherche universitaire. Conformément aux pratiques exemplaires, la validation de l’analyse bibliométrique à l’aide d’autres sources de données est également utilisée dans la présente évaluation afin d’évaluer la création de connaissances en tant que résultat du programme. L’analyse des renseignements contenus dans les rapports de fin de subvention ainsi que les études de cas ont été utilisées pour évaluer la recherche à impact élevé découlant du financement du POSF. Il convient de noter que les analyses bibliométriques comprises dans ce rapport sont basées sur les données issues des publications produites par les chercheurs du POSF pendant la période où ils étaient soutenus par ces subventions. Bien que cette méthode soit communément acceptée sur la base d’une hypothèse selon laquelle ces subventions constituent une contribution importante aux résultats de recherche (p. ex. Campbell et coll., 2010; Ebadi et Schiffauerova, 2015), il n’est pas possible d’établir des liens directs entre les subventions et les données bibliométriques des publications.

Une analyse des publications dans les revues et des citations associées (jusqu’en 2016, inclusivement) provenant d’un échantillon de candidats financés (n = 2 500) et non financés (n = 500) à l’issue des concours du POSF de 2000 à 2014 a été entreprise. Dans l’ensemble, les résultats ont montré que le processus de sélection utilisé dans le cadre des concours du POSF permet de sélectionner les meilleurs candidats. Les candidats financés ont produit, en moyenne, 0,6 article à impact élevé de plus que les candidats non financés. Plus précisément, la MCR et le FIRM des candidats financés étaient plus élevés que ceux des candidats non financés pendant les deux années précédant les concours (1,60 par rapport à 1,34 et 1,39 par rapport à 1,21, respectivement). Il convient toutefois de noter que ces différences, bien que statistiquement significatives, sont faibles.

Les chercheurs étaient plus productifs lorsqu’ils étaient financés par le POSF

Pendant la période à l’étude (de 2001 à 2015), les candidats financés ont publié, en moyenne, un peu plus de quatre articles par an, en comparaison avec 2,6 lorsqu’ils ne recevaient pas de financement. Le FIRM des articles soutenusNote en bas de page viii s’est amélioré avec le temps, et la valeur du FIRM des articles soutenus pendant la période allant de 2000 à 2016 (1,39) est supérieure à celle des articles non soutenus (1,30). Cependant, malgré une différence statistiquement significative (p < 0,001), la MCR des publications soutenues (1,57) n’est pratiquement pas plus élevée que celle des publications non soutenues (1,55). Dans la présente évaluation, la MCR est légèrement plus élevée que celle observée au cours de l’évaluation précédente, qui avait considérablement augmenté entre 2001‑2005 et 2006‑2009 (1,44 par rapport à 1,54; p < 0,001).

Qui plus est, après le financement du POSF, les candidats financés étaient plus productifs (selon une moyenne de 0,6 article de plus que les candidats non financés) et avaient un impact plus élevé; en comparaison avec les candidats non financés, les candidats financés publiaient des articles qui étaient plus souvent cités, et ces articles étaient publiés dans des revues qui étaient elles aussi plus souvent citées. La MCR et le FIRM des candidats financés étaient plus élevés que ceux des candidats non financés (1,61 par rapport à 1,35 et 1,40 par rapport à 1,21, respectivement); bien que statistiquement significative, cette différence est relativement petite. Une amélioration globale du rendement sur le plan scientifique des chercheurs financés a été observée au fil du temps. Cependant, l’écart entre les candidats financés et non financés s’élargit au cours de la période, puisque les articles rédigés par les candidats financés renforcent leur impact scientifique (FIRM et MCR) de façon plus marquée que les articles rédigés par les candidats non financés.

Dans l’ensemble, le financement du POSF est positivement corrélé avec la productivité et l’impact sur le plan scientifique. Il convient de noter que conformément aux données, les chercheurs soutenus étaient plus productifs et avaient un impact plus élevé que les candidats non financés à l’issue des concours du POSF. En outre, cette étude a démontré que la durée du financement du POSF est elle aussi positivement corrélée avec la productivité. Comme on pouvait s’y attendre, en moyenne, les chercheurs chevronnés (plus de dix ans d’expérience) produisent plus d’articles que ceux en début de carrière (cinq ans d’expérience ou moins) ou en milieu de carrière (de six à dix ans d’expérience). En ce qui concerne l’impact, le FIRM ne varie pas en fonction du stade de la carrière, tandis que la MCR des chercheurs en début de carrière est plus élevée que celle des chercheurs chevronnés/en milieu de carrière. Cette constatation est probablement due, du moins en partie, au fait que la MCR dans la présente évaluation comprend les autocitations, ce qui appuie l’affirmation selon laquelle les chercheurs en début de carrière ont tendance à citer des ouvrages plus récents et plus jeunes (Gingras, Larivière, Macaluso et Robitaille, 2008).

L’analyse des sous‑groupes selon le sexe montre que les hommes étaient légèrement plus productifs (produisant en moyenne 0,7 article de plus par an) et avaient un impact plus élevé que les femmes (MCR = 1,62 par rapport à 1,48; FIRM = 1,41 par rapport à 1,34, respectivement). Cette constatation est conforme à la documentation montrant que les hommes ont tendance à avoir une productivité de recherche bibliométrique et un impact plus élevés que les femmes (Larivière, Ni, Gingras, Cronin et Sugimoto, 2013).

L’analyse des sous‑groupes selon la langue préférée montre que seulement 2,16 % des publications des chercheurs dont la langue préférée est le français ont été rédigés en français. Il convient de noter que presque tous les articles répertoriés dans la base de données Web of Science de Clarivate Analytics, utilisée pour les analyses bibliométriques, sont en anglais; par conséquent, les résultats concernant la langue doivent être interprétés avec prudence.

Les chercheurs financés par le POSF ont eu un plus grand impact scientifique que les autres chercheurs en santé

L’impact dans le domaine des sciences de la santé des chercheurs financés par le POSF est non seulement supérieur à la moyenne canadienne (MCR = 1,61 par rapport à 1,34; FIRM = 1,39 par rapport à 1,18, respectivement), mais aussi aux pays de l’OCDE les plus performants dans ce domaine (MCR allant de 1,20 à 1,57; FIRM allant de 1,07 à 1,28). Ces conclusions sont conformes à celles de l’évaluation précédente du POSF (IRSC, 2012).

Les résultats de recherche du POSF ont augmenté depuis l’évaluation précédente

En plus des résultats des analyses bibliométriques concernant la qualité de la recherche, les rapports de fin de subvention contiennent des mesures liées à l’activité de recherche, comme le nombre de produits de connaissances créés grâce aux subventions du POSF (c.‑à‑d. publications dans une revue, présentations lors de congrès, livres/chapitres de livres et rapports techniques). Les IRSC recueillent actuellement des données de fin de subvention, qui sont autodéclarées par les CPD financés, et ce, pour toutes les subventions de fonctionnement, généralement dans les 18 mois suivant la fin de chaque subvention (voir Annexe B – Méthodologie pour des détails supplémentaires sur les rapports de fin de subvention et les méthodes d’analyse). Ces données devraient être interprétées avec un certain degré de prudence, étant donné qu’il s’agit de données autodéclarées, qu’elles représentent 29 % des subventions accordées à ce moment‑là et que la simple production de ces produits de connaissances ne donne aucune indication de leur qualité, de leur utilisation ou de leur application. Cependant, lorsqu’elle est considérée de concert avec des analyses bibliométriques, cette mesure fournit des données utiles sur les extrants de ce programme de recherche libre, ainsi qu’un aperçu des tendances relatives aux publications des différentes parties de la communauté de la recherche en santé des IRSC bénéficiant du financement du POSF.

Les produits de connaissances les plus déclarés comme étant un résultat des subventions sont les articles de revues ainsi que les présentations lors de congrès. En général, et comme on pouvait s’y attendre, la production d’autres types de produits de connaissances était assez faible (p. ex., 40 % des subventions ont donné lieu à des livres/chapitres de livres et 10 %, à des rapports techniques). Le nombre de chaque type d’extrant de nature scientifique varie considérablement d’un type à l’autre (Tableau 2 : Produits de connaissances, durée des subventions et montant des subventions par thème de recherche).

Presque tous (95 %) les chercheurs financés par le POSF publient des articles dans des revues, selon une moyenne de 10,62 par subvention. Il s’agit d’une augmentation par rapport à la moyenne de 7,6 articles par subvention signalée dans l’évaluation précédente (IRSC, 2012). On ne connaît pas la raison exacte de la hausse du nombre d’articles, mais celle‑ci pourrait être attribuable à l’augmentation globale de la productivité des revues observée à l’échelle mondiale (Bornmann et Mutz, 2015; Monroe et Diaz, 2018). En outre, la majorité des subventions du POSF ont donné lieu à des présentations sollicitées lors de congrès (88 %, avec une moyenne de 13 par subvention), et plus de la moitié ont donné lieu à d’autres présentations (59 %).

Les subventions dans le thème de recherche 1 et celles dont les CPD étaient de sexe masculin ont donné lieu à un plus grand nombre d’articles de revues et de présentations lors de congrès

Des analyses supplémentaires montrent qu’il existe des différences importantes en lien avec la production d’articles de revues et les présentations lors de congrès (sur invitation et autres) entre les différents thèmes de recherche (p < 0,001). Les subventions associées au thème de recherche 1 ont donné lieu à un plus grand nombre d’articles de revues (μ = 11,52) que celles associées à tous les autres thèmes (μ = 8,23, 5,63 et 8,81 pour les thèmes 2, 3 et 4, respectivement, sans différences significatives entre ces thèmes; voir Figure C : Nombre moyen de publications et de présentations par thème de recherche). Il convient de noter que le nombre moyen de publications associé à tous les thèmes de recherche a augmenté par rapport à l’évaluation précédente, soit environ de 2 à 3 articles supplémentaires en moyenne. Les subventions dans le thème de recherche 1 étaient également associées à un nombre plus élevé de présentations sollicitées que celles dans les thèmes de recherche 3 et 4 (à noter qu’il n’y avait pas de différence par rapport au thème de recherche 2). En ce qui concerne les autres présentations lors de congrès, le thème de recherche 3 était nettement inférieur à tous les autres thèmes de recherche.

Des analyses supplémentaires montrent qu’il existe des différences importantes entre les sexes en ce qui concerne la production d’articles de revues et le nombre de présentations sollicitées lors de congrès (p < 0,001), tandis que les autres présentations lors de congrès ne comportaient aucune différence (p < 0,04). Les subventions dont les CPD étaient des hommes ont donné lieu à un plus grand nombre d’articles de revues et de présentations lors de congrès que celles dont les CPD étaient des femmes (voir Figure D : Nombre moyen de publications et de présentations par sexe).

Comme on pouvait s’y attendre, on constate une augmentation du nombre moyen d’articles de revues publiés et de présentations sollicitées à mesure que le stade de la carrière des CPD des subventions progresse, c’est‑à‑dire : de chercheurs en début de carrière (μ = 9, σ = 9) à chercheurs en milieu de carrière (μ = 10, σ = 11), puis à chercheurs chevronnés (μ = 12, σ = 13). Cette constatation concorde avec les résultats bibliométriques présentés ci‑dessus. Dans l’ensemble, aucune différence n’a été observée par rapport aux produits de connaissances sur la base de la langue préférée des CPD.

La durée et le montant des subventions étaient de bons prédicteurs de la productivité des articles de revues, suivis du sexe

Comme dans l’évaluation précédente, la production d’articles de revues est modérément corrélée avec le montant (valeur) et la durée des subventions accordées (r = 0,36, n = 3 134, p = 0,01 pour les deux variables indépendantes; voir Tableau 2 : Produits de connaissances, durée des subventions et montant des subventions par thème de recherche). Par ailleurs, le montant et la durée des subventions sont fortement corrélés entre eux : les subventions de plus longue durée sont habituellement associées à un montant d’argent plus élevé (r = 0,67, n = 3 304, p < 0,01). Il semble donc que la durée et le montant d’une subvention soient fortement corrélés avec le nombre d’articles publiés.

La durée et le montant des subventions ne sont pas uniformes dans les quatre thèmes de recherche : en moyenne, la durée des subventions accordées aux chercheurs en recherche biomédicale est plus longue (4,3 ans) que celle des subventions dans les trois autres thèmes (3,4, 2,7 et 3,1 ans pour les thèmes 2, 3 et 4, respectivement; voir Tableau 2 : Produits de connaissances, durée des subventions et montant des subventions par thème de recherche pour obtenir des données supplémentaires)Note en bas de page ix. Ces différences sont statistiquement significatives (analyse de variance à un critère de classification, p < 0,001), ce qui concorde avec l’évaluation précédente. La durée et le montant des subventions varient également en fonction du sexe : en moyenne, les CPD de sexe masculin bénéficient de subventions dont la durée est beaucoup plus longue (μ = 4,1 ans, σ = 13,22, n = 2 375, p < 0,001) que celles des CPD de sexe féminin (μ = 3,7 ans, σ = 13,42, n = 925). De même, les CPD de sexe masculin reçoivent des montants de financement beaucoup plus élevés que les CPD de sexe féminin (μ = 527 436 $, σ = 268 967, n = 2 375; μ = 452 985 $, σ = 291 672, n = 2 925, p < 0,001), ce qui représente un écart moyen de 74 451 $ (voir Tableau 3 : Produits de connaissances, durée des subventions et montant des subventions par sexe). Par conséquent, des analyses plus poussées ont été réalisées pour déterminer si les différences dans les publications d’articles de revues en fonction du thème de recherche et du sexe pourraient s’expliquer par un chevauchement avec la durée et le montant plutôt que par d’autres différences distinctes entre les thèmes de recherche et les sexes.

Un modèle de régression modérée a été utilisé pour déterminer si la relation prédictive entre la durée et le montant des subventions ainsi que le nombre d’articles de revues publiés variait selon le thème de recherche. Le modèle de régression a confirmé que la durée des subventions était un bon prédicteur de la production d’articles de revues (p < 0,001) et qu’il en était de même pour le montant (p < 0,001). Cependant, outre cela, le thème de recherche n’était ni un bon prédicteur ni un bon modérateur des articles publiés. Fait intéressant : bien que la durée et le montant soient reliés (r = 0,66) (c.‑à‑d. que les subventions de plus longue durée ont tendance à être associées à un montant plus élevé), les différences dans la productivité sont en grande partie attribuables à la durée des subventions, puis au montant de celles‑ci (ce qui explique une certaine variation indépendante de la durée), tandis que le thème de recherche a un effet négligeable. Cela laisse penser que les différences dans la productivité observées d’un thème à l’autre sont en grande partie attribuables à la durée et au montant des subventions plutôt qu’au thème de recherche en tant que tel.

De même, un modèle de régression modérée a montré qu’outre la durée et le montant des subventions, le sexe était lui aussi un bon prédicteur du nombre d’articles de revues publiés (p = 0,04 pour le sexe). Autrement dit, les CPD de sexe masculin qui bénéficient de subventions dont la durée et le montant sont plus importants sont susceptibles de produire un plus grand nombre d’articles de revues. Comme dans le cas du modèle ci‑dessus en lien avec le thème de recherche, le sexe n’est pas un prédicteur de la productivité aussi solide que la durée ou le montant des subventions.

L’importance de cette analyse, du point de vue de l’évaluation, est qu’elle montre comment l’évaluation de la productivité par un simple dénombrement des publications peut être trompeuse. Compte tenu de ces constatations ainsi que des exigences établies dans la Politique sur les résultats actuelle, les évaluations futures et la mesure du rendement du PSO devraient prendre en compte des variables qui peuvent avoir une incidence sur la productivité. En outre, ces constatations devraient être prises en compte dans la conception et l’exécution futures des programmes de recherche libre. Les domaines de recherche futurs comprennent la compréhension de la durée et du montant optimaux des subventions (c.‑à‑d. déterminer à quel moment la productivité diminue en se basant sur la durée des subventions) dans le contexte de la recherche libre, où la durée et le montant sont en grande partie proposés par les chercheurs.

Près de la moitié des subventions ont généré des résultats liés à l’avancement des connaissances au delà de la productivité

Des questions sur la production d’une variété d’autres résultats ont été posées aux CPD dans les rapports de fin de subvention. Certains de ces résultats correspondent à la catégorie de l’ACSS relative à l’avancement des connaissances, notamment : méthode de recherche; théorie; reproduction de résultats de recherche; outil, technique, instrument ou intervention. Plus précisément, on leur a demandé si la subvention avait donné lieu à un résultat avancé ou nouvellement développé, ou s’il était possible qu’elle donne lieu à un résultat à l’avenir. Un peu moins de 50 % des subventions (n = 3 304) ont généré de tels résultats supplémentaires en lien avec l’avancement des connaissances. Près de la moitié des subventions ont donné lieu à une méthode de recherche avancée (44 %), à une théorie (49 %) et à la reproduction de résultats de recherche (41 %). Près du tiers (30 %) ont donné lieu à un outil, une technique, un instrument ou une intervention de pointe.

Les CPD ont indiqué que des résultats avancés liés à l’avancement des connaissances étaient plus susceptibles de découler immédiatement des subventions (ou dans les 18 mois suivant la fin de la subvention, au moment où ils ont rempli les rapports de fin de subvention), plutôt que des résultats récemment développés ou des résultats pouvant être obtenus à l’avenir. Par conséquent, moins de résultats récemment développés ont été obtenus grâce aux subventions du POSF (de 9 à 30 %, selon le type de résultat précis), et un plus petit nombre de CPD ont indiqué que ces résultats potentiels pourraient être obtenus dans le futur grâce aux subventions (de 7 à 12 %). On ne connaît pas la raison exacte pour laquelle il y a un tel éventail de réponses; cependant, plusieurs résultats liés à l’avancement des connaissances ont été mesurés dans les rapports de fin de subvention, et il se peut que certains d’entre eux ne soient tout simplement pas aussi applicables dans tous les cas (p. ex. théorie). De plus, les rapports de fin de subvention comprennent de multiples mesures pour les mêmes concepts (c.‑à‑d. « avancé », « nouvellement développé » et « peut‑être à l’avenir »), ce qui peut également contribuer à une variation accrue des réponses.

Les subventions pour la recherche biomédicale ainsi que celles dont les CPD étaient des hommes représentaient une part plus importante des résultats liés à l’avancement des connaissances, en comparaison avec les subventions pour les trois autres thèmes de recherche. Compte tenu des faibles proportions, des analyses plus approfondies par thème de recherche et par sexe ne sont pas déclarées.

Plus de la moitié des subventions ont fait participer d’autres chercheurs aux activités d’application des connaissances en fin de subvention

Un autre domaine cerné dans le cadre de mesure d’impact de l’ACSS en lien avec l’avancement des connaissances est la sensibilisation des autres chercheurs. Dans les rapports de fin de subvention, on a demandé aux CPD de rendre compte de la mobilisation et de la participation d’une variété d’intervenants, y compris d’autres chercheurs et universitaires (c.‑à‑d. ceux qui ne sont pas énumérés officiellement dans leur demande de subvention), ainsi que de l’incidence sur ces personnes. Dans le contexte de la présente évaluation, cela est considéré comme un indicateur de la sensibilisation d’autres chercheurs.

La majorité des CPD (87 %) ont déclaré que d’autres chercheurs et universitaires étaient au courant des résultats découlant de leurs subventions. Des différences entre les thèmes de recherche ont été observées : beaucoup moins de CPD ayant reçu des subventions pour les thèmes de recherche 3 et 4 ont indiqué que d’autres chercheurs et universitaires étaient au courant de leurs résultats (62 % et 37 %, respectivement). Cela semble indiquer que les CPD bénéficiant de ces subventions ont moins souvent tendance à entrer en contact avec d’autres chercheurs que les CPD bénéficiant des subventions associées aux thèmes de recherche 1 et 4.

On a également demandé aux CPD d’indiquer la mesure dans laquelle leur subvention avait eu une incidence sur divers groupes d’intervenants, y compris d’autres chercheurs et universitaires (ceux qui n’étaient pas énumérés dans leur demande de subvention officielle). En moyenne, les CPD estimaient que leur subvention avait eu une certaine incidence sur d’autres chercheurs (μ = 3,37 sur 4, σ = 0,75, n = 3 303). Aucune différence n’a été observée par thème de recherche ou par sexe.

Enfin, on a également demandé aux CPD d’indiquer à quelles étapes du processus de recherche en lien avec leur subvention d’autres chercheurs et universitaires avaient participé. Cela comprenait la participation globale et la participation à chaque étape du processus de recherche. Plus de la moitié (57 %, n = 1 891) des 3 304 CPD ayant reçu une subvention ont indiqué que d’autres chercheurs et universitaires avaient participé à leur processus de recherche dans son ensemble. En ce qui concerne chacune des étapes du processus de recherche en lien avec les subventions, l’étape pendant laquelle la participation d’autres chercheurs et universitaires était la plus importante (parmi les subventions dans le cadre desquelles il y avait eu une certaine participation) était celle des activités d’avancement des connaissances en fin de subvention (57 %, n = 1 073), puis celle de l’élaboration du protocole (48 %, n = 604). En outre, parmi ceux qui ont répondu que d’autres chercheurs et universitaires avaient participé à leurs travaux (dans une certaine mesure), 42 % (n = 793) ont indiqué que ces personnes avaient participé à la collecte de données/mise en œuvre du projet, tandis que l’interprétation des résultats et l’élaboration de la question de recherche étaient les étapes associées à la participation la plus faible d’autres chercheurs et universitaires, soit 36 % (n = 671) et 35 % (n = 669), respectivement.

Outre l’analyse des données issues des rapports de fin de subvention, huit études de cas portant sur les subventions à impact élevé ont été réalisées (voir Annexe B – Méthodologie pour obtenir des renseignements supplémentaires sur la sélection des cas et les méthodes), ce qui a permis de mieux comprendre les résultats et les retombées des subventions du POSF. Chaque cas a fait progresser considérablement les connaissances dans le ou les domaines de recherche concernés, ce qui était prévisible compte tenu de la sélection de cas à impact élevé. Les chercheurs ont mené à bien les programmes de recherche qu’ils avaient prévus, bien que quelques modifications aient dû être apportées en raison des résultats obtenus en cours de route ou des changements dans les collaborations. En général, des progrès ont été réalisés de manière progressive grâce à l’exécution de programmes de recherche à long terme comprenant des groupes d’études et d’analyses interreliées.

Les chercheurs et les stagiaires des études de cas ont été très productifs et ont largement diffusé les avancées en matière de connaissances. Les chercheurs ont choisi un important problème de recherche en santé ayant un fort potentiel d’impact sur la santé, ce qui pouvait donc faire progresser les connaissances dans un domaine très concurrentiel. Les programmes de recherche étaient basés sur une vision à long terme et de haut niveau concernant la voie que la recherche pourrait emprunter au cours d’une période de plusieurs décennies. Les CPD et leur équipe se sont efforcés de mettre en œuvre cette vision. Les programmes de recherche ont utilisé des modèles de recherche longitudinale et ont créé de grandes bases de données de qualité. Les avancées en matière de connaissances ont été communiquées par l’entremise de collaborations, de présentations et de publications aux échelles nationale et internationale (entre autres médias).

Les collaborations entre chercheurs ont contribué à l’élaboration intellectuelle des principales idées de recherche. Dans les cas associés aux thèmes de recherche 1 (recherche biomédicale) et 2 (recherche clinique), les collaborations entre les spécialistes des sciences fondamentales et les spécialistes cliniques ont eu une incidence particulièrement importante sur l’avancement de la recherche. Les CPD ont adopté et maintenu des normes élevées d’excellence méthodologique dans le contexte de la recherche, de la formation et du choix des collaborateurs. Les chercheurs se sont tenus au courant des avancées de premier plan dans le domaine, en faisant preuve de flexibilité et en s’adaptant pour intégrer les progrès émergents accomplis ailleurs. Le financement stable et à long terme des IRSC et de nombreuses autres sources était conforme à la vision à long terme et a permis l’exécution systématique de cette dernière.

La recherche du POSF a contribué à renforcer la capacité de recherche en santé

Le renforcement de la capacité est un objectif clé du POSF ainsi que de la nouvelle série de programmes. Il s’agit également d’une priorité clé pour les IRSC, conformément à leur Loi, à leur plan stratégique (orientation stratégique 1 de la Feuille de route pour la recherche) et à leur stratégie de formation. Les IRSC appuient le renforcement de la capacité de façon directe (par l’entremise de bourses et de subventions pour des chercheurs individuels et des stagiaires) et indirecte (en finançant des projets de recherche qui renforcent la capacité par l’intermédiaire de la participation d’étudiants, de stagiaires et d’autres chercheurs/intervenants).

La définition du développement de la capacité utilisée dans l’évaluation précédente comprend la participation directe au processus de recherche de tout employé ou stagiaire, rémunéré ou non : chercheurs; assistants de recherche, techniciens de recherche; boursiers postdoctoraux, étudiants qui ont obtenu leur diplôme dans une profession de la santé (p. ex. M.D., B.Sc.Inf., D.M.D.), boursiers de recherche (ne poursuivant pas leurs études à la maîtrise ou au doctorat); stagiaires au doctorat, à la maîtrise et au premier cycle. La même approche a été adoptée dans la présente évaluation, de concert avec l’application du cadre de mesure d’impact de l’ACSS. L’ACSS définit le renforcement de la capacité comme étant le développement et l’amélioration des compétences en recherche des individus et des équipes. La mesure du renforcement de la capacité est basée sur trois sous‑catégories : le personnel, le financement d’activités supplémentaires et l’infrastructure nécessaire à la recherche.

Les chercheurs du thème de recherche 1 reçoivent la majorité des subventions du POSF

Les chercheurs du thème de recherche 1 reçoivent la majorité des subventions du POSF (environ 72 % des 13 331 subventions de 2000‑2001 à 2015‑2016), et ce, selon une proportion qui est constante depuis 2002‑2003. Le pourcentage a légèrement diminué par rapport au 80 % de l’évaluation précédente (IRSC, 2012). Les chercheurs du thème de recherche 2 reçoivent 12 % des subventions du POSF, ceux du thème de recherche 4, 8,5 %, et ceux du thème de recherche 3, 6 %. Bien que des subventions aient été financées dans les quatre thèmes de recherche, certains obstacles peuvent subsister et empêcher une plus grande représentation des chercheurs des thèmes de recherche 3 et 4. Dans l’évaluation précédente, un éventail d’obstacles et de défis ont été cernés par les chercheurs de ces thèmes de recherche présentant des demandes au titre du POSF, notamment en lien avec l’évaluation par les pairs, les demandes de renouvellement, la réussite et les projets interdisciplinaires (Thorngate, 2002; Tamblyn, 2011; Tamblyn et coll., 2016).

Les subventions du POSF contribuent au renforcement de la capacité

Presque toutes les subventions du POSF ont fait appel à du personnel de recherche (95 %, pour total de 16 347 membres du personnel de recherche) et à des stagiaires (97 %, pour un total de 28 237 stagiaires), ce qui a contribué au renforcement de la capacité de recherche en santé (Tableau 4 : Personnel de recherche et stagiaires ayant participé au POSF). Le nombre moyen de membres du personnel de recherche et de stagiairesNote en bas de page x ayant contribué à la recherche menée par subvention était de 13,5 (dans l’ensemble), ce qui représente une augmentation par rapport à l’évaluation de 2012 (8,61). On pouvait s’y attendre, étant donné que le nombre d’étudiants inscrits dans les universités canadiennes est supérieur à 2 millions depuis 2011‑2012 et augmente constamment de 1 à 3 % par an (Statistique Canada, 2017). Par conséquent, l’augmentation du nombre moyen de chercheurs et de stagiaires participant aux subventions du POSF est probablement due, en partie, à cette hausse.

Il est important de noter que le nombre de chercheurs et de stagiaires fourni est une estimation basée sur les rapports de fin de subvention faisant partie d’un échantillon de 29 % des subventions du POSF financées entre 2000 et 2013. Par conséquent, le nombre total de membres du personnel de recherche et de stagiaires présenté ici est une sous‑estimation. Les CPD qui ont reçu une subvention du POSF n’ont pas tous rempli un rapport de fin de subvention (cela est seulement devenu obligatoire en 2011 et le taux de conformité n’a pas encore atteint 100 %). Cependant, l’échantillon actuel (n = 3 304 sur 13 331) représente bien les caractéristiques démographiques de la population. Les rapports qui font partie de notre échantillon ont été présentés entre 2011‑2012 et 2016‑2017. Par conséquent, bien que le nombre total des membres du PHQ formés ou soutenus au cours de cette période donne une idée du nombre de personnes mobilisées et formées par l’entremise des subventions du POSF, les moyennes peuvent ne pas représenter le PHQ dans son ensemble, et le nombre total est une sous‑estimation de la population.

De la moitié au tiers des subventions ont mobilisé du personnel de recherche

Du personnel de recherche a participé à plus de la moitié des subventions de l’échantillon (sur une possibilité de 3 304 subventions) (chercheurs : 56 %, assistants de recherche : 62 %, techniciens de recherche : 63 %), pour un total de 16 347 (Tableau 4 : Personnel de recherche et stagiaires ayant participé au POSF). Plus de chercheurs (μ = 4, rémunérés ou non) que d’assistants de recherche (μ = 3) et de techniciens (μ= 2) ont participé à chaque subvention.

Des deux tiers aux trois quarts des subventions ont mobilisé des stagiaires

En ce qui concerne les stagiaires, plus des trois quarts des subventions ont permis de former des étudiants au doctorat (78 %), tandis qu’environ deux tiers des subventions ont permis de former des étudiants à la maîtrise (68 %), des boursiers postdoctoraux (66 %) et des étudiants de premier cycle (64 %). Peu d’étudiants qui ont obtenu leur diplôme dans une profession de la santé (17 %) ou de boursiers de recherche ne poursuivant pas leurs études à la maîtrise ou au doctorat (8 %) ont été formés grâce aux subventions. Au total, 28 237 stagiaires ont été formés par l’échantillon actuel comptant 3 188 subventions du POSF. Là encore, il s’agit d’une estimation du nombre total de stagiaires associés à 29 % des subventions du POSF financées entre 2000 et 2013 (Tableau 4 : Personnel de recherche et stagiaires ayant participé au POSF).

Parmi les subventions auxquelles des stagiaires ont participé, ce sont les étudiants de premier cycle qui étaient les plus nombreux à participer à chaque subvention (environ cinq par subvention, rémunérés ou non), en moyenne, suivis des étudiants au doctorat (environ trois). Pour tous les autres types de stagiaires, la moyenne étant d’environ deux par subvention.

Les subventions dans le thème de recherche 1 ont mobilisé plus de membres du personnel de recherche et de stagiaires

Lorsque l’on considère l’ensemble des thèmes de recherche, les subventions pour la recherche biomédicale (thème de recherche 1) ont mobilisé et formé plus de membres du personnel de recherche (p. ex. chercheurs, assistants de recherche et techniciens de recherche) et de stagiaires que les subventions dans les thèmes de recherche 2 à 4 (Figure E : Pourcentage de subventions faisant participer des membres du personnel de recherche et des stagiaires par thème de recherche). Les subventions dans le thème de recherche 1 comptaient pour 51 % du personnel de recherche de l’échantillon ainsi que pour 79 % des stagiaires. Cela n’est pas surprenant, étant donné qu’une plus grande proportion de l’échantillon était constituée des subventions dans le thème de recherche 1 (73 % de 3 304). La répartition du personnel de recherche et des stagiaires correspond à celle de l’échantillon, les stagiaires étant plus nombreux que les membres du personnel de recherche à participer à ces subventions. En comparaison, les subventions dans les thèmes de recherche 2 à 4 ont fait participer davantage de membres du personnel de recherche que de stagiaires, selon un taux plus de deux fois supérieur à celui des stagiaires. Bien que le nombre total de stagiaires ait été plus faible pour les subventions dans les thèmes de recherche 2 à 4, le nombre moyen de stagiaires par subvention est resté relativement constant dans tous les thèmes de recherche.

Cependant, il convient de noter que le nombre moyen de membres du personnel de recherche était plus faible pour les subventions dans le thème de recherche 1 (seulement un par subvention), en comparaison avec l’échantillon dans son ensemble ainsi qu’avec tous les autres thèmes de recherche (Figure F : Nombre moyen de membres du personnel de recherche et de stagiaires par subvention, par thème de recherche). En fait, le nombre moyen de membres du personnel de recherche dans les thèmes de recherche 2 à 4 était beaucoup plus élevé que celui de l’échantillon dans son ensemble.

Les subventions dont les CPD étaient des hommes ont fait participer un plus grand nombre de membres du personnel de recherche et de stagiaires

Lorsqu’on examine le PHQ en fonction du sexe du CPD, on constate que, dans l’ensemble, les subventions dont les CPD sont des hommes font participer davantage de membres du PHQ que celles dont les CPD sont des femmes (Figure G : Pourcentage de subventions faisant participer des membres du personnel de recherche et des stagiaires selon le sexe des chercheurs principaux désignés). Les subventions dont les CPD sont des hommes comptent pour 66 % du personnel de recherche dans l’échantillon ainsi que pour 71 % des stagiaires. Cela est très probablement dû au fait que les CPD de sexe masculin comptent pour 72 % de notre échantillon (de 3 304 subventions); cependant, on ignore si ce résultat est uniquement dû au sexe. Il se peut que ce résultat soit également dû au thème de recherche, étant donné que les subventions dans le thème de recherche 1 comportaient également un nombre plus élevé de membres du PHQ, ou à l’association du sexe et du thème de recherche. La répartition du personnel de recherche et des stagiaires correspondait à celle de l’échantillon, les stagiaires étant plus nombreux que les membres du personnel de recherche, et ce, peu importe le sexe du CPD. Bien que le nombre total de stagiaires soit plus faible pour les subventions dont les CPD sont des femmes, le nombre moyen de stagiaires participant à chaque subvention est demeuré relativement constant entre les sexes.

Il convient toutefois de noter que le nombre moyen de membres du personnel de recherche était légèrement plus élevé dans les subventions dont les CPD étaient des femmes que dans l’échantillon dans son ensemble ainsi que dans les subventions dont les CPD étaient des hommes (Figure H : Nombre moyen des membres du personnel de recherche et des stagiaires par subvention selon le sexe des chercheurs principaux désignés). Cela s’explique probablement par le fait que les subventions dans les thèmes de recherche 3 et 4 comptent un plus grand nombre de CPD de sexe féminin.

La capacité de recherche en santé a été considérablement renforcée dans les études de cas incluses dans l’évaluation. Les programmes de recherche des CPD ont fait appel à un nombre important de stagiaires (de 4 à 15 stagiaires par subvention initiale du POSF), la capacité ayant ensuite augmenté au‑delà de la subvention initiale. Un cas a signalé la participation de cinq boursiers postdoctoraux, de deux étudiants au doctorat et d’un étudiant à la maîtrise à la fin de la période de financement de la subvention en 2012. Puis, en mai 2017, ce même cas avait mobilisé un plus grand nombre de stagiaires, y compris 14 boursiers postdoctoraux, cinq étudiants au doctorat, 12 étudiants à la maîtrise et 26 étudiants de premier cycle. Les CPD ont porté une attention particulière au recrutement des meilleurs stagiaires possible, très souvent à l’étranger. Ils se sont efforcés de former des chercheurs dont la carrière dépasserait la leur sur le plan de l’impact de la recherche et du prestige.

Le financement pour les stagiaires provenait de diverses sources, notamment des subventions de l’Initiative stratégique pour la formation en recherche dans le domaine de la santé (ISFRS), du Programme des chaires de recherche du Canada et d’accords de financement avec des universités et des gouvernements internationaux. Les environnements de formation fournis se caractérisaient par l’accent mis sur l’excellence en recherche et la rigueur méthodologique, ce qui était considéré comme des environnements idéaux pour l’incubation de chercheurs compétents. Les modèles de recherche utilisés par plusieurs des cas comportaient des avantages pour la formation, en accélérant le perfectionnement des stagiaires et en facilitant une productivité précoce. Les stagiaires ont indiqué que leur expérience dans le cadre de la subvention initiale du POSF et des subventions subséquentes avait contribué de manière positive à leur perfectionnement et à leur réussite sur le plan professionnel. Plusieurs des stagiaires qui ont participé aux programmes de recherche des études de cas ont ensuite connu du succès dans leurs études et dans leur parcours professionnel au sein de l’industrie. La tendance suivante est ressortie des cas exemplaires de réussite intergénérationnelle en matière de recherche : une forte capacité de recherche façonnée et maintenue au fil du temps dans des cohortes successives de superviseurs et de stagiaires. Les décideurs interrogés dans le cadre d’une étude de cas ont indiqué que leur participation avait renforcé leur capacité de participer à la recherche.

En ce qui concerne l’infrastructure, quatre des huit études de cas ont bénéficié d’un financement d’infrastructure important qui a soutenu leur programme de recherche subventionné par le POSF. Certaines institutions hôtes ont accordé une priorité institutionnelle et une visibilité au programme de recherche auquel le financement du POSF était intégré, ce qui a aidé les CPD à acquérir des installations et de l’équipement de recherche dans le cadre du développement institutionnel. Les éléments d’infrastructure clés conçus dans le cadre de certaines études de cas comportaient des bases de données reconnues à l’échelle internationale comment étant capables de contribuer de manière unique à l’avancement des connaissances, en raison de leur ampleur, de leur portée, de leur rigueur et de leur long suivi. Dans ces études de cas, le fait de disposer d’une infrastructure de qualité était considéré comme particulièrement important pour attirer des stagiaires dans des domaines où les maladies à l’étude étaient stigmatisées (p. ex. en lien avec la maladie mentale ou la toxicomanie). Cette infrastructure a permis aux stagiaires d’acquérir des compétences de pointe dans un domaine qu’ils n’auraient peut‑être pas choisi autrement.

Ce résultat est directement lié à celui de « l’avancement des connaissances » de l’ACSS, puisque c’est en attirant les meilleurs stagiaires possible pour les former dans le cadre de leur recherche financée que ces CPD ont contribué à faire en sorte que les stagiaires fassent progresser les connaissances à l’aide de leurs propres contributions intellectuelles et améliorent la productivité collective.

La prise de décisions éclairées au delà des autres chercheurs et des intervenants dans l’étude est limitée

Outre la création de connaissances, les subventions du POSF sont également censées contribuer à la diffusion, à la commercialisation et à l’application des connaissances, ainsi qu’à l’utilisation des connaissances liées à la santé. En outre, les objectifs du PSF et du PSP comprennent aussi l’utilisation de connaissances liées à la santé. Il s’agit également d’une priorité clé pour les IRSC, comme en témoigne le plan stratégique (orientation stratégique 1 de la Feuille de route pour la recherche) mis en place pendant la période à l’étude. La Loi sur les IRSC énonce également les objectifs suivants en ce qui concerne la prise de décisions éclairées : h) l’incitation à la diffusion des connaissances et à l’application des résultats de la recherche dans le domaine de la santé en vue d’améliorer la santé de la population canadienne; i) l’encouragement à l’innovation et le soutien à la mise en marché de la recherche canadienne dans le domaine de la santé et la promotion du développement économique au Canada au moyen de celle‑ci.

Quant à l’ACSS, elle définit la prise de décisions éclairées comme étant l’incidence de la recherche sur la pratique et le processus décisionnels dans les domaines scientifiques, publics, cliniques et administratifs. Elle est mesurée en fonction de quatre sous‑catégories : la prise de décisions en lien avec la santé, la prise de décisions en lien avec la recherche, la prise de décisions en lien avec les produits de santé et l’industrie, ainsi que la prise de décisions en lien avec le grand public. L’application des connaissances telle qu’examinée dans l’évaluation précédente était axée sur la commercialisation, la participation des intervenants (outre les chercheurs énumérés officiellement dans la demande de subvention) ainsi que l’incidence sur ces derniers, et ce, par l’entremise d’études de cas et d’analyses de rapports de fin de subvention.

Moins de la moitié des subventions du POSF font participer et touchent des intervenants au delà des autres chercheurs et des intervenants dans l’étude

Les intervenants dans l’étude énumérés officiellement dans la demande de subvention (40 % de 3 304) et les praticiens en système de santé (34 %) sont les groupes d’intervenants qui ont le plus fréquemment participé aux subventions, bien que la participation globale des autres groupes d’intervenants ait été faible (de 3 à 19 %, conformément à l’évaluation précédente)Note en bas de page xi. Dans la présente évaluation, la participation comprenait la participation à un ou à plusieurs des éléments suivants : élaboration de la question de recherche; élaboration du protocole; collecte de données/mise en œuvre du projet; interprétation des résultats; activités d’avancement des connaissances en fin de subvention. Plus du tiers des CPD (35 %) ont estimé avoir eu une grande incidence sur les intervenants dans l’étude, ce qui concorde aussi avec l’évaluation précédente.

En ce qui concerne les subventions pour lesquelles les CPD ont indiqué que des intervenants ont participé aux activités d’avancement des connaissances en fin de subvention, les groupes les plus souvent mobilisés étaient les médias (92 %), les groupes de consommateurs/organismes de bienfaisance (81 %) et les représentants fédéraux ou provinciaux (81 %).

Les subventions dans les thèmes de recherche 2 à 4 sont plus susceptibles d’avoir un impact sur les praticiens en santé

Certaines différences ont été observées d’un thème de recherche à l’autre. Toutefois, compte tenu de la taille réduite de l’échantillon, aucune comparaison statistique n’a été effectuée. Une plus grande proportion de subventions dans les thèmes de recherche 2, 3 et 4 ont fait participer des intervenants autres que ceux énumérés officiellement dans la demande de subvention, en comparaison avec le thème de recherche 1. Plus précisément, environ les trois quarts des subventions dans les thèmes de recherche 2 (71 %) et 3 (79 %) ont fait participer des praticiens en système de santé. Près de la moitié des subventions dans le thème de recherche 2 (46 %) ont fait appel à des patients (46 %), tandis que plus de la moitié des subventions dans le thème de recherche 3 ont mobilisé des gestionnaires en soins de santé (57 %).

Certaines différences ont été observées d’un thème de recherche à l’autre. Toutefois, compte tenu de la taille réduite de l’échantillon, aucune comparaison statistique n’a été effectuée. Plus précisément, les subventions dans les thèmes de recherche 1 et 3 étaient associées à des niveaux plus élevés de participation d’intervenants aux activités d’avancement des connaissances en fin de subvention, en comparaison avec les subventions dans les thèmes de recherche 2 et 4. Qui plus est, les subventions dans les thèmes de recherche 1 et 3 étaient associées à des niveaux plus élevés de participation des intervenants suivants aux activités d’avancement des connaissances en fin de subvention : médias (89 % et 97 %, respectivement); groupes de consommateurs/organismes de bienfaisance (thème 1 : 82 %); organismes communautaires ou municipaux (thème 1 : 80 %); représentants fédéraux ou provinciaux (thème 3 : 74 %). Quant aux thèmes de recherche 2 et 4, ils avaient plutôt tendance à faire participer des praticiens en santé (71 % et 67 %, respectivement) et des patients/consommateurs (46 % et 40 %, respectivement). Aucune différence n’a été observée en fonction du sexe, de la langue ou du stade de la carrière.

Les résultats de la recherche financée par le POSF ont démontré une application limitée des connaissances au delà du milieu universitaire

Les CPD ont indiqué s’ils avaient réussi ou non à obtenir les résultats suivants (inclus dans les rapports de fin de subvention) en lien avec la prise de décisions éclairées grâce à leurs subventions : résultats cités par d’autres; politiques, lignes directrices ou programmes; information ou orientation pour les patients ou le public; brevets. Les CPD ont indiqué s’il s’agissait d’un résultat avancé ou nouvellement développé ou s’il était possible que cela devienne un résultat à l’avenir.

Près de la moitié des subventions ont donné lieu à des résultats cités par d’autres (50 % « avancés » et 17 % « nouvellement développés » de 3 304), tandis que très peu de subventions ont donné lieu à de l’information ou à une orientation pour les patients ou le public (11 %) et qu’une proportion encore plus petite de subventions a donné lieu à des politiques, des lignes directrices ou des programmes (8 %) ainsi qu’à des brevets (7 %). De façon générale, ces résultats concordent avec l’évaluation précédente, sauf en ce qui concerne les brevets, qui étaient moins nombreux dans la présente évaluation (11 % par rapport à 7 %). Il convient de noter que l’application des connaissances au‑delà du milieu universitaire peut prendre un certain temps après la fin de la subvention et que les rapports de fin de subvention sont remplis environ 18 mois après la fin de la subvention.

Certaines différences ont été observées entre les thèmes de recherche. Plus précisément, un plus grand nombre de subventions dans les thèmes de recherche 2 à 4 ont donné lieu à des politiques, à des lignes directrices ou à des programmes (17 %, 27 % et 23 %, respectivement) ainsi qu’à de l’information ou à une orientation pour les patients ou le public (26 %, 23 % et 23 %, respectivement), tandis qu’un plus petit nombre de subventions dans ces mêmes thèmes de recherche se sont traduites par des résultats cités par d’autres ainsi que par des brevets. Aucune différence n’a été observée en fonction du sexe, de la langue ou du stade de la carrière, si ce n’est qu’un plus grand nombre de CPD de sexe féminin ont déclaré que des politiques, des lignes directrices ou des programmes résulteraient de leurs subventions dans le futur (soit 41 % par rapport à 33 % chez les CPD de sexe masculin).

Des analyses supplémentaires ont été effectuées pour les subventions associées à un résultat avancé en lien avec les éléments suivants : information ou orientation pour les patients ou le public; politiques, lignes directrices ou programmes; brevets. Plus précisément, les descriptions des résultats fournies ont été analysées (voir Annexe B – Méthodologie pour une description de la méthode d’analyse qualitative utilisée). En ce qui concerne l’information ou l’orientation pour les patients ou le public, 60 % (n = 80 dans un échantillon aléatoire de 134 subventions) des subventions ont eu un impact (n = 70) ou pourraient avoir un impact à l’avenir (n = 10). La majorité des subventions qui ont eu un impact ont fourni de l’information (91 %, n = 64), tandis qu’un plus petit nombre d’entre elles ont fourni une orientation (21 %, n = 15) et que quelques‑unes ont fourni les deux (19 %, n = 13). Les mécanismes les plus souvent cités pour la communication de l’information ou de l’orientation en question étaient les médias (journaux, radio et télévision; 25 %, n = 17) et les présentations (21 %, n = 15).

Parmi les subventions qui ont fourni des réponses concernant l’impact des politiques, des lignes directrices ou des programmes, un peu plus de la moitié (55 %, n = 66 des 120 subventions sélectionnées au hasard) ont défini un impact. De ces 66 subventions, 78 % (n = 52) ont indiqué que l’impact s’était déjà produit et 22 % (n = 14) ont indiqué que l’impact se produirait à l’avenir. Parmi les 52 subventions ayant précisé qu’un impact dans ce domaine s’était déjà produit, le mécanisme le plus souvent mentionné était les lignes directrices (30 %, n = 17), les politiques (13 %, n = 7) et les programmes (11 %, n = 6) étant moins souvent mentionnés. Presque toutes les subventions ayant précisé un impact actuel (98 %, n = 51) pouvaient être classées dans la sous‑catégorie de l’impact lié à la santé du cadre de mesure d’impact de l’ACSS, et seulement 2 % (n = 1) pouvaient être classées dans la sous‑catégorie de l’impact sur la recherche. Parmi les 51 subventions ayant précisé un impact lié à la santé, la majorité (70 %, n = 36) était liée aux soins de santé, tandis qu’un cinquième (20 %, n = 10) était lié à la santé publique.

Parmi les subventions qui ont fourni des réponses décrivant des résultats avancés en lien avec des brevets, un échantillon aléatoire de 51 subventions a été analysé. Près de la moitié des subventions de l’échantillon avait soit déposé une demande de brevet (46 %, n = 19), soit obtenu un brevet (44 %, n = 18). Moins de 10 % (n = 4) avaient à la fois déposé une demande et obtenu un brevet. La majorité (59 %, n = 24) des 41 cas qui avaient au moins déposé une demande ou obtenu un brevet œuvrait dans plusieurs domaines de la santé. Le domaine de la santé le plus courant pour les brevets était les neurosciences et la santé mentale (24 %, n = 10), suivis de la génétique (17 %, n = 7). Une petite proportion de subventions avait un lien direct avec l’industrie (12 %, n = 5) ou avait des brevets américains (17 %, n = 7) ou internationaux (7 %, n = 3).

Compte tenu des résultats ci‑dessus concernant la participation peu fréquente d’intervenants autres que ceux énumérés officiellement dans la demande de subvention, il n’est pas surprenant que les résultats liés à la prise de décisions éclairées et à l’utilisation des résultats de recherche soient limités. L’application et l’utilisation des connaissances sont généralement accrues lorsque les utilisateurs finaux participent à tous les aspects du processus de recherche (Graham et Tetroe, 2007; Adily et coll., 2009; Lomas, 2000); par conséquent, promouvoir ou encourager la participation des utilisateurs des connaissances contribuera à l’incidence à long terme.

Pendant la période à l’étude, toutes les études de cas ont eu une incidence sur la prise de décisions en lien avec la recherche grâce aux résultats qu’elles ont publiés. À ce jour, l’impact de la recherche des études de cas sur la prise de décisions non liées à la recherche était plus limité que l’impact sur la prise de décisions en lien avec la recherche. Un sous‑ensemble de cas avait d’ailleurs eu un impact ou était sur le point d’avoir un impact. Parmi les subventions qui ont contribué à la prise de décisions éclairées au‑delà de la recherche, les CPD ont été en mesure de positionner leur recherche de façon à ce qu’elle ait éclairé ou soit sur le point d’éclairer des décisions en lien avec un ou plusieurs changements apportés à une politique ou à un programme du système de santé, une intervention réglementaire, des lignes directrices pour la pratique clinique ou le comportement des patients. D’autres études de cas avaient le potentiel d’éclairer la prise de décisions dans le futur, mais elles n’avaient établi aucune voie ni aucun calendrier précis pour déterminer où et comment cela pourrait se produire. Même si les CPD et les autres bénéficiaires étaient conscients du potentiel, dans quatre des huit cas, ils estimaient que la diffusion des résultats de recherche pour avoir un impact sur la prise de décisions non liées à la recherche dépassait leur portée/capacité.

Aucun des programmes de recherche des études de cas n’a obtenu d’investissement important de la part de l’industrie des produits de santé en vue de la commercialisation de produits thérapeutiques ou de prévention, bien que l’un d’entre eux soit sur le point d’obtenir un tel financement. Deux autres programmes associés aux thèmes de recherche 1 (recherche biomédicale) et 2 (recherche clinique) étaient en train de commercialiser des technologies connexes.

Des bienfaits limités pour la santé ont découlé de la recherche financée par le POSF

L’ACSS fait référence aux bienfaits pour la santé comme étant des améliorations en lien avec la santé et les systèmes de santé, ce qui comprend les progrès réalisés en matière de prévention, de diagnostic, de traitement et de soins palliatifs, à condition qu’ils soient liés à la recherche. Ces effets sont mesurés à l’aide de trois sous‑catégories : l’état de santé, les déterminants de la santé et le rendement du système de santé. L’un des objectifs clés du POSF et de la nouvelle série de programmes consiste à utiliser les connaissances liées à la santé. Il s’agit également d’une priorité clé pour les IRSC, comme en témoignent le plan stratégique (orientation stratégique 1 de la Feuille de route pour la recherche) et la stratégie de formation en place pendant la période à l’étude. La Loi sur les IRSC comporte également les objectifs suivants en lien avec les bienfaits pour la santé : h) l’incitation à la diffusion des connaissances et à l’application des résultats de la recherche dans le domaine de la santé en vue d’améliorer la santé de la population canadienne; i) l’encouragement à l’innovation et le soutien à la mise en marché de la recherche canadienne dans le domaine de la santé et la promotion du développement économique au Canada au moyen de celle‑ci.

Les résultats de la recherche financée par le POSF ont montré que les bienfaits pour la santé à long terme sont limités

Les CPD ont indiqué (dans les rapports de fin de subvention) si leurs subventions avaient eu des bienfaits pour la santé aux égards suivants : pratique professionnelle; comportement des patients ou du public; vaccins/médicaments. Les CPD ont également indiqué s’il s’agissait d’un résultat avancé ou nouvellement développé ou s’il était possible que cela devienne un résultat à l’avenir. Des niveaux faibles de tous les types de bienfaits pour la santé ont été signalés par les CPD (résultats avancés : de 6 à 12 %, résultats nouvellement développés : de 2 à 4 %, selon le type de résultat précis). Cependant, environ un tiers (de 29 à 37 %) ont indiqué que ces résultats pourraient être obtenus dans le futur. Des bienfaits similaires à ceux dont il est question dans les rapports de fin de subvention n’ont pas été examinés dans l’évaluation précédente; les études de cas avaient plutôt fourni un aperçu des bienfaits potentiels. Comme pour l’éventail des résultats présentés ci‑dessus en lien avec l’avancement des connaissances, on ne connaît pas la raison exacte pour laquelle les réponses varient. En outre, un certain nombre de résultats liés aux bienfaits pour la santé ont été mesurés dans le rapport de fin de subvention, et il se peut que certains d’entre eux ne soient tout simplement pas applicables dans tous les cas (p. ex. vaccins/médicaments). Qui plus est, les rapports de fin de subvention comprennent de multiples mesures pour les mêmes concepts (c.‑à‑d. « avancé », « nouvellement développé » et « peut‑être à l’avenir »), ce qui peut également contribuer à une variation accrue des réponses.

En raison de la faible taille des échantillons, aucune comparaison statistique n’a été effectuée. Certaines différences ont toutefois été observées d’un thème de recherche à l’autre. La pratique professionnelle (combinant les résultats avancés et nouvellement développés) était plus souvent signalée pour les subventions dans les thèmes de recherche 2 à 4 (de 31 à 41 %) que pour celles dans le thème de recherche 1 (8 %), tandis que les vaccins/médicaments étaient plus souvent signalés pour les subventions dans le thème de recherche 1 (11 %), en comparaison avec tous les autres thèmes de recherche (de 4 à 6 %).

Les réponses aux questions ouvertes fournies par une sélection aléatoire de subventions ayant déclaré des résultats avancés pour la santé en lien avec la pratique professionnelle (n = 141), les vaccins/médicaments (n = 59) et le comportement des patients ou du public (n = 109) ont été analysées.

Les types d’effets pour la santé les plus souvent signalés en rapport avec la pratique professionnelle étaient les suivants : pratiques professionnelle et clinique (n = 68 des 72 ayant signalé un résultat). Cela était vrai à la fois pour les subventions qui avaient signalé un bienfait actuel pour la santé ainsi que pour celles qui estimaient qu’un bienfait était attendu dans le futur. Parmi les subventions qui ont eu des bienfaits actuels pour la santé dans la pratique clinique et professionnelle, la majorité (80 % de 51) était en lien avec les déterminants de la santé (plus précisément : les facteurs de risque modifiables), et plus de la moitié (63 %, n = 28 de 51) ont permis de réaliser des progrès en matière de prévention, de diagnostic et de traitement (pas mutuellement exclusifs). Le type de praticiens le plus fréquemment touché, autant par les bienfaits actuels pour la santé que par ceux potentiels, était les cliniciens (58 %, n = 42 de 72).

Parmi les CPD qui ont déclaré un effet lié aux vaccins/médicaments (76 % de 59), un seul avait procédé à la commercialisation d’un vaccin/médicament, et le type de bienfaits le plus souvent signalé était la connaissance/compréhension d’un médicament actuel (n = 18).

Très peu de CPD ont signalé un bienfait lié au comportement des patients ou du public (plus précisément : seulement 6 sur 109). En raison de la petite taille de l’échantillon, cet indicateur de bienfait pour la santé n’a pas fait l’objet d’une déclaration.

Aucune des études de cas n’était sur le point de produire un effet à l’échelle de la population sur les déterminants de la santé ou l’état de santé. Les études de cas ont d’ailleurs permis d’illustrer que l’horizon temporel pour avoir un bienfait pour la santé peut être très long. Dans l’ensemble, bien que la majorité des cas n’aient pas encore amélioré la santé ou le bien‑être de la population, leur bienfait potentiel pour la santé à l’échelle de la population est énorme. Des contributions directes qui sont susceptibles d’avoir des bienfaits pour la santé ont été observées dans deux des huit cas. Dans le premier cas, soit un programme de recherche en lien avec le thème 3 (systèmes/services de santé), les interventions attribuables à la recherche de l’étude de cas sont en train d’être intégrées, et ce, à l’aide d’un important financement de suivi de la recherche fourni par les autorités sanitaires. Dans le deuxième cas, soit un programme de recherche en lien avec le thème 4 (recherche clinique), un service de santé pilote basé sur les résultats des sciences fondamentales et cliniques a été mis en œuvre.

Un facteur de réussite clé du bienfait pour la santé (déterminé a priori et soutenu par les résultats des études de cas) était la disponibilité et l’intérêt de plusieurs ensembles séquentiels de bailleurs de fonds/partenaires pour le soutien de la recherche et le développement aux étapes suivantes. Dans tous les cas, si les bailleurs de fonds/partenaires des étapes suivantes étaient disponibles et intéressés, les résultats des subventions du POSF pouvaient être approfondis, et les résultats de la recherche pouvaient être transformés en produits, processus ou politiques potentiels, ou en d’autres types d’applications potentiels, certains ayant un potentiel de commercialisation.

Les rapports de fin de subvention comprenaient également des questions relatives aux bienfaits généraux pour la santé couverts par le mandat des IRSC. Plus de la moitié des chercheurs ont indiqué que leur subvention pourrait leur permettre d’apporter des contributions dans les volets suivants du mandat des IRSC : amélioration de la santé des Canadiens (63 %); création de produits et services de santé plus efficaces (54 %); renforcement du système de soins de santé du Canada (52 %).

Les avantages socio économiques découlant de la recherche financée par le POSF sont limités

L’ACSS fait référence aux avantages socio-économiques comme étant des avantages généraux sur les plans social et économique qui comprennent les bienfaits découlant de la commercialisation des résultats de recherche, l’avantage net d’améliorer la santé et le bien-être et les bienfaits pour la société découlant de la recherche en santé. L’un des objectifs clés du POSF et de la nouvelle série de programmes consiste à commercialiser et à utiliser les connaissances liées à la santé. Il s’agit également d’une priorité clé pour les IRSC, conformément à leur plan stratégique (orientation stratégique 1 de la Feuille de route pour la recherche) et à leur stratégie de formation. La Loi sur les IRSC comporte également les objectifs suivants en lien avec les bienfaits pour la santé : h) l’incitation à la diffusion des connaissances et à l’application des résultats de la recherche dans le domaine de la santé en vue d’améliorer la santé de la population canadienne; i) l’encouragement à l’innovation et le soutien à la mise en marché de la recherche canadienne dans le domaine de la santé et la promotion du développement économique au Canada au moyen de celle‑ci.

Les subventions du POSF sont censées contribuer à l’utilisation et à la commercialisation des connaissances liées à la santé. Les CPD ont indiqué si les résultats suivants en lien avec la commercialisation et les avantages socio‑économiques généraux avaient été obtenus grâce à leurs subventions : logiciel/base de données; demande de propriété intellectuelle; permis de fabrication; entreprise dérivée. Les CPD ont également indiqué s’il s’agissait d’un résultat avancé ou nouvellement développé ou s’il était possible que cela devienne un résultat à l’avenir. La proportion de subventions associées à l’obtention de l’un de ces résultats en matière de commercialisation, qu’il s’agisse de résultats avancés ou nouvellement développés, était très faible (de 2 à 8 %, ce qui concorde avec l’évaluation précédente). En outre, peu de CPD (de 10 à 20 %) étaient d’avis que de tels résultats pourraient être obtenus à l’avenir.

La proportion de subventions associées à une réduction des coûts directs, qu’il s’agisse d’un résultat avancé (4 %) ou nouvellement développé (2 %), était très faible, ce qui concorde avec l’évaluation précédente. Cependant, près d’un tiers des CPD (30 %) ont déclaré qu’un tel résultat pourrait être obtenu à l’avenir. Étant donné que la période requise pour produire des bienfaits pour la santé, conformément à la documentation, est d’environ 17 ans (Grant, Green et Mason, 2003; Wratschko, 2009), on ne peut s’attendre à ce que ces bienfaits à long terme soient observés au moment où les chercheurs remplissent leur rapport de fin de subvention. En outre, d’après les études de cas, la période requise pour obtenir des bienfaits à long terme pourrait être encore plus longue.

Aucune des études de cas n’a eu d’avantages socio‑économiques généraux, bien que tous les cas aient eu un certain potentiel à long terme d’apporter une éventuelle contribution majeure à la prospérité et au bien‑être au Canada. La commercialisation réalisée à ce jour se limite aux instruments de recherche plutôt qu’aux interventions sanitaires commercialisées. Sauf dans un cas, le potentiel de commercialisation varie selon la taille et l’horizon temporel, mais il est généralement assez éloigné et hors de la portée de la capacité et des intérêts des équipes de recherche des études de cas. Des effets généraux sont probables dans un cas où les interventions attribuables à la recherche de l’étude de cas sont en train d’être intégrées; cependant, le résultat ne sera pas lié à une réduction des coûts, mais bien à une utilisation plus efficace des ressources.

Conception et exécution : programmes de subventions Projet et Fondation et rentabilité du PSO

Conclusions principales

La conception actuelle du PSO est très différente de la conception prévue

Les volets de la conception et de l’exécution de la présente évaluation visaient à déterminer si le PSF et le PSP étaient conçus et exécutés de manière à atteindre les résultats escomptés, s’ils étaient en voie d’atteindre ces objectifs et si leur capacité en matière de collecte, de gestion et d’analyse de données était adéquate pour éclairer les décisions futures.

Le PSF et le PSP ont subi de nombreux changements depuis leur lancement, conformément à une variété de sources faisant partie ou non des IRSC

De manière générale, en raison de leur conception et d’un processus de mise en œuvre progressive, le PSF et le PSP ont tous deux subi de nombreux changements depuis leur lancement. Étant donné l’objectif d’amélioration continue des IRSC tout au long de la réforme, on pouvait s’attendre à de tels changements. Pour le PSF, c’est sur les objectifs du programme que les changements ont eu la plus grande incidence, et on a mis fin à ce programme en 2019. Les changements apportés au PSP ont principalement été de nature opérationnelle, et l’incidence sur les objectifs du programme a été plutôt faible (plus de détails sont fournis ci‑dessous). Bien que la majorité des changements apportés au PSF et au PSP aient été basés sur une variété de sources internes et externes (c.‑à‑d. les études de cas, les analyses de données et les examens internes, les contributions du milieu de la recherche et les études de recherche, la réunion de travail de juillet 2016 avec le ministre, le groupe de travail sur l’évaluation par les pairs, la mission de consultation de la Vérification interne sur la mise en œuvre de la réforme, le Comité d’experts sur l’évaluation par les pairs ainsi que le comité d’évaluation du Programme de subventions Fondation), il est clair que les programmes n’ont pas atteint tous les résultats escomptés (au stade actuel de la mise en œuvre). Cependant, les programmes ont été conçus conformément aux normes internationales et ont permis de financer d’excellents travaux de recherche.

Des difficultés de nature opérationnelle ont été observées pendant les concours pilotes de 2014 et de 2015, ce qui a donné lieu à une série de modifications précoces de la conception. Ces difficultés ont été reconnues dans le cadre de l’enquête menée auprès des évaluateurs, des candidats et des présidents des concours. Il convient de souligner que les concours pilotes ont été réalisés « en direct » (c.‑à‑d. pendant la prestation courante de plusieurs programmes). Les éléments de conception initiaux associés aux nouveaux programmes comprenaient les suivants : des demandes structurées, un examen à distance/virtuel, une nouvelle échelle de notation et un CV simplifié en 2013. Il a notamment été question de préciser les lignes directrices et les critères concernant les demandes et la sélection, d’augmenter les limites et de faire des ajouts dans les sections concernant le CV et les demandes à l’étape 2 pour le volet Fondation, de modifier la pondération des sous‑critères et la justification du budget, d’offrir une formation supplémentaire aux évaluateurs, ainsi que d’étudier les avantages et les exigences opérationnelles de la mise en place d’évaluations synchrones.

D’autres difficultés ont été relevées lors de la réunion de travail de juillet 2016 avec le ministre, celles‑ci découlant des préoccupations du milieu de la recherche au sujet de la réforme. Les recommandations formulées pendant la réunion comprenaient notamment des changements opérationnels supplémentaires (p. ex. continuer de préciser et d’améliorer les processus de demande et d’évaluation par les pairs) ainsi que la reconnaissance du fait que les difficultés auxquelles la réforme devait remédier (p. ex. le fardeau imposé aux évaluateurs et aux candidats) n’étaient pas atténuées.

Le groupe de travail sur l’évaluation par les pairs, créé sur la base d’une des recommandations formulées pendant la réunion de travail de juillet 2016, a recommandé d’apporter des changements supplémentaires à la conception du programme, changements ayant pour but de remédier aux difficultés associées à l’objectif initial de la réforme. Ces changements comprenaient notamment les suivants : nouvelle révision des critères d’admissibilité et de sélection; élimination de la discussion en ligne asynchrone (malgré des tentatives antérieures d’améliorer l’efficacité de cette méthode); retour à un système de notation numérique; rétablissement des entrevues en personne à l’étape 2; formation supplémentaire pour les évaluateurs; lancement du programme pilote d’observation de l’évaluation par les pairs pour les CDC; détermination d’un nombre limite de demandes par concours; encouragement des bénéficiaires à accepter d’agir à titre d’évaluateurs, s’ils sont invités à le faire; égalisation du taux de réussite des CDC dans le cadre des concours du PSP.

Un changement majeur dans la répartition du financement des deux programmes, annoncé par les IRSC en juillet 2017, était basé sur les commentaires du milieu de la recherche ainsi que sur les constatations du Comité d’experts sur l’évaluation par les pairs. Ce dernier considérait que l’allocation de 45 % du budget de recherche libre au PSF était ambitieuse et trop élevée à ce stade‑ci et dans le contexte du financement disponible. Au départ, la proportion du budget de recherche libre des IRSC était de 45 % et 55 % pour le PSF et le PSP, respectivement. Ces allocations ont toutefois été modifiées, passant à 22 % et à 78 %, ce qui a entraîné une diminution de l’enveloppe budgétaire totale du PSF de 200 millions de dollars à 125 millions de dollars. Les 75 millions de dollars ainsi retirés du PSF ont été réaffectés au PSP.

Le PSO a sélectionné et financé l’excellence en recherche

Une étude de RAND Europe, commandée par les IRSC pour le Comité d’experts sur l’évaluation par les pairs, a montré que les principes et les pratiques d’attribution des subventions et d’évaluation par les pairs des IRSC étaient conformes à celles des principaux bailleurs de fonds internationaux de la recherche en santé et que, dans certains cas, les IRSC semblaient être plus avancés. En outre, des analyses bibliométriques ont été réalisées pour informer le Comité d’experts sur l’évaluation par les pairs, en comparant les chercheurs qui ont reçu des subventions du PSF et du PSP à ceux qui ont présenté une demande, mais qui n’ont pas été financés. À l’instar du POSF, les résultats montrent que ces nouveaux programmes attirent également les chercheurs du plus haut calibre, sur la base des MCR et des FIRM. Les candidats, peu importe leur statut de financement, obtiennent de meilleurs résultats que tous les chercheurs du Canada et, dans la plupart des cas, ceux des autres pays de l’OCDE. En outre, le processus d’évaluation par les pairs sélectionne les meilleurs candidats possible : les candidats financés ont obtenu de meilleurs résultats que les candidats non financés pour tous les indicateurs bibliométriques.

Malgré une conception et une planification solides, les difficultés de mise en œuvre nuisent à l’atteinte de certains des objectifs du programme

Bien que l’examen interne et le Comité d’experts sur l’évaluation par les pairs aient montré que la mise en œuvre de la réforme a été facilitée par des outils de planification bien conçus, quelques échecs sont tout de même associés à la mise en œuvre.

Plus précisément, l’examen interne des IRSC portant sur la mise en œuvre de la réforme a reconnu les avantages des outils de planification bien conçus, mais a également soulevé des préoccupations au sujet de la gouvernance, de l’échange de données, de la communication, de la déclaration, de la planification des projets et de la mobilisation des intervenants. Le Comité d’experts sur l’évaluation par les pairs a conclu que l’intention de la conception et la logique d’innovation concernant les programmes ouverts de subventions et le processus d’évaluation par les pairs étaient solides. Toutefois, des lacunes dans la mise en œuvre, des contraintes financières imposées aux organismes de financement de la recherche en santé et l’instauration simultanée de nombreux changements aux IRSC sont venues compliquer l’adoption de la réforme et miner la confiance des intervenants. Selon le Comité d’experts sur l’évaluation par les pairs, les IRSC n’ont pas suffisamment testé l’algorithme de jumelage évaluateur‑projet (qui n’est plus utilisée – des analyses internes ont été menées par l’Unité des politiques de financement et de l’analytique ainsi que par les équipes qui s’occupent des systèmes opérationnels et de l’amélioration continue des concours de subventions Projet), et ne sont pas parvenus à mettre en place le Collège des évaluateurs à temps pour le début de la réforme, à mobiliser le milieu de la recherche tout au long de la réforme et à maintenir la confiance de leurs principaux intervenants, du milieu de la recherche et de la population canadienne, représentée par les politiciens.

Plus précisément, l’un des défis relevés pendant les consultations initiales consistait à réduire le fardeau imposé aux évaluateurs. Le Comité d’experts sur l’évaluation par les pairs a noté que, même si les IRSC ont réalisé une modélisation préliminaire de la mise en œuvre du nouveau système de subventions et de ses processus, les retards et les problèmes de mise en œuvre, ainsi que les « corrections de trajectoire » subséquentes, ont fait en sorte que l’exécution du programme ne corresponde pas à la modélisation, en partie parce que les hypothèses sous‑jacentes à la conception initiale se sont avérées erronées. Certains candidats ont postulé aux deux programmes en parallèle, ce qui se comprend. Par conséquent, l’annulation d’un cycle de financement a entraîné une série de problèmes au‑delà des paramètres de la planification préalable et a créé une situation où beaucoup plus de demandes que prévu ont été reçues. Cela a également eu pour effet d’imposer un fardeau supplémentaire sur les systèmes d’attribution des évaluateurs.

Comme mentionné précédemment, le Comité d’experts sur l’évaluation par les pairs a souligné que le Collège des évaluateurs, établi dans le cadre de la réforme pour résoudre les problèmes liés au manque de disponibilité des experts et au manque d’uniformité des évaluations, n’était pas prêt lorsque la réforme a été lancée. Il a aussi été mentionné que le report de la mise en œuvre du Collège a aggravé les problèmes technologiques associés au jumelage des évaluateurs et à l’attribution des demandes.

Le Collège est une ressource axée sur les membres conçue pour professionnaliser l’évaluation par les pairs, améliorer la qualité des évaluations et établir un bassin plus stable d’évaluateurs expérimentés pour tous les concours de financement. En juin 2016, les IRSC ont annoncé la nomination des premiers présidents du Collège, soit deux ans après le premier concours pilote de subventions Fondation. Le Collège des évaluateurs a commencé à recruter des membres en juin 2017. Une fois établi, le Collège a créé plusieurs programmes d’apprentissage et webinaires personnalisés destinés à améliorer la qualité des évaluations (p. ex., « Effectuer des évaluations de qualité » et « Les préjugés inconscients dans le processus d’évaluation par les pairs »); a créé un cadre d’assurance de la qualité fondé sur des données probantes bonifié et validé par le milieu de la recherche; a établi de rigoureux critères d’adhésion au Collège pour les différentes catégories de membres. Le Collège collabore avec Conception et exécution des programmes pour promouvoir le recours à ses membres, mais le recrutement des évaluateurs pour le PSP est soumis à l’approbation des présidents des concours qui ne choisissent pas nécessairement de faire appel aux membres du Collège. En ce qui concerne le PSF et le PSP, les données probantes ont révélé une forte augmentation du recours aux membres du Collège : 78 % des évaluateurs pour les concours de l’automne 2017 et du printemps 2018 et 99 % des évaluateurs pour le concours de subventions Fondation de 2017 étaient des membres du Collège.

Le taux de réussite des chercheurs est supérieur à celui des chercheuses

Le taux de réussite des chercheurs à tous les concours du POSF et aux deux premiers concours du PSF était plus élevé que celui des chercheuses. Cet écart a diminué lors du dernier concours du PSF et de tous les concours du PSP (Figure I : PSO – Taux de réussite selon le sexe). Au cours de la période d’évaluation, la majorité des chercheurs du POSF était des hommes (72 % contre 28 % de femmes). Ces proportions de chercheurs de sexe masculin et féminin étaient les mêmes pour les thèmes de recherche 1 et 2, tandis que celles pour les thèmes 3 et 4 étaient relativement égales, un nombre un peu plus élevé de chercheuses ayant obtenu ces subventions (Figure J : Pourcentage des subventions du POSF par sexe et thème de recherche).

La recherche montre la présence de préjugés fondés sur le sexe et le genre dans les décisions de financement, surtout en ce qui concerne le POSF et le PSF

Il existe des données probantes selon lesquelles des préjugés fondés sur le sexe et le genre sont présents dans les décisions de financement, autant à l’échelle mondiale qu’au sein du POSF et du PSF des IRSC. La recherche montre que les hommes ont tendance à obtenir plus de fonds de recherche que les femmes à l’échelle mondiale, et ce, peu importe la discipline (O’Witteman, Hendricks, Straus et Tannenbaum, 2019). D’après les données du Royaume‑Uni, des États‑Unis et de l’Union européenne, les femmes ont reçu moins de financement sous forme de subventions (Conseil européen de la recherche, 2017; Ginther et coll., 2011; National Institutes of Health, 2016; Pohlhaus, Jiang, Wagner, Schaffer et Pinn, 2011) et ont obtenu moins de subventions importantes (McAlliser, Juillerat et Hunter, 2016).

Cette recherche n’a pas permis de déterminer si cette différence était attribuable aux caractéristiques de la recherche ou aux chercheurs. Cependant, une récente recherche menée par O’Witteman et ses collègues (2019) et portant sur les concours des IRSC pour la recherche libre de 2011 à 2016 a permis de déterminer que les écarts de financement en fonction du sexe des chercheurs n’étaient pas liés à la qualité relative des propositions de recherche, mais bien au calibre des candidats. Plus précisément, les chercheuses principales faisaient l’objet d’une évaluation moins favorable que les chercheurs principaux. Plus particulièrement, O’Witteman et ses collègues ont constaté que, dans l’ensemble, les différences entre le taux de réussite des candidats de sexe masculin et féminin (moyenne de 15,8 %) étaient minimes. Ils ont également observé des différences négligeables entre les candidats de sexe masculin et féminin dans le cadre des concours du PSP (taux des femmes : 0,9 % inférieur à celui des hommes). Cependant, dans le contexte du PSF, où l’évaluation par les pairs est axée sur le calibre des candidats, le taux de réussite des femmes était nettement inférieur à celui des hommes (4 %).

Selon une étude rétrospective des subventions des IRSC menée par Burns et ses collègues (2019), le taux de réussite des chercheuses dans le cadre des concours du POSF était inférieur à celui des chercheurs, et les chercheuses ont toujours présenté moins de demandes de subventions. Cette étude a également révélé que le financement varie entre les sexes en fonction du domaine de recherche. Les demandes présentées par les chercheuses étaient moins susceptibles d’être financées par l’Institut du cancer, l’Institut de la santé circulatoire et respiratoire, l’Institut des services et des politiques de la santé et l’Institut de l’appareil locomoteur et de l’arthrite, tandis que les demandes présentées par les chercheuses à l’Institut de la santé des Autochtones étaient plus susceptibles d’être financées que celles présentées par les chercheurs.

Selon une perspective récente de Tannenbaum, Ellis, Eyssel, Zou et Schlebinger (2019), des changements de politique en lien avec l’analyse comparative entre les sexes et les genres ont été apportés dans plusieurs des principaux organismes de financement, y compris les IRSC (2010), la Commission européenne (2014), les National Institutes of Health (2016) et la Fondation allemande pour la recherche (2020). Les auteurs ont laissé entendre que des méthodes normalisées d’analyse comparative entre les sexes et les genres doivent être élaborées et mises en œuvre dans le cadre d’un effort coordonné entre les chercheurs, les organismes de financement, les revues évaluées par des pairs et les universités.

Le taux de réussite des chercheurs en début de carrière est inférieur à celui des chercheurs chevronnés/en milieu de carrière

En général, le taux de réussite des CDC est inférieur à celui des chercheurs établis. Il convient de noter que cette situation était plus marquée pendant le premier concours du PSF (2014‑2015) et qu’elle s’est rétablie pendant les concours du PSP (Figure K : PSO – Taux de réussite selon le stade de la carrière). Depuis 2017‑2018, les CDC ne peuvent plus présenter de demandes au titre du PSF. En outre, depuis le concours de l’automne 2016 du PSP, le taux de réussite des CDC dans le cadre des concours de ce programme s’est « équilibré », c’est‑à‑dire que la proportion de CDC financés était égale à celle des candidats aux concours qui étaient des CDC. Le montant supplémentaire de 30 millions de dollars qui a été ajouté au budget de 2016 devait être principalement axé sur les CDC.

L’âge moyen des chercheurs financés par le POSF était de 47 ans (μ = 8,57; étendue : 27 à 82), et la majorité des chercheurs financés étaient considérés comme des chercheurs chevronnés/en milieu de carrière lorsqu’ils ont reçu leur subvention du POSF (41 % et 40 %, respectivement, tandis que 19 % étaient considérés comme des CDC). Lorsque l’on examine les différents thèmes de recherche, on constate que le thème de recherche 1 est conforme à cette répartition, tandis que la majorité des CPD dans les thèmes de recherche 2 à 4 sont des chercheurs en milieu de carrière (Figure L : Pourcentage de subventions du POSF selon le stade de la carrière et le thème de recherche). En outre, c’est dans les thèmes de recherche 2 à 4 que la proportion de CPD agissant à titre de CDC est la plus élevée. Le thème de recherche 3 est celui qui comporte la plus grande proportion de CDC.

Le taux de réussite des demandes présentées en anglais est généralement supérieur à celui des demandes présentées en français

Le taux de réussite des demandes présentées en anglais était généralement supérieur à celui des demandes présentées en français, sauf pendant les concours du POSF de 2010‑2011 et du PSF de 2016‑2017 (Figure M : PSO – Taux de réussite selon la langue préférée). En raison du faible volume de demandes en français qui ont été reçues et approuvées, ces résultats doivent être interprétés avec prudence. Presque tous les chercheurs financés par le POSF, y compris dans la présente évaluation (97 %), ont indiqué que l’anglais était leur langue préférée, et aucune différence par rapport à l’âge ou à la langue n’a été observée d’un thème de recherche à l’autre.

Fin du Programme de subventions Fondation

Les recommandations du comité d’évaluation du Programme de subventions Fondation ont fait l’objet d’une discussion à la réunion du conseil scientifique en novembre 2018. Le comité avait pour mandat de : 1) formuler des recommandations sur les objectifs, la conception et les processus de demande et d’évaluation par les pairs du Programme de façon à ce qu’il contribue à l’atteinte des objectifs stratégiques des IRSC; 2) définir les améliorations à apporter au fil du temps en fonction des préoccupations et des besoins changeants du milieu de la recherche en santé; 3) fournir des directives sur les niveaux de financement et la répartition des fonds conformément aux principes d’équité et de durabilité. Les recommandations comprenaient notamment les suivantes : établir un processus de demande et d’évaluation par les pairs en une seule étape; procéder à des examens en personne; avoir un système de notation uniforme pour le PSP; allouer 25 % du budget de recherche libre des IRSC au PSF (avec possibilité d’ajustement); faire un suivi des renseignements sur l’équité, la diversité et l’inclusion (EDI)/l’analyse comparative entre les sexes (ACS) pour éliminer les préjugés, le cas échéant; continuer d’exclure des CDC.

Les IRSC ont pris la décision de mettre fin au PSF en avril 2019 en se basant sur un certain nombre de consultations, sur les commentaires du comité d’évaluation du PSF, sur une analyse critique des données administratives et des données sur les concours, ainsi que sur les résultats préliminaires de la présente évaluation. L’analyse des données administratives et des données sur les concours a révélé des conséquences involontaires sur la répartition du financement au sein du programme qui ont été jugées inacceptables (p. ex le financement d’un nombre disproportionné de candidats plus âgés provenant de plus grands établissements et menant des recherches associées au thème 1, ainsi que des inégalités pour les femmes à l’étape 1). Les IRSC ont déterminé que ces changements ne seraient pas suffisants. Ils ont également reconnu que le processus d’évaluation par les pairs ne concordait pas avec l’engagement renouvelé envers la tenue d’examens en personne et n’avait pas permis de réduire le fardeau imposé aux évaluateurs, comme prévu au départ. Le groupe de travail sur l’évaluation par les pairs (2016) avait également recommandé l’équité entre les différents stades de la carrière et le sexe des candidats. La Politique sur les résultats renforce le besoin d’équité par ses exigences relatives à la prise en compte de l’équité, de la diversité et de l’inclusion, y compris le sexe et le genre. Les IRSC sont déterminés à éliminer les préjugés inconscients de leurs processus afin de fournir un accès équitable au financement de la recherche (p. ex. le comité interorganismes sur les politiques d’équité, de diversité et d’inclusion, le comité interorganismes sur les enjeux liés aux chercheurs en début de carrière, l’Énoncé des trois organismes sur l’équité, la diversité et l’inclusion et le Plan d’action des trois organismes pour l’EDI [2018‑2025]).

Une révision des objectifs du PSP est nécessaire en raison des difficultés de mise en œuvre, des changements apportés aux programmes ainsi que du manque de concordance avec la Loi sur les IRSC

Le PSO fonctionne dans un contexte où des changements sont constamment apportés aux programmes et où plusieurs éléments ne sont pas déployés comme prévu (notamment en ce qui concerne la fonctionnalité et le temps, par exemple : le logiciel de jumelage des évaluateurs et le Collège des évaluateurs). En outre, des difficultés de mise en œuvre ont été observées (engagement à l’égard de la consultation; Comité d’experts sur l’évaluation par les pairs) et le PSF a pris fin. Parallèlement, le PSO a connu divers succès, y compris des façons suivantes : il a attiré et financé l’excellence en recherche (les chercheurs financés par le POSF et les candidats du PSF et du PSP sont plus productifs et ont un impact plus élevé que les autres chercheurs en santé du Canada et d’autres pays de l’OCDE, d’après les mesures bibliométriques traditionnelles), il a facilité la création, la diffusion et l’utilisation des connaissances liées à la santé (principalement au sein du milieu universitaire), et il a contribué au renforcement et au maintien de la capacité de recherche en santé du Canada en soutenant des projets originaux et de qualité proposés et réalisés par des chercheurs individuels ou des groupes de chercheurs dans tous les domaines de la recherche en santé. L’accent mis sur la mesure dans laquelle le PSO est en voie d’obtenir les résultats escomptés est basé sur le PSP, étant donné qu’il s’agit du seul programme restant.

Le PSF et le PSP étaient censés fonctionner en tandem, les objectifs de ces deux programmes couvrant de façon générale ceux du POSF. Bien que les objectifs du PSP et du POSF se chevauchent, ils ne sont pas complètement alignés. En outre, les objectifs du PSP ne concordent pas tout à fait avec la Loi sur les IRSC. Il convient de souligner que les objectifs du PSP pendant la période à l’étude étaient les suivants :

Les objectifs précis du POSF qui ne font pas partie de ceux du PSP comprennent le soutien de projets originaux et de qualité ou de programmes et d’équipes de recherche, ainsi que le renforcement et le maintien de la capacité de recherche en santé du Canada, y compris la formation en recherche. Les objectifs précis du PSF qui ne font pas partie de ceux du PSP comprennent quant à eux le soutien des chefs de file de la recherche, des nouvelles avenues de recherche novatrices, ainsi que du renforcement et du maintien de la capacité de recherche du Canada dans le domaine de la santé et dans d’autres domaines liés à la santé. Les objectifs concernant le renforcement de la capacité, qui étaient compris dans le POSF et le PSF, sont directement liés au sous‑objectif 4j) de la Loi sur les IRSC, c’est‑à‑dire : « le renforcement des capacités de la communauté de la recherche en matière de santé au Canada, en offrant aux chercheurs en sciences de la santé la possibilité de se perfectionner et en appuyant de façon soutenue la poursuite de carrières scientifiques dans la recherche en matière de santé ».

En raison du chevauchement entre les objectifs du PSP et du POSF, il est probable que des résultats similaires en lien avec l’avancement de la création de connaissances et du renforcement de la capacité de recherche en santé soient obtenus. Cependant, on ne sait pas encore si tous les objectifs du PSP seront atteints. En l’absence d’une définition claire du renforcement de la capacité en tant que résultat, il peut s’avérer difficile de le mesurer et il se peut que les attentes du milieu de la recherche ne soient pas claires. En outre, le PSP comprend la définition d’effets à long terme et d’application des connaissances au‑delà du milieu universitaire (c.‑à‑d. par l’entremise de la promotion de la collaboration, de la commercialisation et de l’utilisation des connaissances liées à la santé), et les résultats liés aux extrants et à l’incidence du POSF dans la présente évaluation montrent que l’application des connaissances au‑delà du milieu universitaire ainsi que les bienfaits pour la santé à long terme et les avantages socio‑économiques sont limités. Les conclusions de l’analyse des rapports de fin de subvention et des études de cas appuient aussi le besoin d’établir une définition claire des résultats escomptés en ce qui a trait aux résultats et aux effets à long terme (p. ex. bienfaits pour la santé et avantages socio‑économiques généraux), étant donné que tous les chercheurs n’interprètent pas ces éléments de la même façon en fonction de leur domaine de recherche. Qui plus est, tous les chercheurs ne sont pas d’avis que ces éléments sont des objectifs évidents de leur recherche (p. ex. thème de recherche 1).

Il convient également de noter que les conclusions issues de l’évaluation précédente, des rapports de fin de subvention et des études de cas appuient le besoin d’établir une formule de financement renouvelable ou à long terme (c.‑à‑d. recherche programmatique/longitudinale) pour les chercheurs en santé, ce qui concorde avec la fourniture d’un soutien durable dont il est question dans la Loi ainsi qu’avec les objectifs du PSF qui a pris fin. En outre, il est nécessaire de préciser ce que l’on entend par « collaborations pertinentes ».

Les critères d’admissibilité et de sélection devraient également être revus afin de s’assurer qu’ils correspondent aux objectifs. Par exemple, 75 % des critères de sélection du PSP sont basés sur la faisabilité (50 % sont liés aux approches et aux méthodes et 25 %, à l’expertise, à l’expérience et aux ressources) et il est difficile de déterminer avec précision la mesure dans laquelle cela facilite les idées ayant le plus grand potentiel de progrès importants en santé dans les quatre thèmes de recherche et aux différentes étapes (p. ex. de la découverte à l’application, en incluant la commercialisation). De même, il est difficile de déterminer avec précision la mesure dans laquelle le PSP encourage les collaborations pertinentes entre les disciplines, les professions et les secteurs, étant donné que les critères d’admissibilité n’exigent pas explicitement que les collaborateurs soient énumérés dans la demande de subvention.

Compte tenu des changements apportés aux programmes (des éléments prévus aux éléments actuels des programmes, y compris l’élimination progressive du PSF), des conclusions issues de la présente évaluation et de l’évaluation précédente, ainsi que des recommandations du Comité d’experts sur l’évaluation par les pairs et du groupe de travail sur le PSF, il convient donc de revoir les objectifs du PSP pour s’assurer qu’ils comprennent tous les buts pertinents et qu’ils concordent avec la Loi sur les IRSC (p. ex. renforcement de la capacité).

Il est nécessaire d’améliorer la capacité de collecte de données

Il existe un manque de données sur le rendement à court terme pour éclairer la prise de décisions relatives aux programmes

Un grand volume de différents types de données sur les demandes et les concours sont recueillis à l’échelle des IRSC par une variété de sources (p. ex. la Direction de la conception et de l’exécution des programmes, l’Unité des politiques de financement et de l’analytique et l’Unité des résultats et de l’impact). Bien que la plupart de ces données soient nécessaires et utiles pour la surveillance des programmes, certaines d’entre elles ne sont pas analysées ou utilisées de manière systématique. Par exemple, l’Unité des politiques de financement et de l’analytique (PFA) recueille des données auprès des candidats, des pairs évaluateurs et des présidents des comités, et ce, à toutes les étapes de chaque concours du PSF et du PSF. Bien que les outils de collecte de données aient été simplifiés (du moins en quelque sorte) grâce aux concours pilotes « en direct », il y a encore beaucoup de données relatives à la mise en œuvre qui sont recueillies sans toutefois être utilisées, ce qui peut représenter un fardeau pour les répondants.

Il serait avantageux pour le PSO qu’une stratégie de collecte de données soit clairement établie, y compris des objectifs précis pour la collecte continue de données, étant donné le grand volume de données recueillies et les multiples intervenants concernés. Il convient d’apporter des précisions quant aux rôles et aux responsabilités pour la collecte, la gestion et l’utilisation des données relatives au PSO, en plus de porter une attention particulière à la qualité et à la fiabilité des données ainsi qu’au fardeau imposé aux répondants.

Il existe des préoccupations au sujet de la disponibilité et de la fiabilité des données sur le rendement à moyen et à long terme dans le rapport de fin de subvention actuel

Les données sur les extrants et les résultats qui sont recueillies actuellement ne sont pas suffisantes pour évaluer les progrès vers l’atteinte des objectifs au‑delà du rapport de fin de subvention. Étant donné que le rapport de fin de subvention est seulement rempli une fois la subvention terminée, en raison du stade de mise en œuvre du PSF et du PSP, ces données ne seront pas disponibles avant un certain temps. Cela était particulièrement problématique pour le PSF, étant donné la longue durée des subventions, c’est‑à‑dire sept ans. Le remplacement de la collecte de données axée sur la mise en œuvre (p. ex. expériences relatives aux demandes et aux concours) par des rapports annuels ou des rapports d’étape sur les progrès serait avantageux pour les IRSC, puisque cela leur permettrait d’évaluer le rendement provisoire des nouveaux programmes conformément à l’objectif d’amélioration continue et d’apporter les changements requis plus rapidement, le cas échéant. Pendant la période à l’étude, les décisions relatives aux programmes étaient uniquement basées sur les données concernant la mise en œuvre et les concours, et non sur celles concernant les extrants et les résultats.

Dans le cas du PSF, la Direction de la conception et de l’exécution des programmes (CEP) a créé un outil de gestion de cas, à la suite de consultations approfondies avec les intervenants, afin de recueillir de l’information provisoire sur les extrants et les résultats des CPD ayant reçu des subventions Fondation. Une enquête sur le rapport annuel a été élaborée pour recueillir de l’information sur le bénéficiaire de la subvention (données démographiques et sur l’emploi), son programme de recherche et ses fonds supplémentaires, les obstacles à l’atteinte des objectifs, le renforcement de la capacité, la mobilisation des intervenants, les produits de connaissances liés à la subvention et les cas de réussite. CEP était en voie de lancer cet outil, mais les ressources consacrées à la surveillance ont été réaffectées à l’exécution du programme. Par conséquent, cet outil n’avait pas encore été mis en œuvre pendant la période à l’étude. Bien qu’il n’existe pas d’outil similaire pour le PSP, ce serait probablement utile pour compléter les données sur les expériences relatives aux demandes qui sont recueillies par PFA ainsi que pour faire le suivi des extrants et des résultats des subventions du PSP.

Les rapports de fin de subvention (données enregistrées dans le Système de rapport sur la recherche [SRR]) constituent la principale source de données sur les résultats, y compris les indicateurs énumérés dans la stratégie de mesure du rendement du programme et le profil d’information des programmes (PIP) de recherche avancée du Cadre ministériel des résultats (CMR). Il existe des préoccupations quant à l’accessibilité et à la fiabilité des données du SRR issues du rapport de fin de subvention actuel (p. ex. données autodéclarées; faibles taux de réponse; variabilité des délais d’exécution; longueur, structure et type des questions posées dans leur ensemble), ainsi que des préoccupations quant à la capacité d’analyser les données recueillies et d’en rendre compte rapidement.

Les rapports de fin de subvention contiennent des données autodéclarées et, bien qu’il s’agisse d’une méthode couramment utilisée et acceptée pour la collecte de données, elle est sujette à des biais et à des erreurs de rappel potentiels ainsi qu’à des problèmes en lien avec l’attribution du financement et les contributions financières, étant donné que les chercheurs ont souvent de nombreuses sources de financement et des programmes de recherche généraux. En outre, ces rapports sont très longs, ce qui peut représenter un fardeau pour les répondants. La longueur du rapport ainsi que les problèmes liés à sa structure et à son contenu soulèvent des préoccupations supplémentaires. L’usage de différentes échelles d’une question à l’autre, l’utilisation de plusieurs concepts dans une même question, le manque d’exclusivité mutuelle dans certains éléments de réponse et l’absence de définition des termes entraînent des difficultés sur le plan de l’interprétation et de l’analyse des réponses. Qui plus est, le taux de réponse est très faible (29 % pour le POSF dans la présente évaluation). À l’heure actuelle, aucun mécanisme n’a été mis en place pour assurer la conformité, et il y a encore de nombreux CPD qui ne remplissent pas le rapport de fin de subvention, malgré le fait que celui‑ci est devenu obligatoire en 2011. Pour ceux qui remplissent le rapport, le délai d’exécution est très variable, malgré la directive selon laquelle il doit être rempli dans les 18 mois suivant la fin de la subvention. Enfin, par le passé, les données fournies dans les rapports de fin de subvention ont rarement été utilisées pour quelque chose d’autre que les évaluations, et CEP ne produisait pas de rapports réguliers sur les résultats des subventions. Cependant, l’Unité des résultats et de l’impact, qui est responsable de la mesure du rendement, utilise les indicateurs contenus dans le rapport de fin de subvention qu’elle juge pertinents (c.‑à‑d. environ 11 indicateurs).

Les IRSC réalisent des progrès quant à la gouvernance des données, mais les difficultés en lien avec la propriété et la gestion des données nuisent à la capacité de surveiller et d’évaluer le rendement des programmes

Les IRSC sont en train de centraliser leur fonction de données par l’entremise de PFA, et toutes les demandes de données passent par cette équipe. Cependant, un manque de clarté persiste, à savoir : qui possède et gère les différentes sources de données. PFA traite actuellement toutes les demandes de données administratives internes et externes. Cette unité collabore également avec les autres unités concernées pour traiter les demandes autres que celles concernant les données administratives et sur le rendement, puisque certaines données sont encore recueillies/gérées ailleurs (p. ex. données financières et données relatives aux évaluations par les pairs). Par exemple, lorsque des données financières sont requises, PFA collabore avec le personnel responsable des finances pour les obtenir. De même, lorsque des données sur le rendement sont requises (p. ex. demandes et membres des comités d’évaluation par les pairs), PFA peut travailler directement avec le personnel responsable des programmes pour les obtenir. Quant aux données issues des rapports de fin de subvention, elles appartenaient à l’Unité des résultats et de l’impact (au moment de l’évaluation), et les demandes relatives à ces données doivent être présentées directement à cette dernière.

La variation de la propriété et de la gestion des données peut créer des défis supplémentaires en ce qui a trait à la disponibilité, à l’exactitude et à l’uniformité des données. Par exemple, les données sur les dépenses du PSO fournies par le personnel responsable des finances et celles fournies par PFA aux fins de la présente évaluation ne concordaient pas; par conséquent, du temps et des ressources supplémentaires ont été requis à des fins de validation. L’écart entre ces données était inférieur à 1 million de dollars entre 2011‑2012 et 2013‑2014, mais l’écart après 2013‑2014 était plus important (entre 5 et 11 millions de dollars). Dans l’ensemble, l’écart représentait environ 1 % des dépenses globales et était probablement dû à des différences dans les définitions, les hypothèses sous‑jacentes et les types d’exclusions prises en compte.

Le programme de gouvernance des données des IRSC a été mis en place en 2017 afin de fournir des données fiables et facilement accessibles, dans le but de faciliter la compréhension et la prise de décisions fondées sur des données probantes. Depuis, le groupe de travail sur la gouvernance des données a établi une vision et une mission en la matière, a défini les rôles pour la gestion des données, a élaboré un cadre de gestion des données, a préparé une structure décisionnelle (RACI) et a défini les éléments du glossaire des données commerciales des IRSC. Le comité directeur de la gouvernance des données a approuvé le cadre de gestion des données des IRSC, et un comité de gérance des données a été mis sur pied; des réunions régulières ont été organisées pour discuter des éléments de la gouvernance des données.

Bien que les mesures de gouvernance des données prises jusqu’à présent soient nécessaires et bénéfiques pour les IRSC, l’élaboration de stratégies de collecte de données précises et à l’échelle des programmes permettrait de s’assurer que les IRSC sont en mesure d’évaluer les progrès vers l’atteinte des objectifs et d’en rendre compte régulièrement. Cela faciliterait également la prise de décisions fondées sur des données probantes au‑delà des exigences de mesure du rendement et d’évaluation (chaque année selon le PIP de recherche libre et tous les cinq ans, respectivement).

Le PSO des IRSC est mis en œuvre d’une manière rentable

Les dépenses en subventions, y compris les coûts administratifs, ont augmenté depuis 2010 2011

Les dépenses en subvention pour le PSO (c.‑à‑d. le POSF, le PSF et le PSP) ont augmenté de façon constante, passant de 420 millions de dollars en 2010‑2011 à 539 millions de dollars en 2017‑2018 (Tableau 1 : Dépenses consacrées au Programme de soutien opérationnel de 2011‑2021 à 2017‑2018 en millions de dollars). Les coûts administratifs ont eux aussi augmenté de façon constante, passant de 26 à 34 millions de dollars entre 2010‑2011 et 2017‑2018 (Tableau 5 : Coûts administratifs du PSO exprimés en pourcentage des dépenses totales du programme de 2010‑2011 à 2017‑2018). Les coûts administratifs comprennent les coûts directs engagés par le Portefeuille de la recherche, de l’application des connaissances et de l’éthique pour l’exécution du POSF, du PSF et du PSP, ainsi que les coûts des services indirects ou internes engagés par d’autres portefeuilles ou directions dont les activités appuient l’exécution des programmes. Les services internes englobent notamment les suivants : Affaires générales et gouvernementales, Communications et Sensibilisation du public, les bureaux des membres de la haute direction et le personnel du Portefeuille de la gestion et de la planification des ressources (p. ex. le personnel responsable des évaluations, de la vérification, des finances, des ressources humaines et des technologies de l’information, ainsi que le personnel de l’Unité des résultats et de l’impact).

Les coûts administratifs totaux annuels du PSO se traduisent par des coûts administratifs par demande admissible allant de 5 386 $ à 8 427 $ et des coûts par subvention accordée allant de 32 887 $ à 55 529 $ depuis la dernière évaluation du POSF (2010‑2011). L’application rétroactive de cette méthode aux données sur le POSF pour 2010‑2011 montre des coûts comparables, mais légèrement inférieurs, soit 5 564 $ par demande admissible et 32 164 $ par subvention accordée (Tableau 6 : Coûts liés au PSO par demande et par subvention accordée de 2010‑2011 à 2017‑2018).

Bien qu’une méthode différente ait été utilisée pour évaluer la rentabilité du POSF lors de l’évaluation précédente (2012), il a été conclu que le POSF était mis en œuvre de manière efficace et que les coûts par demande étaient conformes aux données de référence limitées d’autres bailleurs de fonds de la recherche. Le coût total par demande de subvention s’élevait à 13 997 $, par rapport à 18 896 $ pour le programme de subventions Projet du National Health and Medical Research Council (NHMRC; Australie), tandis que les coûts administratifs directs par demande étaient les suivants : 1 307 $, 1 022 $ et 1 893 $, respectivement, pour le POSF, le NHMRC et les National Institutes of Health (États‑Unis).

Le rapport entre les coûts administratifs et les dépenses totales de programme se situait entre 5 et 6 %

Les données probantes disponibles montrent que le PSO a été mis en œuvre de manière rentable, le rapport entre les coûts administratifs et les dépenses totales de programme se situant entre 5,3 % et 6,0 % depuis la dernière évaluation du POSF en 2010‑2011. L’évaluation précédente a également révélé que le POSF était exécuté efficacement, mais il convient de noter qu’aucune amélioration de l’efficacité n’a été observée depuis l’évaluation de 2012. Il s’agit d’un point important pour le PSO, étant donné que l’un des objectifs de la réforme était d’accroître l’efficacité dans un certain nombre de domaines, y compris les suivants : la charge de travail des pairs évaluateurs, le fardeau imposé aux demandeurs et le taux de roulement (Tableau 5 : Coûts administratifs du PSO exprimés en pourcentage des dépenses totales du programme de 2010‑2011 à 2017‑2018).

Conclusions et recommandations

L’évaluation conclut que financer la recherche libre demeure un moyen efficace de soutenir la recherche en santé et de renforcer la capacité de recherche dans ce domaine. Compte tenu des récents changements apportés au PSO (notamment l’élimination progressive du PSF), l’évaluation contient des recommandations qui visent à orienter et à améliorer la conception, l’exécution et le rendement du PSP.

Conclusions

Le PSO a répondu à un besoin continu en recherche libre

Compte tenu de la nature et de la portée des investissements dans le PSO, les IRSC répondent à un besoin continu en recherche libre dans le domaine de la santé. D’après les résultats de l’évaluation, les investissements des IRSC dans le PSO sont conformes aux priorités du gouvernement du Canada, qui sont appuyées par la Vision scientifique du Canada, l’examen du soutien fédéral aux sciences et le budget fédéral (2018 et 2019). De façon générale, le PSO concorde avec la Loi sur les IRSC, les rôles et les responsabilités des IRSC, ainsi que les orientations stratégiques de la Feuille de route pour la recherche, plus précisément : promouvoir l’excellence, la créativité et l’étendue de la recherche.

Le PSO a favorisé la création de connaissances et le renforcement de la capacité de recherche en santé

Conformément aux résultats de l’évaluation, le PSO a attiré et financé l’excellence en recherche (les chercheurs financés par le POSF et les candidats du PSF et du PSP sont plus productifs et ont un impact plus élevé que les chercheurs en santé du Canada et d’autres pays de l’OCDE). Toujours d’après les résultats de l’évaluation, le financement du POSF (dans l’ensemble des thèmes de recherche, bien que la majorité des fonds soient des subventions pour la recherche biomédicale) a facilité la création, la diffusion et l’utilisation de connaissances liées à la santé (principalement au sein du milieu universitaire) et a contribué à renforcer la capacité de recherche en santé du Canada en faisant augmenter le nombre de chercheurs et de stagiaires indirectement soutenus par ces subventions.

Les résultats de la recherche financée par le POSF ont démontré que l’application des connaissances au delà du milieu universitaire ainsi que les bienfaits pour la santé à long terme et les avantages socio économiques sont limités

Outre la création de connaissances, les subventions du POSF sont également censées contribuer à la diffusion, à la commercialisation et à l’application des connaissances, ainsi qu’à l’utilisation des connaissances liées à la santé, comme en témoignent les objectifs de tous les programmes faisant partie du PSO (c.‑à‑d. le POSF, le PSF et le PSP). Il s’agit également d’une priorité clé pour les IRSC, conformément à leur plan stratégique (orientation stratégique 1 de la Feuille de route pour la recherche) et à la Loi sur les IRSC, laquelle comporte les objectifs suivants : h) l’incitation à la diffusion des connaissances et à l’application des résultats de la recherche dans le domaine de la santé en vue d’améliorer la santé de la population canadienne; i) l’encouragement à l’innovation et le soutien à la mise en marché de la recherche canadienne dans le domaine de la santé et la promotion du développement économique au Canada au moyen de celle‑ci. L’évaluation a toutefois révélé que moins de la moitié des subventions du POSF mobilisent et touchent des parties prenantes autres que les chercheurs et les intervenants dans l’étude, comme indiqué par les CPD dans leurs rapports de fin de subvention. De même, moins de 15 % des subventions ont donné lieu à une application des connaissances au‑delà du milieu universitaire ainsi qu’à des bienfaits pour la santé à long terme et à des avantages socio‑économiques.

Les IRSC doivent mieux définir et harmoniser les objectifs du PSP par rapport à la Loi sur les IRSC

Le PSO a subi de nombreux changements depuis le lancement des nouveaux programmes dans le cadre de la réforme. En outre, plusieurs éléments n’ont pas été déployés comme prévu (notamment en ce qui concerne la fonctionnalité et le temps, par exemple : le logiciel de jumelage des évaluateurs et le Collège des évaluateurs) et des difficultés de mise en œuvre ont été notées (la mission de consultation de la Vérification interne, la réunion de travail du 13 juillet 2016 convoquée par la ministre de la Santé, le Comité d’experts sur l’évaluation par les pairs). Malgré l’harmonisation générale du PSO avec la Loi sur les IRSC, l’évaluation a révélé qu’il existe un manque de concordance entre les objectifs actuels du PSP et la Loi, surtout en ce qui concerne le renforcement de la capacité de recherche en santé du Canada. Il convient de préciser que le renforcement de la capacité était un objectif précis des deux programmes faisant l’objet d’une élimination progressive (c.‑à‑d. le POSF et le PSF). Compte tenu des changements majeurs qui ont été apportés au PSO, il est nécessaire d’examiner les objectifs du PSP, puisqu’il s’agit du seul programme restant.

Les IRSC doivent améliorer le suivi et l’évaluation des résultats et de l’incidence de la recherche libre

Bien qu’il existe une grande quantité de données sur les demandes, les concours et la mise en œuvre en lien avec le PSO (p. ex. sondages au sujet des processus de demande et de décision), il existe actuellement un manque de données sur les extrants/résultats pour évaluer les progrès accomplis vers l’atteinte des objectifs au‑delà du rapport de fin de subvention (qui est seulement produit 18 mois après la fin de la subvention). Jusqu’à présent, les changements apportés aux programmes ont été réalisés en l’absence de données sur le rendement au‑delà du POSF. Compte tenu du temps nécessaire à l’observation des effets à long terme, il se peut que le rapport de fin de subvention ne soit pas la méthode la plus efficace pour recueillir ces données. En outre, l’évaluation montre qu’il existe des préoccupations quant à l’accessibilité et à la fiabilité des données issues du rapport de fin de subvention actuel (p. ex. données autodéclarées; faibles taux de réponse; variabilité des délais d’exécution; longueur, structure et type des questions posées dans leur ensemble) et, par conséquent, à la capacité de déterminer avec précision si les programmes du PSO atteignent leurs objectifs de manière efficace. Bien que les IRSC réalisent des progrès quant à la gouvernance des données, les difficultés en lien avec la propriété et la gestion des données (c.‑à‑d. de multiples unités sont responsables de la collecte et de la diffusion des données) nuisent à la capacité de surveiller et d’évaluer le rendement des programmes.

Les IRSC doivent s’assurer que les décisions de financement sont prises de manière équitable

L’évaluation a révélé qu’il existe des différences dans les caractéristiques du financement et des résultats selon le thème de recherche, le sexe et le stade de la carrière entre les programmes du PSO (c.‑à‑d. le POSF, le PSF et le PSP) et que ces différences doivent être prises en compte dans la conception et l’exécution du PSO. En outre, le groupe de travail sur l’évaluation par les pairs (2016) a également recommandé l’équité entre les différents stades de la carrière et le sexe des candidats. Bien que le PSO finance des chercheurs dans tous les thèmes de recherche, la majorité d’entre eux sont issus du thème 1 (recherche biomédicale). Les chercheurs sont associés à des taux de réussite plus élevés que les chercheuses, et la recherche montre la présence de préjugés fondés sur le sexe et le genre dans les décisions de financement, en particulier en lien avec le POSF et le PSF. Les CDC sont associés à des taux de réussite inférieurs à ceux des chercheurs chevronnés/en milieu de carrière, et les demandes présentées en anglais sont généralement mieux accueillies que celles présentées en français. La Politique sur les résultats renforce le besoin d’équité par ses exigences relatives à la prise en compte de l’équité, de la diversité et de l’inclusion, y compris le sexe et le genre. Les IRSC sont déterminés à éliminer les préjugés inconscients de leurs processus afin de fournir un accès équitable au financement de la recherche (p. ex. le comité interorganismes sur les politiques d’équité, de diversité et d’inclusion, le comité interorganismes sur les enjeux liés aux chercheurs en début de carrière et l’Énoncé des trois organismes sur l’équité, la diversité et l’inclusion).

Recommandations

L’évaluation formule trois recommandations destinées à améliorer la conception, la mise en œuvre et le rendement du Programme de subventions Projet.

Recommandation 1

Les IRSC devraient revoir les objectifs du PSP pour s’assurer qu’ils sont clairement définis, qu’ils correspondent bien aux éléments clés de la Loi sur les IRSC liés au renforcement de la capacité de recherche en santé du Canada et qu’ils appuient ces éléments.

Recommandation 2

Les IRSC doivent s’assurer que le financement de la recherche libre est réparti de façon aussi équitable que possible, tout en réduisant au minimum les risques de partialité dans l’évaluation par les pairs. La conception et la mise en œuvre des subventions pour la recherche libre doivent tenir compte des différences au sein de la communauté de la recherche en santé qui ont été relevées pendant l’évaluation (p. ex. thème de recherche, sexe, stade de la carrière et langue) ainsi que dans le domaine de la recherche en général.

Recommandation 3

Les IRSC doivent améliorer la surveillance et l’évaluation des activités et des investissements en lien avec la recherche libre.

  1. Les IRSC doivent améliorer la façon dont les données sur le rendement sont recueillies en ce qui a trait au renforcement de la capacité (p. ex. soutien indirect des stagiaires), à l’application des connaissances au‑delà du milieu universitaire (c.‑à‑d. éclairer la prise de décisions), aux collaborations, aux bienfaits pour la santé et aux avantages socio‑économiques généraux afin de mieux comprendre toute l’incidence des subventions.
  2. Les IRSC doivent réviser le modèle et les processus actuels de rapport de fin de subvention afin d’améliorer l’accessibilité, l’exactitude et la fiabilité des données recueillies.
  3. Les IRSC devraient envisager d’autres moyens de recueillir des données, au‑delà des rapports de fin de subvention, par l’entremise de rapports d’étape et d’un suivi à plus long terme pour évaluer l’incidence.

Annexe A – Tableaux et figures

Tableau 1 : Dépenses consacrées au Programme de soutien opérationnel de 2011 2021 à 2017 2018, en millions de dollars
Composantes des programmes 2011-2012 2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 2017-2018 Total (%)
POSF (MOP) 434 $ 450 $ 456 $ 493 $ 429* $ 308* $ 228 $ 2797 $
(82,5 %)
Subventions Fondation         67 $ 133 $ 157 $ 358 $
(10,6 %)
Subventions Projet           82 $ 154 $ 236 $
(6,9 %)
Total des investissements du PSO 434 $ 450 $ 456 $ 493 $ 496 $ 523 $ 539 $ 3 391 $
(100 %)
Investissements totaux des IRSC 951 $ 941 $ 944 $ 960 $ 973 $ 1 025 $ 1 035 $  
% des investissements totaux du PSO 46 % 48 % 48 % 51 % 51 % 51 % 52 %  

Source : Équipe des finances des IRSC, avril 2017; Les IRSC en chiffres, octobre 2018

Remarque : Les chiffres peuvent différer des autres données publiées parce qu’ils sont arrondis. Les données ne comprennent pas les coûts administratifs ou les coûts de programme des programmes liés aux essais contrôlés randomisés (ECR) et à l’application des connaissances (AC) qui ont été intégrés au programme ouvert, les premiers programmes ayant été exécutés plus tôt en 2009 et les seconds, dans le cadre de la réforme.

Figure A : Calendrier du processus de réforme des IRSC de 2009 à 2017

Description détaillée

2009

  • Publication du plan stratégique L’innovation au service de la santé

2010

  • Examen des pratiques en matière de recherche en santé
  • Début de l’élaboration et de l’étude des nouveaux concepts relatifs aux programmes
  • Mise sur pied du groupe de travail sur les IRSC pour superviser la conception et la mise en œuvre

2011

2012

2009 – 2012 : Des consultations ont été menées dans le cadre de séances de discussion ouverte partout au pays et d’autres moyens (notamment des sondages). Les IRSC ont mobilisé leurs instituts, leurs milieux de recherche, leurs délégués universitaires, les présidents et les agents scientifiques de leurs comités d’évaluation par les pairs et leurs partenaires.

2013

2014

  • Mise sur pied du comité consultatif intérimaire du Collège des évaluateurs
  • Lancement du premier concours pilote de subventions Fondation

2015

  • Lancement du premier concours pilote de subventions Projet
  • Lancement du deuxième concours pilote de subventions Fondation

2016

  • Lancement du concours de subventions Projet du printemps 2016
  • Engagement des intervenants – atelier du 13 juillet
  • Création du groupe de travail sur l’évaluation par les pairs
  • Mise en œuvre des recommandations du groupe de travail sur l’évaluation par les pairs
  • Processus itératif provisoire d'évaluation par les pairs pour les demandes de recherche en santé autochtone dans le cadre du concours de subventions Projet de l’automne 2016
  • Annonce par les IRSC des premiers présidents du Collège des évaluateurs
  • Annonce par les IRSC d’un comité d’experts sur l’évaluation par les pairs
  • Annonce par le GoC de l’examen du soutien fédéral aux sciences en juin

2017

  • Présentation du rapport du comité d’experts sur l’évaluation par les pairs aux IRSC le 22 février
  • Présentation du rapport de l’examen du soutien fédéral aux sciences le 10 avril
  • Lancement du concours de subventions Fondation de 2017
  • Lancement du concours de subventions Projet de l’automne 2017
  • Lancement du processus d’inscription au Collège des évaluateurs en juin

Figure B : Volume de demandes et taux de réussite liés au POSF et aux programmes de subventions Fondation et Projet de 2006 2007 à 2017 2018

Source : Survol de la réforme de la série de programmes ouverts des IRSC : Comité d’experts sur l’évaluation par les pairs - novembre 2016. Mis à jour par l’Unité d’évaluation et l’Unité des résultats et de l’impact, septembre 2018.

Remarque : T-POSF (« Concours transitoire du POSF ») désigne l’année de transition entre le POSF et le PSF (FDN).

Description détaillée
  POSF T-POSF Foundation Project
Exercice 2006-07 2007-08 2008-09 2009-10 2010-11 2011-12 2012-13 2013-14 2014-15 2014-15 2015-16 2016-17 2015-16 2016-17 2017-18
Demandes reçues (N = 50 474) 3 894 3 625 3 680 4 416 4 636 4 578 4 586 5 389 2 682 1 366 910 600 3 813 2 884 3 415
Demandes approuvées (N = 8 625)) 847 816 772 782 802 801 801 797 383 150 120 76 491 475 512
Taux de réussite 22 % 23 % 21 % 18 % 17 % 17 % 17 % 15 % 14 % 11 % 13 % 13 % 13 % 16 % 15 %

Figure C : Nombre moyen de publications et de présentations par thème de recherche

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, fournis par l’Unité des résultats et de l’impact.

Description détaillée
  Articles de revue Présentations sollicitées Autres présentations
Thème 1 11.52 13.9 14.59
Thème 2 8.23 11.87 14.98
Thème 3 5.63 8.37 8.3
Thème 4 8.81 10.29 14.39

Figure D : Nombre moyen de publications et de présentations par sexe

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, fournis par l’Unité des résultats et de l’impact.

Description détaillée
  Articles de revue Présentations sollicitées Autres présentations
Hommes 11.4 13.48 14.28
Femmes 8.54 12.1 13.84
Tableau 2 : Produits de connaissances, durée des subventions et montant des subventions par thème de recherche
  Thème de recherche 1
(n = 2401)
M (E-T)		 Thème de recherche 2
(n = 377)
M (E-T)		 Thème de recherche 3
(n = 225)
M (E-T)		 Thème de recherche 4
(n = 291)
M (E-T)		 Total
M (E-T)
Articles de revue 11,52 (11,19)
Étendue : 1 à 125
n = 2 353
(98 %)		 8,23 (9,87)
Étendue : 1 à 80
n = 334
(88,6 %)		 5,63 (9,35)
Étendue : 1 à 100
n = 190
(84,4 %)		 8,81 (17,23
Étendue : 1 à 222
n = 248
(85,2 %)		 10,62 (11,70)
Étendue : 1 à 222
n = 3 134
(94,9 %)
Présentations lors de congrès (sollicitées) 13,90 (16,66)
Étendue : 1 à 234
n = 2 181
(92,8 %)		 11,87 (15,05)
Étendue : 1 à 108
n = 313
(84 %)		 8,37 (10,42)
Étendue : 1 à 70
n = 178
(79,1 %)		 10,29 (15,36)
Étendue : 1 à 153
n = 235
(80,8 %)		 13,07 (16,17)
Étendue : 1 à 234
n = 2 916
(88,3 %)
Présentations lors de congrès (autres) 14,59 (17,74)
Étendue : 1 à 245
n = 1 303
(54,3 %)		 14,98 (26,25)
Étendue : 1 à 250
n = 252
(66,8 %)		 8,30 (11,46)
Étendue : 1 à 124
n = 154
(68,4 %)		 14,39 (23,63)
Étendue : 1 à 218
n = 216
(74,2 %)		 14,14 (19,44)
Étendue : 1 à 250
n = 1 931
(58,5 %)
Durée des subventions 51,23 (11,71)
Étendue : 6 à 150
n = 2 402		 41,86 (13,64)
Étendue : 12 à 60
n = 377		 32,80 (11,18)
Étendue : 12 à 60
n = 225		 37,58 (12,42)
Étendue : 12 à 72
n = 291		 47,72 (13,43)
Étendue : 6 à 150
n = 3 304
Montant des subventions 550 406 (219 690)
Étendue : 30 054 à 3 500 518
n = 2 402		 417 693 (284 691)
Étendue : 46 243 à 2 986 934
n = 377		 303 969 (343 608)
Étendue : 40 000 à 4 730 412
n = 225		 408 103 (450 647)
Étendue : 22 322 à 4 225 469
n = 291		 506 590 (277 386)
Étendue : 22 322 à 4 730 412
n = 3 304

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, fournis par l’Unité des résultats et de l’impact.

Tableau 3 : Produits de connaissances, durée des subventions et montant des subventions par sexe
  Hommes
(n = 2374)
M (E-T)		 Femmes
(n = 925)
M (E-T)		 Total
M (E-T)
Articles de revue 11,40 (12,85)
Étendue : 1 à 220
n = 2 275
(95,8 %)		 8,54 (7,50)
Étendue : 1 à 52
n = 856
(92,5 %)		 10,62 (11,70)
Étendue : 1 à 220
n = 3 134
(94,9 %)
Présentations lors de congrès (sollicitées) 13,48 (17,39)
Étendue : 1 à 234
n = 2 086
(87,8 %)		 12,10 (12,53)
Étendue : 1 à 106
n = 828
(89,5 %)		 13,07 (16,17)
Étendue : 1 à 234
n = 2 916
(88,3 %)
Présentations lors de congrès (autres) 14,28 (21,53)
Étendue : 1 à 250
n = 1 285
(54,1 %)		 13,84 (14,43)
Étendue : 1 à 124
n = 647
(69,9 %)		 14,14 (19,44)
Étendue : 1 à 250
n = 1 931
(58,5 %)
Durée des subventions 48,98 (13,22)
Étendue : 6 à 150
n = 2 375		 44,49 (13,43)
Étendue : 12 à 72
n = 925		 47,72 (13,43)
Étendue : 6 à 150
n = 3 304
Montant des subventions 527 436 (268 967)
Étendue : 22 322 à 4 225 469
n = 2 375		 452 985 (291 673)
Étendue : 30 054 à 4 730 412
n = 925		 506 590 (277 386)
Étendue : 22 322 à 4 730 412
n = 3 304

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, fournis par l’Unité des résultats et de l’impact.

Tableau 4 : Personnel de recherche et stagiaires ayant participé au POSF
Catégorie d’employé / stagiaire Nombre total de subventions Nombre total de membres du PHQ (rémunérés / non rémunérés) Nombre moyen de membres du PHQ (rémunérés / non rémunérés)
M (E-T)
Chercheurs 1 878 (56,8 %) 6 836 3,64 (5,96)
Étendue : 0,1 à 201
n = 2 051
Assistants de recherche 2 046 (61,9 %) 5 782 2,83 (6,81)
Étendue : 0,2 à 251
n = 2 402
Techniciens de recherche 2 085 (63,1 %) 3 729 1,79 (1,62)
Étendue : 0,1 à 25
n = 2 423
Tout le personnel de recherche 3 146 (95,2 %) 16 347 2,26 (4,96)
Étendue : 0,1 à 251
Boursiers postdoctoraux 2 167 (65,6 %) 4 772 2,2 (1,89)
Étendue : 0,1 à 26
n = 2 707
Boursiers ne poursuivant pas leurs études à la maîtrise ou au doctorat 269 (8,1 %) 518 1,93 (1,66)
Étendue : 1 à 12
n = 292
Professionnels de la santé diplômés 550 (16,6 %) 1 084 1,97 (3,16)
Étendue : 0,05 à 65
n = 602
Étudiants au doctorat 2 566 (77,7 %) 6 744 2,63 (2,18)
Étendue : 0,25 à 25
n = 3 296
Étudiants à la maîtrise 2 232 (67,6 %) 5 289 2,37 (2,02)
Étendue : 0,25 à 32
n = 2 668
Étudiants de premier cycle 2 112 (63,9 %) 9 832 4,66 (5,28)
Étendue : 0,1 à 62
n = 2 631
Tous les stagiaires 3 188 (96,5 %) 28 237 2,85 (3,22)
Étendue : 0,1 à 65

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, fournis par l’Unité des résultats et de l’impact.

Remarque : Les différentes catégories de personnel de recherche et de stagiaires ne s’excluent pas mutuellement; un même CPD peut appartenir et appartient souvent à plusieurs catégories.

Figure E : Pourcentage de subventions faisant participer des membres du personnel de recherche et des stagiaires par thème de recherche

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, fournis par l’Unité des résultats et de l’impact.

Description détaillée
  Thème 1 Thème 2 Thème 3 Thème 4
Personnel de recherche 51 23 10 15
Stagiaires 79 10 4 7

Figure F : Nombre moyen de membres du personnel de recherche et de stagiaires par subvention, par thème de recherche

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, fournis par l’Unité des résultats et de l’impact.

Description détaillée
  Personnel de recherche Stagiaires
Thème 1 2.87 1.16
Thème 2 2.89 4.71
Thème 3 2.35 3.85
Thème 4 2.92 4.25

Figure G : Pourcentage de subventions faisant participer des membres du personnel de recherche et des stagiaires selon le sexe des chercheurs principaux désignés

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, et données administratives du Système d’information électronique des IRSC, fournis par l’Unité des résultats et de l’impact.

Description détaillée
  Hommes Femmes
Personnel de recherche 66 34
Stagiaires 71 29

Figure H : Nombre moyen des membres du personnel de recherche et des stagiaires par subvention selon le sexe des chercheurs principaux désignés

Source : Rapports de fin de subvention du Système de rapport sur la recherche des IRSC, 4 avril 2017, et données administratives du Système d’information électronique des IRSC, fournis par l’Unité des résultats et de l’impact.

Description détaillée
  Hommes Femmes
Personnel de recherche 2.55 3.14
Stagiaires 2.81 2.98

Figure I : PSO – Taux de réussite selon le sexe

Source : Survol de la réforme de la série de programmes ouverts des IRSC : Comité d’experts sur l’évaluation par les pairs – novembre 2016. Mis à jour par l’Unité d’évaluation et l’Unité des résultats et de l’impact en septembre 2018.

Description détaillée
  POSF T-POSF Foundation Project
  2006-07 2007-08 2008-09 2009-10 2010-11 2011-12 2012-13 2013-14 2014-15 2014-15 2015-16 2016-17 2015-16 2016-17 2017-18
Femmes (N = 16 404) 20 % 21 % 19 % 17 % 16 % 15 % 16 % 15 % 12 % 8 % 10 % 13 % 12 % 17 % 16 %
Hommes (N = 33 999) 22 % 23 % 22 % 18 % 18 % 19 % 18 % 15 % 15 % 13 % 15 % 13 % 13 % 16 % 15 %

Figure J : Pourcentage des subventions du POSF par sexe et thème de recherche

Source : Données administratives du Système d’information électronique des IRSC, 23 juin 2017, fournies par l’Unité des résultats et de l’impact.

Description détaillée
  Hommes Femmes
Thème 1 78 22
Thème 2 61 39
Thème 3 49 51
Thème 4 46 54
Tableau 5 : Coûts administratifs du PSO exprimés en pourcentage des dépenses totales du programme de 2010 2011 à 2017 2018
  2010-11 2011-12 2012-13 2013-14 2014-15 2015-16 2016-17 2017-18
Dépenses en subventions ($) 419 263 388 433 577 824 449 679 548 456 160 828 493 198 143 496 146 559 522 474 148 539 349 771
Coûts administratifs ($) 25 795 767 26 342 732 28 036 197 29 227 024 29 596 818 28 994 962 29 360 476 34 209 082
Total des dépenses du programme 445 059 155 459 920 556 477 715 745 485 387 852 522 794 961 525 141 521 551 834 624 573 558 853
Coûts administratifs par rapport au % des dépenses totales du programme 5,8 % 5,7 % 5,9 % 6,0 % 5,7 % 5,5 % 5,3 % 6,0 %

Source : Équipe des finances des IRSC, avril 2017

Remarque : Le coût des services internes a été calculé comme représentant 3,5 % du budget des subventions et des bourses, conformément à la formule d’allocation pour les services internes des IRSC. Les coûts du régime d’avantages sociaux des employés et les coûts des locaux ont été calculés selon les taux du Conseil du Trésor, c’est à dire 20 % et 13 %, respectivement, pour les salaires directs et les services internes.

Tableau 6 : Coûts liés au PSO par demande et par subvention accordée de 2010 2011 à 2017 2018
  2010-11 2011-12 2012-13 2013-14 2014-15 2015-16 2016-17 2017-18
Coûts administratifs ($) 25 795 767 26 342 732 28 036 197 29 227 024 29 596 818 28 994 962 29 360 476 34 209 082
Nombre de demandes 4 636 4 578 4 586 5 389 4 048 4 723 3 484 6 351
Coûts par demande ($) 5 564 5 754 6 113 5 423 7 311 6 139,10 8 427,23 5 386,41
Nombre de subventions 802 801 801 797 533 612 551 916
Coûts par subvention accordée ($) 32 164 32 887 35 001 36 671 55 528,74 47 377 53 286 37 346

Source : Équipe des finances des IRSC, avril 2017, et Politiques de financement et Analytique, juillet 2018

Figure K : PSO – Taux de réussite selon le stade de la carrière

Source: Survol de la réforme de la série de programmes ouverts des IRSC : Comité d’experts sur l’évaluation par les pairs – novembre 2016. Mis à jour par l’Unité d’évaluation et l’Unité des résultats et de l’impact en septembre 2018.

Description détaillée
  POSF T-POSF Foundation Project
  2006-07 2007-08 2008-09 2009-10 2010-11 2011-12 2012-13 2013-14 2014-15 2014-15 2015-16 2016-17 2015-16 2016-17 2017-18
Chercheurs en début de carrière (N = 10 473) 21 % 19 % 20 % 15 % 16 % 14 % 16 % 12 % 11 % 4 % 12 % 11 % 11 % 16 % 15 %
Chercheurs établis (N = 40 001) 22 % 23 % 21 % 18 % 18 % 18 % 18 % 15 % 15 % 16 % 13 % 13 % 13 % 16 % 15 %

Figure L : Pourcentage de subventions du POSF selon le stade de la carrière et le thème de recherche

Source : Données administratives du Système d’information électronique des IRSC, 23 juin 2017, fournies par l’Unité des résultats et de l’impact.

Description détaillée
  Nouveaux chercheurs Chercheurs en milieu de carrière Chercheurs chevronnés
Thème 1 16 40 44
Thème 2 25 43 32
Thème 3 34 44 22
Thème 4 25 44 31

Figure M : PSO – Taux de réussite selon la langue préférée

Source : Survol de la réforme de la série de programmes ouverts des IRSC : Comité d’experts sur l’évaluation par les pairs – novembre 2016. Mis à jour par l’Unité d’évaluation et l’Unité des résultats et de l’impact en septembre 2018.

Description détailléen
  POSF T-POSF Foundation Project
  2006-07 2007-08 2008-09 2009-10 2010-11 2011-12 2012-13 2013-14 2014-15 2014-15 2015-16 2016-17 2015-16 2016-17 2017-18
Anglais (N = 49 078) 22 % 23 % 21 % 18 % 17 % 18 % 18 % 15 % 14 % 11 % 13 % 13 % 13 % 17 % 15 %
Français (N = 1 396) 17 % 16 % 12 % 18 % 19 % 12 % 7 % 12 % 10 % 6 % 7 % 18 % 7 % 8 % 8 %

Annexe B – Méthodologie

Aperçu de la méthodologie

Conformément aux directives du Secrétariat du Conseil du Trésor et aux pratiques exemplaires reconnues dans le domaine de l’évaluation, une gamme de méthodes et de sources de données a été employée afin d’effectuer une triangulation des résultats. Il s’agit notamment d’analyses documentaires et des données, de rapports de fin de subvention, d’études de cas et d’analyses bibliométriques. Dans la mesure du possible, les résultats ont été comparés à ceux de l’évaluation précédente du POSF de 2012. Il convient de noter que l’utilisation d’entrevues comme outil méthodologique dans le contexte de l’examen de la conception et de l’exécution de la nouvelle série de programmes n’a pas été entreprise, compte tenu du nombre de consultations qui ont eu lieu depuis la réforme. Par exemple, d’importantes consultations ont été menées avec le milieu de la recherche pendant la réforme, de grandes quantités de données sur les demandes et la mise en œuvre ont été recueillies auprès des candidats au moyen de sondages, les IRSC ont accueilli le Comité international d’experts sur l’évaluation par les pairs, et un comité d’évaluation du PSF a été mis sur pied en 2017. Par conséquent, conformément à la volonté de la haute direction des IRSC, des entrevues supplémentaires n’ont pas été réalisées, et les résultats de ces sources de données et de ces comités ont été utilisés comme intrants pour l’évaluation.

Analyses documentaires et des données

Les documents pertinents du programme, des IRSC et du gouvernement du Canada ont été consultés pour contextualiser l’évaluation et pour répondre à certaines questions d’évaluation sur la pertinence, le rendement, la conception et la mise en œuvre des programmes. Ces documents incluaient l’examen du soutien fédéral aux sciences (2017), les budgets fédéraux de 2018 et 2019, la Vision scientifique du Canada, la Loi sur les IRSC et ainsi que les plans stratégiques précédent et actuel des IRSC (L’innovation au service de la santé et Feuille de route pour la recherche), des documents exposant la conception de la réforme, les résultats de l’évaluation du concours pilote du volet Fondation ainsi que l’évaluation du POSF de 2012. Les données administratives du programme, tirées du Système d’information électronique des IRSC, ont été examinées par rapport aux renseignements sur les demandes, les finances et les concours. Les données des rapports de fin de subvention, tirées du Système de rapport sur la recherche (SRR) des IRSC, ont également été analysées pour le POSF (voir détails ci‑dessous).

Rapports de fin de subvention

Les données sur les extrants et les résultats découlant des subventions du POSF ont été extraites des rapports de fin de subvention par l’intermédiaire du SRR pour les concours de financement du POSF organisés entre 2000 et 2013, les dates de présentation de ces rapports se situant entre 2011‑2012 et 2016‑2017. L’échantillon de la base de données du SRR comportait 3 304 rapports de fin de subvention. Au total, 13 331 subventions ont été accordées pendant la période où les données ont été recueillies pour l’évaluation du PSO, ce qui représente la population des subventions. L’échantillon comprenait donc les rapports de fin de subvention pour 29 % des subventions accordées pendant la période à l’étude. Ce taux plus faible n’est pas surprenant, étant donné que l’obligation de présenter un rapport de fin de subvention a seulement été pleinement mise en œuvre en 2011, ce qui fait en sorte que plusieurs rapports n’ont pas été remplis (c.‑à‑d. pour les subventions qui ont pris fin avant cette date) ou n’ont pas été remplis dans les 18 mois suivant la fin des subventions. Le chercheur principal de la subvention était tenu de rédiger un rapport de fin de subvention dans les 18 mois suivant la fin de la subvention. Les cas sont définis par les subventions individuelles plutôt que par les CPD, et il se peut que les CPD aient remplis plus d’un rapport de fin de subvention.

L’échantillon de rapports de fin de subvention était représentatif du genre, du thème de recherche et de la langue des CPD de la population. Dans les 3 304 cas compris dans l’échantillon, la majorité (72 %) des CPD étaient des hommes, tandis qu’une minorité (28 %) de CPD étaient des femmes. Quelques‑uns des CPD (4 – 0,12 %) n’ont pas précisé leur sexe. Il convient de souligner que « n » fait référence aux subventions plutôt qu’aux individus, ce qui signifie qu’il peut y avoir des chevauchements entre certains de ces CPD. Une ventilation selon le thème de recherche a révélé que la majorité (73 %) des subventions étaient associées au thème de recherche 1, tandis qu’une minorité était associée aux thèmes de recherche 2 (11 %), 3 (7 %) et 4 (9 %). Quelques subventions (9 – 0,3 %) n’étaient associées à aucun thème de recherche (et portaient la mention « S.O. »). La majorité des CPD de ces subventions ont indiqué que leur langue préférée (langue maternelle) était l’anglais (87,5 %), et la majorité d’entre eux étaient des chercheurs en milieu de carrière (42 %), suivis de près par les chercheurs chevronnés (38 %).

Les éléments du SRR ont été mis en correspondance avec les questions et les indicateurs pertinents de l’évaluation, et des analyses quantitatives des données connexes ont été réalisées. Cette source de données constituait la principale source de données probantes pour orienter les conclusions concernant le rendement du POSF. En outre, le cadre de mesure d’impact de l’Académie canadienne des sciences de la santé [ PDF (3,5 Mo) - lien externe ] (ACSS, 2009) a été utilisé pour orienter l’analyse des résultats et de l’incidence du POSF. Il convient également de noter que les données des rapports de fin de subvention ont été ventilées en fonction du thème de recherche, du sexe, du stade de la carrière et de la langue, et que certaines analyses comparatives ont été réalisées lorsque la taille des échantillons était suffisante. Certaines tailles des échantillons de données ventilées étaient faibles; par conséquent, dans ces cas, les résultats n’ont pas été déclarés (n < 10).

Des analyses qualitatives ont également été menées sur une sélection de six résultats/extrants des rapports de fin de subvention en lien avec les catégories d’effets suivantes de l’ACSS : la prise de décisions éclairées et les bienfaits pour la santé. Les six résultats comprenaient les suivants : information ou orientation pour les patients ou le public; comportement des patients ou du public; brevets; politiques, lignes directrices ou programmes; pratique professionnelle; vaccins/médicaments. Un échantillon aléatoire de subventions a été établi à partir des subventions associées à un résultat avancé et pour lesquelles une réponse aux questions ouvertes avait été fournie. Environ 40 % du total des réponses aux questions ouvertes se rattachant aux six indicateurs faisaient partie de l’échantillon, selon une étendue de 26 à 55 % des réponses échantillonnées pour chaque indicateur afin de s’assurer : 1) que les réponses incluses étaient équilibrées entre les thèmes de recherche; 2) qu’un nombre suffisant de réponses étaient analysées pour chaque indicateur (c.‑à‑d. au moins 25 réponses par thème de recherche, par indicateur, dans la mesure du possible). Les réponses aux questions ouvertes ont fait l’objet d’une analyse quantitative afin de déceler les thèmes émergents liés à chaque type d’extrant.

Études de cas

Huit cas à impact élevé ont été délibérément choisis pour une analyse d’études de cas, dans le but de comprendre comment les investissements des IRSC ont permis d’obtenir des résultats à impact élevé. Ces cas ont été sélectionnés à l’aide des données de fin de subvention : les cas « les plus percutants » ont été cernés au moyen d’une combinaison d’indicateurs autodéclarés liés aux données sur les cinq dimensions de l’impact de l’ACSS (c.‑à‑d. les subventions considérées comme ayant le plus grand nombre de résultats « percutants », idéalement dans plusieurs dimensions). Les indicateurs comprenaient le nombre d’articles de revue ayant été publiés grâce à la subvention (1 % supérieur : avancement des connaissances), le nombre de stagiaires/de membres du personnel de recherche associés à la subvention (1 % supérieur : renforcement de la capacité), ainsi que les résultats considérés comme avancés ayant été obtenus grâce aux subventions dans les cinq catégories de l’ACSS (avancement des connaissances, renforcement de la capacité, prise de décisions éclairées, bienfaits pour la santé et avantages socio‑économiques).

Analyses bibliométriques

Aux fins de la présente évaluation, l’Observatoire des sciences et des technologies (OST) de l’Université du Québec à Montréal a effectué une étude bibliométrique. Cette étude a permis d’obtenir des données sur la productivité scientifique et l’incidence des candidats du POSF, financés ou non, en comparaison avec les autres chercheurs en santé du Canada et des pays de l’OCDE. Pour mesurer la productivité de la recherche, cette étude a examiné les articles publiés entre 1998 et 2016 à l’aide d’un échantillon de candidats financés et non financés ayant présenté une demande au titre du POSF entre 2000 et 2014 (financés = 2 000; non financés = 500). Deux indicateurs ont également été utilisés pour mesurer l’impact scientifique et les articles publiés par les candidats entre 2000 et 2016 : moyenne des citations relatives (MCR) et facteur d’impact relatif moyen (FIRM) des revues.

Limites

Il convient de noter les limites suivantes :

Limites Stratégies d’atténuation Conséquences des stratégies d’atténuation
  • Incapacité d’évaluer le rendement du PSF et du PSP; utilisation du POSF pour déduire le rendement des nouveaux programmes
  • En raison du stade de la mise en œuvre et des changements apportés au PSF et du PSP, il n’a pas été possible de réaliser une évaluation du rendement de certains des aspects du PSO.
  • Des renseignements se rapportant au PSF et au PSP sont présentés lorsqu’ils sont connus, et les conclusions sont clairement liées au POSF ou au PSF et au PSP, le cas échéant.
  • Les résultats liés au rendement du PSF et du PSP sont limités et sont principalement présentés dans le contexte des résultats liés au rendement du POSF, le cas échéant.
  • Contribution par rapport à attribution
  • Il n’était pas possible d’attribuer les résultats et les retombées des subventions uniquement au financement du POSF, étant donné que les chercheurs ont recours à d’autres sources de financement et à d’autres mesures de soutien, ainsi qu’en raison d’autres variables pouvant être une source de confusion (p. ex. domaine de recherche).
  • Les conclusions de la présente évaluation présentent donc la contribution des IRSC aux résultats et aux retombées pour les stagiaires et les chercheurs.
  • Comme il a été décidé de se concentrer sur la contribution du financement aux résultats des candidats, l’attribution de fonds à ces résultats ne sera pas abordée.
  • Fiabilité et généralisation des données autodéclarées
  • Les résultats liés au rendement reposent en grande partie sur les données autodéclarées existantes et accessibles, lesquelles sont sujettes à des biais et à des erreurs de rappel potentiels, ce qui peut limiter la généralisation.
  • Il existe des préoccupations quant à la fiabilité de certaines des données de fin de subvention, en raison des variations du niveau d’exhaustivité, de la structure des questions et de la longueur du rapport.
  • En raison du temps accordé pour la production des rapports de subventions (environ 18 mois après la fin de la subvention), les effets à long terme pourraient ne pas être complètement représentés; cependant, peu de chercheurs avaient l’impression qu’ils pourraient se produire à l’avenir, et les études de cas n’ont pas non plus indiqué que des effets à long terme ont été obtenus (en fonction d’une période de suivi beaucoup plus longue).
  • Les conclusions tirées des données du SRR ont été présentées, mais compte tenu des problèmes potentiels en lien avec les données, la généralisation au delà de cet échantillon peut être limitée.
  • Utilisation des sources de données secondaires
  • Certaines des données incluses étaient des données secondaires recueillies à des fins différentes, générées à des moments différents et produites par des sources différentes. Il s’agissait notamment des données considérables recueillies et des analyses effectuées en lien avec le PSF et le PSP (p. ex. les études portant sur l’assurance de la qualité et les concours pilotes), des recommandations du groupe de travail sur l’évaluation par les pairs et du Comité d’experts sur l’évaluation par les pairs, ainsi que des rapports de fin de subvention (de 2011 à 2016).
  • Dans la mesure du possible, nous avons veillé à ce que les renseignements soient fiables, à ce que les sources soient clairement citées et à ce que de multiples sources de données soient utilisées comme intrants, le cas échéant.
  • Des efforts ont été déployés pour déterminer avec précision les variations Nous avons essayé d’identifier les variations dans les sources de données, et des données provenant de différentes sources ont été utilisées pour valider les conclusions, le cas échéant.

Annexe C – Références et notes de fin

Références

Date de modification :