Évaluation du Programme ouvert de subventions de fonctionnement – rapport final 2012

Remerciements

Un grand merci à tous les participants à cette évaluation : les répondants au sondage, les participants aux entrevues et aux études de cas, les membres passés et actuels du sous-comité sur la mesure du rendement, la direction des IRSC, des instituts, du POSF, des Finances et des SGITA, ainsi que les membres du groupe de travail sur l'évaluation. Merci également au Conseil national de recherches du Canada pour la photo de la page couverture.

Voici l'équipe d'évaluation du POSF :

David Peckham, M.Sc.; Kwadwo (Nana) Bosompra, Ph.D.; Christopher Manuel, M.Ed.

Instituts de recherche en santé du Canada
160, rue Elgin, 9e étage
Indice de l'adresse : 4809A
Ottawa (Ontario) K1A 0W9
www.irsc-cihr.gc.ca

Table des matières

• Résumé
• Objectifs de l'évaluation, constatations principales et conclusions
• Création de connaissances
• Conception et exécution du programme
• Application des connaissances
• Développement de la capacité
• Pertinence du programme
• Contexte du programme
• Méthodologie d'évaluation
• Annexe
• Références

Résumé

La présente évaluation du Programme ouvert de subventions de fonctionnement (POSF) survient au moment où les IRSC proposent des changements à leur série de programmes ouverts et des améliorations à leur système d'évaluation par les pairs. Elle se concentrera donc sur le rendement du POSF actuel et sur les conclusions pouvant servir à la réforme des programmes ouverts des IRSC.

Sous sa forme actuelle, le POSF a atteint ses principaux objectifs. Les résultats de la présente évaluation démontrent comment le programme a appuyé la recherche de grande qualité et contribué à la création et à la dissémination de connaissances liées à la santé.

Par contre, le contexte de recherche en santé dans lequel s'inscrit le POSF a évolué depuis la création du programme, ce qui a entraîné une remise en question de l'efficacité du modèle actuel à financer l'excellence dans tous les domaines relevant du mandat des IRSC. Les résultats de la présente évaluation mettent en évidence des possibilités d'amélioration de la conception et du rapport coût-efficacité de l'exécution du programme. La mise en œuvre de ces changements devrait outiller la série de programmes ouverts des IRSC pour qu'elle réponde aux besoins actuels et futurs.

Constatations principales

• Le POSF attire et finance l'excellence de la recherche en santé depuis 2000. L'impact scientifique des publications des chercheurs financés par le POSF est la preuve que le programme a surpassé les points de référence; des études de cas illustrant des projets à impact élevé démontrent les résultats à long terme de ce financement.
• Le système actuel d'évaluation par les pairs est capable de reconnaître l'excellence, tant du point de vue de la sélection des chercheurs recevant du financement que de celui du classement déterminé par chaque comité; les chercheurs constamment classés parmi les meilleurs lors de l'évaluation par les pairs d'un concours à l'autre ont des cotes d'impact scientifique plus élevées.
• Le programme a grandement contribué à l'entreprise de recherche en santé au Canada grâce à l'octroi de subventions du POSF à des chercheurs et à des stagiaires.
• Le POSF est exécuté de façon efficace; les coûts par demande concordent avec les quelques points de référence des autres bailleurs de fonds de la recherche qui sont disponibles. En outre, le degré de satisfaction des candidats à l'égard de l'exécution du programme est généralement élevé, mais nos données indiquent que les pairs évaluateurs ont une lourde charge de travail, surtout ceux du milieu de la recherche biomédicale.
• L'analyse préliminaire semble suggérer que des systèmes faisant appel à des évaluations indépendantes pourraient produire des résultats semblables à ceux des discussions des comités d'évaluation par les pairs.
• Le temps consacré par les chercheurs à la préparation d'une demande du POSF ne diffère pas significativement des valeurs de référence. Cependant, comme le taux de réussite est en baisse, c'est maintenant quatre demandes sur cinq qui ne reçoivent aucun financement. La rationalisation des renseignements à fournir dans le processus de demande permettrait d'alléger le fardeau des candidats.
• Si on se fie aux habitudes de renouvellement des candidats et aux résultats des études de cas, certains résultats suggèrent que le POSF est déjà utilisé comme source de « financement de programmes », surtout dans le milieu biomédical.
• Conformément au mandat des IRSC, le POSF finance des projets dans les quatre thèmes de la recherche en santé. Cependant, comme le démontre la présente évaluation, les différents milieux de recherche ont leur façon propre d'exploiter le programme. Les divergences associées à la façon dont les chercheurs étudient des demandes et les cotent ainsi que les habitudes de renouvellement sont deux exemples de cette diversité.
• Les données disponibles reflètent le besoin de maintenir le POSF et la conformité du programme aux priorités du gouvernement fédéral et des IRSC, ainsi qu'aux rôles et responsabilités du gouvernement fédéral.

Recommandations

Les résultats de la présente évaluation viennent confirmer que le financement ouvert et large représente un moyen valable et rigoureux d'appuyer la recherche, et que le POSF favorise l'excellence en recherche et devrait être reconduit. Les recommandations suivantes visent à améliorer la conception et le rapport coût-efficacité de l'exécution du programme :

1. Faire en sorte que les prochains modèles des programmes ouverts optimisent l'utilisation du temps des pairs évaluateurs et des candidats, par exemple en ce qui concerne la conception du système d'évaluation par les pairs et la quantité de renseignements à fournir par les candidats.
2. Faire en sorte que les prochains modèles des programmes ouverts tiennent compte des habitudes dans les quatre thèmes quant à la présentation de demandes, à l'évaluation par des pairs et au renouvellement.
3. Effectuer des analyses plus poussées afin de bien comprendre l'impact potentiel des modifications du système d'évaluation par les pairs. L'étude de formules d'évaluation par les pairs à l'aide de modèles expérimentaux produirait des preuves solides.
4. Créer des indicateurs de réussite pour les prochains programmes ouverts et faire en sorte que ceux-ci soient pertinents pour les différents milieux de la recherche en santé des IRSC.

Réponse de la direction

Objectifs de l'évaluation, constatations principales et conclusions

Objectifs de l'évaluation

La présente évaluation vise à déterminer dans quelle mesure le Programme ouvert de subventions de fonctionnement a atteint les résultats attendus en ce qui a trait à ses objectifs principaux : la création, la dissémination et l'utilisation des connaissances liées à la santé, ainsi que le développement et la préservation de la capacité de recherche dans tous les domaines de la recherche en santé au Canada.

Elle vise également à satisfaire aux exigences du Secrétariat du Conseil du Trésor (SCT) contenues dans la Politique sur l'évaluation de 2009 et la Directive sur la fonction d'évaluation^{Note en bas de page 1}. Elle se penche donc sur des questions fondamentales précises de l'évaluation de la pertinence et du rendement des programmes, comme énoncé dans la série de politiques du SCT^{Note en bas de page 2}.

Conformément aux politiques du SCT et aux pratiques exemplaires reconnues en évaluation, une gamme de méthodes utilisant des données quantitatives et qualitatives a été employée afin d'effectuer une triangulation des résultats.

Constatations principales

Création de connaissances

• Les chercheurs appuyés par le Programme ouvert de subventions de fonctionnement publient des articles dont l'impact scientifique est systématiquement plus élevé que la moyenne dans le domaine de la recherche en santé au Canada et dans d'autres pays comparables de l'OCDE (d'après la moyenne des citations relatives).
• L'impact scientifique des articles appuyés par le POSF a considérablement augmenté de la 2001-2005 à 2006-2009 (de 1,44 à 1,54, p < 0,001).
• Une subvention du POSF engendre en moyenne 7,6 publications; le nombre d'articles par subvention a grimpé à 8,9 après 2004. Cette hausse s'inscrit dans un contexte d'augmentation globale du nombre d'articles publiés par des chercheurs canadiens au cours des 10 dernières années (Archambault, 2010).
• Le nombre d'articles par subvention est une mesure utile, et les bailleurs de fonds de la recherche s'en servent partout dans le monde; cependant, il faut toujours tenir compte des facteurs contextuels :
  • La productivité en matière de publications dans le cadre du POSF est corrélée avec le montant et la durée des subventions (p < 0,001). Lorsqu'on tient compte de la durée des subventions, le nombre moyen annuel de publications est semblable d'un thème de recherche à l'autre (sauf en recherche sur les systèmes et les services de santé). Les différences apparentes dans les habitudes de publication d'un milieu de recherche à l'autre pourraient donc s'expliquer en partie par la durée des subventions.
  • La durée moyenne entre l'obtention d'une subvention et la première publication diffère d'un thème de recherche à l'autre; par exemple, en recherche biomédicale, les chercheurs publient leur premier article en moyenne 2 ans après avoir obtenu une subvention, alors qu'en recherche sur les systèmes et les services de santé, ils publient plutôt après 3,2 ans. Quatre-vingt-quinze pour cent des articles résultant de recherches appuyées par le POSF ont été publiés dans les huit ans suivant le concours.
• Les chercheurs financés par le POSF produisent plusieurs autres types de résultats de création de connaissances, notamment des livres ou des chapitres de livres (moyenne de 0,96 par subvention) et des rapports (0,25 par subvention). Les habitudes de publication varient d'un thème de recherche à l'autre; ceux qui font de la recherche sur la santé des populations, ses dimensions sociales et culturelles, et les influences environnementales sur la santé (thème IV) font preuve de la productivité moyenne la plus élevée pour tous ces types de résultats (1,13 livre ou chapitre de livres; 0,55 rapport).

Conception et exécution du programme

• Le processus d'évaluation par les pairs du POSF arrive à détecter l'excellence scientifique à venir. La moyenne des citations relatives (MCR) des chercheurs dont la demande a été acceptée est plus élevée que celles des chercheurs dont la demande a été refusée et de ceux qui n'ont jamais reçu de financement du POSF.
  • Les chercheurs qui sont toujours parmi les meilleurs 10 % dans les concours du POSF ont des MCR plus élevées que ceux qui ne le sont que parfois, et ceux qui ne sont jamais classés parmi les meilleurs ont des MCR plus faibles que ceux des deux autres groupes.
  • Même les MCR des candidats non retenus sont supérieures à la moyenne canadienne pour la recherche en santé, ce qui indique que le programme attire l'excellence.
• En général, les chercheurs sont satisfaits des processus de demande et d'évaluation par les pairs du POSF (plus de 50 % se disent très ou plutôt satisfaits pour la plupart des mesures).
  • La qualité et l'uniformité des conclusions de l'évaluation par les pairs ont été désignées comme points à améliorer. Trois chercheurs sur quatre (74,1 %) considèrent que la qualité des conclusions de l'évaluation par les pairs est l'aspect le plus important du processus, et environ la moitié (47,7 %) trouve qu'il s'agit d'un point à améliorer.
• Une analyse du rapport coût-efficacité du POSF reproduisant la méthodologie d'une étude publiée en Australie (Graves, Barnett et Clarke, 2011) a été effectuée. Elle portait notamment sur les frais d'administration du traitement d'une demande et les coûts associés au temps investi par les pairs évaluateurs et les candidats.
  • Le coût moyen par demande du POSF est de 13 997 $, alors que le coût par demande pour le National Health and Medical Research Council (NHMRC) d'Australie est de 18 896  $ (toutes les données sont converties en dollars canadiens).
  • Le coût par demande du POSF comprend 1 307 $ de frais d'administration directs et indirects, 1 812 $ pour le temps des pairs évaluateurs et 10 878 $ pour le temps des candidats. Les frais d'administration sont comparables à ceux du NHMRC (1 022 $) et des National Institutes of Health des États-Unis (1 893 $).
  • En moyenne, un candidat au POSF consacre environ 169 heures à la préparation d'une demande (comparable aux données de référence du NHMRC). Les pairs évaluateurs consacrent environ 75 heures à chaque concours du POSF, notamment pour l'évaluation à domicile, la participation à des réunions et les déplacements. En moyenne, un pair évaluateur étudie environ neuf demandes par concours.
• Les IRSC sont actuellement en consultation relativement à des propositions pour la restructuration de leur série de programmes ouverts, concernant notamment des changements au processus d'évaluation par les pairs et l'ajout d'un mécanisme de financement de programmes. Les résultats de la présente évaluation seront utilisés dans ce processus.
  • Une évaluation effectuée par deux évaluateurs indépendants (à domicile) du POSF mène à la sélection de demandes qui sont en grande partie les mêmes que celles choisies par un comité d'évaluation par les pairs. Soixante-quinze pour cent des demandes du POSF qui auraient été retenues d'après le classement des évaluateurs indépendants ont ensuite été financées par le comité.
    • Quatre-vingt-quinze pour cent des demandes classées parmi les premiers 5 % par le comité d'évaluation par les pairs auraient reçu du financement d'après le classement des évaluateurs indépendants.
    • Par ailleurs, l'analyse de sensibilité et de spécificité visant à établir la valeur prédictive de l'évaluation indépendante par rapport aux conclusions du comité vient confirmer ces résultats.
• • Des analyses bibliométriques préliminaires montrent que les chercheurs dont la demande est retenue par les évaluateurs indépendants et par le comité d'évaluation par les pairs ont par la suite la MCR la plus élevée.
    • Par contre, il n'existe aucune différence significative entre la MCR des chercheurs dont la demande a été retenue par les évaluateurs indépendants (mais non par le comité) et celle des chercheurs retenus par le comité (mais non par les évaluateurs indépendants), ce qui suggère que le comité d'évaluation par les pairs n'est pas forcément plus fiable que les évaluateurs indépendants pour repérer l'excellence future.
  • Les données sur les renouvellements de subventions indiquent que le POSF sert déjà de source de financement « de programmes » pour certains chercheurs, surtout dans le domaine biomédical; de 2000 à 2010, entre 59 % (2000) et 24 % (2010) des demandes reçues chaque année avaient déjà reçu du financement auparavant. Les résultats des études de cas appuient cette preuve de « financement de programmes » et l'illustrent plus en détail.

Application des connaissances

• En ce qui concerne l'aspect commercialisation de l'application des connaissances, environ un chercheur financé par le POSF sur cinq a déclaré que ses recherches avaient produit un résultat commercialisable. D'après les données recueillies, un chercheur sur dix a obtenu un nouveau brevet, et la même proportion a fait une demande de propriété intellectuelle grâce à leur subvention du POSF.
• Des études de cas portant sur les résultats à impact élevé et à long terme de recherches commercialisables illustrent les effets positifs du financement du POSF plus en détail. Elles démontrent les retombées de ces programmes de recherche pour les patients, les fournisseurs de soins de santé, les chercheurs, les étudiants, le système de soins de santé et la société en général.
  • Les retombées de ces recherches à impact élevé ont souvent besoin de longues périodes pour se manifester. Par exemple, les travaux d'un des chercheurs sur le contrôle sensoriel s'appuient sur 40 années de travail, tandis que ceux d'un autre sur la régénération du cartilage ont été transférés de la recherche en laboratoire à l'application à l'humain après plus de 10 ans.
  • Les chercheurs présentés dans les études de cas ont ciblé des domaines dans lesquels le soutien des IRSC pourrait être amélioré : fournir des fonds suffisants pour intensifier les stratégies d'application des connaissances; guider les chercheurs aux prises avec des questions complexes de propriété intellectuelle; appuyer l'organisation du transfert de technologie.
• Le financement du POSF contribue aussi de façon plus large au mandat d'application des connaissances des IRSC. Un chercheur financé par le POSF sur trois (34,4 %) a déclaré que ses résultats de recherche avaient eu des retombées pour les fournisseurs (soins et système de santé), et un sur quatre (26 %) a déclaré des retombées pour les organisations (soins et système de santé).
• À part les chercheurs ou les universitaires et, jusqu'à un certain point, les intervenants énumérés officiellement dans la demande de subvention, les groupes d'utilisateurs potentiels, comme les praticiens (soins et système de santé), les patients ou l'industrie, ne participent pas souvent aux recherches financées par le POSF.

Développement de la capacité

• En moyenne, chaque subvention du POSF permet de former 8,61 employés de recherche ou stagiaires. À l'aide des données disponibles, on estime le nombre total d'employés formés entre 2000 et 2010 grâce aux subventions du POSF à 81 175.
• Le nombre de stagiaires et la définition d'équivalent temps plein (ETP) participant à un projet subventionné peuvent varier de façon significative d'un thème de recherche à l'autre. En moyenne, 13,62 stagiaires étaient mis à contribution pour chaque subvention dans le thème IV, mais ils n'équivalaient qu'à 4,81 ETP. En revanche, les stagiaires en recherche biomédicale n'étaient habituellement associés qu'à une subvention : on comptait 7,93 stagiaires et 7,65 ETP par subvention.
• Le POSF continue de financer surtout des chercheurs en recherche biomédicale (environ 80 % des subventions), une proportion constante depuis 2002-2003. Un des objectifs énoncés par le conseil d'administration des IRSC est d'éliminer les obstacles et de créer des possibilités pour les autres thèmes de recherche dans des programmes ouverts. Différents obstacles et défis touchant les chercheurs présentant une demande dans les thèmes III et IV ont été mis en évidence.
  • Plus faibles cotes moyennes de l'évaluation par les pairs et plus forte proportion des demandes cotées non subventionnables (cotes inférieures à 3,5 sur 5). Les pairs évaluateurs de ces milieux de la recherche donnent des cotes moyennes plus faibles, ont tendance à mettre davantage l'accent sur les méthodes que sur le dossier du chercheur, et se trouvent plus souvent en désaccord quant à leurs cotations que les évaluateurs en recherche biomédicale.
    • Même si les décisions relatives au financement du POSF sont basées sur les classements et non sur les cotes, une notation plus faible peut avoir certaines répercussions pour les chercheurs, comme ne pas être admissibles pour certaines « annonces de priorités » stratégiques du POSF.
  • Plus faibles taux de demandes de renouvellement et de succès de ces demandes. Les candidats des thèmes III et IV sont moins susceptibles de présenter des demandes de renouvellement que ceux en recherche biomédicale; ils ont également moins de chances d'obtenir le renouvellement. Les résultats des représentants de ce milieu laissent croire que ces chercheurs ont plus souvent une approche axée sur les projets que sur les programmes dans la présentation de demandes au POSF, et qu'il se pourrait qu'ils ignorent qu'il est possible de renouveler le financement du POSF.
  • Projets transdisciplinaires. Il peut être plus difficile de trouver de bons évaluateurs pour les demandes qui touchent plusieurs disciplines ou plusieurs méthodologies, ou qui touchent des milieux de recherche plus restreints. Dans le système actuel du POSF utilisant des « comités permanents », certaines disciplines et certains champs de recherche ne sont pas nommés explicitement dans le mandat des comités, ce qui pourrait décourager certains candidats de présenter une demande.

Pertinence du programme

Les données de l'évaluation reflètent le besoin de maintenir le POSF et la conformité du programme aux priorités du gouvernement fédéral et des IRSC, ainsi qu'aux rôles et responsabilités du gouvernement fédéral.

• Le programme contribue directement à la réalisation du mandat des IRSC (projet de loi C-13, 13 avril 2000) et est conforme aux priorités du gouvernement fédéral telles qu'elles sont énoncées dans la Stratégie des sciences et de la technologie de 2007 (Industrie Canada, 2007 et 2009).
• Les intervenants principaux sont d'avis que le POSF est crucial pour maintenir une entreprise de recherche de calibre mondial au Canada.
• Les plus récents budgets fédéraux réaffirment l'engagement du gouvernement de soutenir la recherche de pointe et la « recherche en santé d'importance nationale » et le rôle des trois principaux organismes de financement du Canada pour y arriver (Gouvernement du Canada, 2011 et 2012).

Conclusions

• Le POSF attire et finance l'excellence de la recherche en santé depuis 2000. L'impact scientifique des publications des chercheurs financés par le POSF est la preuve que le programme a surpassé les points de référence; des études de cas illustrant des projets à impact élevé démontrent les résultats à long terme de ce financement.
• Le système actuel d'évaluation par les pairs est capable de reconnaître l'excellence, tant du point de vue de la sélection des chercheurs recevant du financement que de celui du classement déterminé par chaque comité; les chercheurs classés parmi les meilleurs lors de l'évaluation par les pairs d'un concours à l'autre ont des cotes d'impact scientifique plus élevées. Les données qualitatives montrent que les chercheurs voient l'obtention d'une subvention du POSF comme une marque de qualité et une validation de leur sujet de recherche.
• Le programme a grandement contribué à l'entreprise de recherche en santé au Canada grâce à l'octroi de subventions du POSF à des chercheurs et à des stagiaires.
• Le POSF est exécuté de façon efficace; les coûts par demande concordent avec les quelques points de référence des autres bailleurs de fonds de la recherche qui sont disponibles. En outre, le degré de satisfaction des candidats à l'égard de l'exécution du programme est généralement élevé.
• Le système actuel d'évaluation par les pairs place cependant un lourd fardeau sur les épaules des évaluateurs, surtout ceux du milieu de la recherche biomédicale. Même si le programme est exécuté de façon efficace, il pourrait être encore amélioré par la réduction de la charge de travail des pairs évaluateurs. La conduite d'« évaluations par les pairs virtuelles », qui permettrait de réduire le temps consacré aux déplacements et aux réunions du comité, est l'un des nombreux moyens par lesquels certains changements au processus d'évaluation par les pairs pourraient améliorer l'efficacité du programme tout en préservant la qualité des évaluations.
• Les résultats préliminaires d'« expériences naturelles » effectuées sur les données du POSF semblent suggérer que, bien que l'évaluation par les pairs soit toujours considérée comme la norme d'excellence par les bailleurs de fonds de la recherche, des systèmes d'évaluation indépendants pourraient produire des résultats semblables. Les premiers résultats de l'évaluation pointent dans cette direction, mais ils ne permettent pas de tirer une conclusion définitive; il sera manifestement nécessaire d'approfondir les recherches dans ce domaine.
• Le temps consacré par les chercheurs à la préparation d'une demande du POSF ne diffère pas significativement des valeurs de référence. Cependant, comme le taux de réussite est en baisse, c'est maintenant quatre demandes sur cinq qui ne reçoivent aucun financement. La rationalisation des renseignements à fournir aux différentes étapes du processus présenterait des avantages majeurs pour les chercheurs et du point de vue du rapport coût-efficacité par demande, étant donné que les coûts associés au temps des chercheurs représentent le plus gros élément de la facture.
• Certains résultats suggèrent que le POSF est déjà exploité comme source de « financement de programmes », si on se fie aux habitudes de renouvellement des candidats (surtout ceux du thème I) et aux résultats des études de cas. Il faut cependant souligner que cette tendance semble beaucoup moins prononcée chez les candidats du thème IV (recherche sur la santé des populations, ses dimensions sociales et culturelles, et les influences environnementales sur la santé).
• Conformément au mandat des IRSC, le POSF appuie des projets dans les quatre thèmes de la recherche en santé de l'organisme. Cependant, comme le démontre la présente évaluation, les différents milieux de recherche ont leur façon propre d'exploiter le programme. Les divergences associées à la façon dont les chercheurs étudient les demandes et les cotent ainsi que les habitudes de renouvellement sont deux exemples de cette diversité.
• La quantité et la qualité des données disponibles pour l'évaluation du POSF se sont améliorées de façon significative depuis la dernière évaluation en 2005. Cependant, le programme aurait besoin d'un ensemble de mesures de rendement précises permettant d'évaluer ses progrès. Le Système de rapport sur la recherche est conçu pour recueillir ces données, mais il faudrait déterminer quelles mesures sont les plus significatives et les plus pertinentes, en particulier pour orienter les améliorations à apporter au programme. Par exemple, des résultats montrent que la mesure du nombre de publications par subvention est influencée par plusieurs facteurs de confusion.

Création de connaissances

Introduction

La création de connaissances est un élément essentiel de la théorie du Programme ouvert de subventions de fonctionnement. Ce dernier permet aux chercheurs des différents domaines de la recherche en santé de soumettre une demande présentant leurs meilleures idées qui, si elles sont financées, pourraient engendrer tout un éventail de résultats de recherche, des publications aux brevets.

Bien sûr, il n'existe pas une seule « bonne façon » de mesurer la création de connaissances associée aux programmes de financement de la recherche. L'analyse bibliométrique est une approche souvent utilisée : les articles universitaires publiés dans des revues à grand tirage facilitent l'accès aux découvertes et aux avancées scinetifiques les plus récentes, et on les considère comme l'un des types de résultats les plus tangibles en recherche universitaire (Goudin, 2005; Larivière et coll., 2006; Moed, 2005; CRSNG, 2007). L'analyse bibliométrique de ces publications sert entre autres à mesurer le nombre d'articles publiés par un chercheur et la fréquence relative à laquelle ils sont cités, ce qui permmet d'en estimer l'impact scientifique. Dans la présente évaluation, la moyenne des citations relatives (MCR) sert de mesure de l'« impact scientifique »^{Note en bas de page 3}.

Toutefois, les critiques de l'analyse bibliométrique affirment que l'évaluation de la qualité d'une publication d'après les citations peut induire en erreur et que les pratiques en matière de citation diffèrent d'une discipline à l'autre, et même parfois entre les sous-domaines d'une même discipline (Ismail et coll., 2009). Cette préoccupation est particulièrement importante pour les IRSC et le POSF, dont le mandat est de financer la recherche en santé dans tous les domaines, notamment des disciplines pour lesquelles la publication de livres ou de chapitres de livres est un indicateur plus utile et plus exact de la création de connaissances. Compte tenu de cet élément, la présente évaluation tient également compte d'autres types de résultats pour estimer la création de connaissances découlant du programme. Elle présente également des études de cas de recherches à impact très élevé découlant du financement du POSF.

Il convient de souligner que les analyses bibliométriques du présent rapport sont fondées sur les données des publications générées par les chercheurs du POSF au moment où ils bénéficiaient de ces subventions. Bien que cette méthode soit couramment acceptée en raison de la supposition que ces subventions contribuent grandement aux résultats de recherche (p. ex. Campbell et coll., 2010), il est impossible d'établir hors de tout doute un lien entre les subventions et les données bibliométriques sur les publications. Ce type d'analyse devrait être disponible pour les prochaines évaluations grâce au développement du Système de rapport sur la recherche des IRSC, dans le cadre duquel les chercheurs dressent une liste des publications découlant de leur subvention, qui peuvent ensuite être directement reliées aux données bibliométriques.

Les publications des chercheurs appuyés par le POSF ont-elles eu un impact scientifique plus grand que celles des chercheurs en santé du Canada et des autres pays de l'OCDE?

Comme le montre la figure 1-1, les publications des chercheurs financés par le POSF pendant qu'ils bénéficiaient d'une subvention du programme ont un impact scientifique plus élevé (d'après la MCR) que la moyenne des chercheurs canadiens en santé. L'analyse révèle également que pour la période 2001-2009, les articles dont les auteurs étaient financés par le POSF ont été cités plus souvent que les articles de recherche en santé des autres pays comparables de l'Organisation de coopération et de développement économiques, ou OCDE (figure 1-1).

Figure 1-1 : Impact des articles publiés par des chercheurs financés par le POSF par rapport aux données sur la recherche en santé de l'OCDE (2001-2009)

Description détaillée de la figure 1-1

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Soulignons que la moyenne globale des citations relatives au Canada comprend tous les chercheurs en santé du pays, y compris ceux qui sont financés par le POSF. Les comparateurs de l'OCDE tiennent compte de tous les chercheurs d'un pays, et non d'organismes ou de programmes de financement individuels. Compte tenu des différences entre les mandats de financement de la recherche en santé d'organismes comme les National Institutes of Health des États-Unis ou les conseils de recherches médicales du Royaume-Uni ou de l'Australie, une comparaison directe entre les organismes pourrait s'avérer problématique. Cependant, une piste potentielle à approfondir pour les prochaines évaluations serait d'examiner la possibilité de poser des points de référence par organisme ou même par programme en jumelant un sous-ensemble de données directement comparable (p. ex. en recherche biomédicale).

L'impact scientifique des publications résultant du financement du POSF a-t-il augmenté ou diminué depuis 2005, ou est-il resté stable?

Comme l'illustre la figure 1-2, l'impact scientifique des articles publiés par des chercheurs financés par le POSF a subi une hausse significative entre la période 2001-2005 et la période 2006-2009 (1,44 pour 2001-2005, 1,54 pour 2006-2009 [p < 0,001])^{Note en bas de page 4}.

Une cause potentielle de cette augmentation touche l'environnement de financement de plus en plus concurrentiel des demandes du POSF. Le taux de réussite, calculé d'après le nombre de candidats retenus par rapport au nombre de demandes, a diminué de 12 % de 2000-2001 (34 %) à 2009-2010 (22 %). Au cours de cette période, l'investissement des IRSC dans le programme a doublé (de 201,2 millions de dollars en 2000-2001 à 419,1 millions de dollars en 2010-2011), mais le POSF a attiré un nombre croissant de demandes (de moins de 2 500 en 2000-2001 à plus de 4 500 en 2010-2011).

Figure 1-2 : Impact scientifique des articles découlant de recherches financées par le POSF (MCR)

Description détaillée de la figure 1-2

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Dans le cadre d'une récente pétition lancée par des chercheurs canadiens en santé préoccupés par la diminution du taux de réussite^{Note en bas de page 5}, les signataires ont énuméré une série de conséquences néfastes de l'augmentation du volume de demandes sur les chercheurs, notamment la perte de travailleurs hautement qualifiés en raison de l'instabilité du financement, un danger pour la chaîne de formation de la prochaine génération de chercheurs en santé, une perte de compétitivité à l'échelle internationale, la difficulté de procéder à l'évaluation par les pairs de façon efficace et l'augmentation du temps consacré à la préparation de demandes non retenues.

La quantité de résultats de recherche par subvention du POSF a-t-elle augmenté ou diminué depuis 2005, ou est-elle restée stable?

Le nombre d'articles scientifiques publiés grâce à une subvention du POSF donne une meilleure idée de la création de connaissances. Bien sûr, l'utilisation et l'interprétation de ces données comportent des restrictions : le simple fait de publier dans une revue à comité de lecture ne donne aucune idée de sa qualité. Cependant, lorsqu'on examine ce paramètre en parallèle avec l'analyse bibliométrique, il offre des données de base utiles sur les résultats découlant des investissements dans le programme, ainsi qu'un aperçu des habitudes de publication des différents groupes des milieux de la recherche en santé des IRSC dans le POSF.

Comme l'indique le tableau 1-1, selon les données du Système de rapport sur la recherche (SRR)^{Note en bas de page 6} des IRSC, les chercheurs financés par le POSF ont publié en moyenne 7,6 articles par subvention. Ces données suggèrent également que la production globale de connaissances financées par le POSF, exprimée par le nombre d'articles de revue, a augmenté depuis 2004 (p < 0,05). Il faut cependant souligner que cette hausse pourrait être attribuable à l'augmentation globale de la production d'articles observée dans le monde (Archambault, 2010). Des données sur les tendances canadiennes en matière de publication laissent croire que le nombre total d'articles publiés par les chercheurs canadiens a augmenté de façon constante, passant d'environ 27 000 en 2000 à environ 37 500 en 2008 (Archambault, 2010).

Une analyse plus poussée montre que le nombre d'articles de revue est moyennement corrélé avec le montant et la durée des subventions accordées (r = 0,42, n = 706, p < 0,001 pour les deux variables indépendantes). Par ailleurs, le montant et la durée des subventions étaient fortement corrélés entre eux : les subventions de plus longue durée offraient habituellement un montant d'argent plus élevé (r = 0.71, n = 706, p < 0,001). Ainsi, il semble que la durée d'une subvention soit fortement corrélée avec le nombre d'articles publiés. Par contre, la durée des subventions n'est pas uniforme dans les quatre thèmes de recherche. En moyenne, les subventions accordées en recherche biomédicale ont une durée plus longue (3,4 ans) que celles des trois autres thèmes (3,0, 2,3 et 2,8 ans pour les thèmes II, III et IV, respectivement); ces différences sont statistiquement significatives (p < 0,001)^{Note en bas de page 7}.

L'importance de la durée d'une subvention et les différences dans la durée entre les thèmes peuvent avoir un impact sur la productivité globale calculée pour chaque thème : les chercheurs recevant des subventions de plus longue durée effectuent des recherches durant une période plus longue, ce qui leur permet de produire davantage de résultats à publier. En recherche clinique et biomédicale, les chercheurs reçoivent typiquement des subventions de plus longue durée que dans les autres thèmes et déclarent un plus grand nombre de publications. Ces variations du nombre d'articles sont généralement attribuées aux différentes habitudes de publication entre le milieu biomédical et celui des sciences sociales. D'après le SRR, le nombre moyen de publications par thème était de 8,07 pour le thème I; 6,86 pour le thème II; 2,93 pour le thème III; et de 6,57 pour le thème IV; la moyenne était de 7,55 (p < 0,01).

Afin de tenir compte des différences dans la durée des subventions des différents thèmes, le nombre d'articles de revue a été normalisé en fonction de la durée des subventions^{Note en bas de page 8}. On a divisé le nombre d'articles de revue rapporté par la durée des subventions. Selon ces résultats, pour la majorité des chercheurs, la productivité sous forme de publications est très similaire lorsqu'on tient compte de la durée des subventions. Les différences entre les thèmes étaient près d'être significatives (p = 0,06), probablement en raison des habitudes de publication différentes des chercheurs du thème III (figure 1-3)^{Note en bas de page 9}.

Figure 1-3 : Production d'articles de revue par année de subvention et par thème

Description détaillée de la figure 1-3

Source : Système de rapport sur la recherche, mise à l'essai (n = 565) et données actuelles (n = 141).

Dans le cadre de l'évaluation du POSF, cette analyse est importante, car elle montre à quel point l'évaluation de la productivité par le simple décompte des publications peut être trompeuse. La prochaine évaluation du rendement du programme devra tenir compte de cet élément, ainsi que d'autres facteurs confusionnels, lors de l'évaluation de cet indicateur de la création de connaissance.

Pic de publications trois ans après l'année du concours

Pour mesurer avec exactitude les résultats de recherche du POSF à l'aide d'outils de collecte de données comme le Système de rapport sur la recherche (SRR), il faut bien comprendre les habitudes de publication des chercheurs. Des données ont été recueillies sur les subventions du POSF dont la date de fin était survenue entre le 1^er janvier 2000 et le 31 juillet 2008, ce qui a permis l'analyse de plus longs intervalles entre l'année du concours et l'année de publication des articles découlant de ces subventions.

La figure 1-4 illustre les habitudes de publication des chercheurs financés par le POSF après l'année du concours. Nous avons analysé ces données en fonction de la durée de la subvention (trois ou cinq ans) afin d'évaluer les différences potentielles des habitudes de publication en fonction de la durée du financement. Pour les deux durées de subvention, on a observé qu'environ 95 % des articles avaient été publiés au cours des huit années suivant l'année du concours (ADC+8). Pour les deux durées de subvention, la période de productivité maximale est survenue trois ans après l'année du concours (ADC+3).

Des analyses plus détaillées de ces données révèlent qu'en moyenne, le premier article de revue a été publié 2,18 ans après le début d'une subvention, et qu'il existe une variation significative entre les thèmes. Les chercheurs du thème I ont publié leur premier article en moyenne 2 ans après le début de leur subvention; ceux du thème IV, après 2,6 ans, ceux du thème II, après 3 ans, et ceux du thème III, après 3,2 ans (p < 0,001).

Figure 1-4 : Habitudes de publication par durée de subvention – quand les chercheurs financés publient-ils?

Description détaillée de la figure 1-4

Source : Système de rapport sur la recherche, mise à l'essai et données actuelles (n = 492).

Encore une fois, cette analyse est importante, car elle montre que l'évaluation du rendement de ce programme et d'autres programmes semblables doit tenir compte de telles différences dans les habitudes de publication. La collecte de données sur les publications à un moment précis après la fin d'une subvention pourrait entraîner une sous-évaluation dans certains milieux de recherche.

Livres, chapitres de livres et rapports découlant de subventions du POSF

L'utilisation de données bibliométriques pour mesurer la création de connaissances peut désavantager des chercheurs de domaines dans lesquels les articles de revue ne constituent pas les principaux moyens de dissémination. Pour ces chercheurs, les livres, les chapitres de livres et les rapports peuvent être considérés comme les preuves les plus importantes de la création et de la dissémination de connaissances. Il est donc important de mesurer ces types de résultats.

Comme l'illustre la figure 1-5, les données concernant ces véhicules de connaissances révèlent deux tendances. D'abord, il semble que les chercheurs du thème III publient moins de livres ou de chapitres de livres que leurs pairs des trois autres thèmes. Inversement, ils semblent publier en moyenne davantage de rapports que leurs pairs des thèmes I et II. Ces différences dans les habitudes de publication de ces trois types de résultats ne sont cependant pas statistiquement significatives en raison de la petite tille des échantillons de chercheurs qui ont déclaré avoir produit ces résultats.

Figure 1-5 : Livres, chapitres de livres et rapports découlant de subventions du POSF

Description détaillée de la figure 1-5

Source : Système de rapport sur la recherche, mise à l'essai (n = 596) et données actuelles (n = 141).

Conception et exécution du programme

Introduction

La présente évaluation survient au moment où les IRSC examinent diverses possibilités pour la restructuration de leurs programmes ouverts, notamment le POSF. À l'époque où a eu lieu la présente évaluation, l'organisme entamait une série de consultations avec le milieu de la recherche en santé afin de recueillir des commentaires sur l'orientation future des programmes menés par des chercheurs des IRSC.

Les résultats de la présente évaluation du Programme ouvert de subventions de fonctionnement influenceront le processus de restructuration des programmes de l'organisme. Grâce à l'examen des données existantes du POSF, l'évaluation produira davantage de résultats afin d'orienter les décisions à prendre quant à la restructuration des programmes, ainsi que des points de références pour évaluer le succès de ces changements.

Ainsi, la présente section du rapport, qui porte sur la conception et l'exécution du programme, peut être divisée en deux parties :

• L'analyse de la conception et de l'exécution actuelles du POSF, soit la mesure dans laquelle les processus actuels d'évaluation par les pairs sont capables de déceler et de choisir l'excellence scientifique future; la satisfaction à l'égard de l'exécution du programme; l'analyse du rapport coût-efficacité de l'exécution du programme.
• Les autres modèles possibles du POSF, soit des résultats qui pourront orienter le processus de restructuration des programmes des IRSC, notamment un mécanisme de financement de programmes de recherche, et l'étude des répercussions potentielles de l'adoption d'autres approches possibles d'évaluation par les pairs.

Le processus d'évaluation par les pairs du POSF est-il capable de déceler et de choisir l'excellence scientifique future?

Un élément primordial de la conception du Programme ouvert de subventions de fonctionnement est le fait que le processus d'évaluation par les pairs doit être en mesure de sélectionner les demandes des candidats qui ont les meilleures idées de recherche. Si le processus réussit à accomplir ce pour quoi il a été conçu, on remarquera que les demandes choisies, surtout celles qui étaient les mieux classées par les comités d'évaluation par les pairs, sont associées à la publication d'articles dont l'impact scientifique (mesuré à l'aide de la moyenne des citations relatives) est supérieur à celui des demandes refusées. Cette approche d'examen de l'évaluation par les pairs a été utilisée par d'autres bailleurs de fonds, notamment dans le cadre d'une étude pour l'Alberta Ingenuity Fund (Alberta Ingenuity Fund, 2008).

L'impact scientifique des articles des candidats retenus dans le cadre du POSF s'est avéré largement supérieur à celui des articles des candidats non retenus et de ceux qui n'avaient jamais été financés par le POSF (figure 2-1). Au cours de la période 2000-2009, les candidats retenus ont obtenu une MCR de 1,54, alors que la moyenne canadienne était de 1,24. Les candidats non retenus avaient également une MCR beaucoup plus élevée que la moyenne canadienne de la recherche en santé (MCR de 1,45), et même les candidats n'ayant jamais réussi à obtenir du financement dans le cadre du POSF avaient une cote supérieure à la moyenne (MCR de 1,36), ce qui appuie l'hypothèse selon laquelle un POSF très compétitif attire l'excellence.

Figure 2-1 : Impact scientifique des candidats au cours des deux années suivant le concours selon le résultat de leur demande ainsi que des articles canadiens publiés dans des domaines liés à la santé par année de publication (2000-2009) [MCR]

Description détaillée de la figure 2-1

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Les décisions relatives au financement du POSF sont déterminées à l'aide d'un classement par rang centile des demandes, d'après un algorithme tenant compte des moyennes des cotations du comité et du nombre de demandes évaluées par ce comité. Si le processus d'évaluation par les pairs fonctionne correctement, on s'attend à ce que les demandes les mieux cotées aient un impact scientifique plus grand que les moins bien cotées. L'analyse bibliométrique (figure 2-2) a montré que les articles publiés par des chercheurs figurant toujours dans les premiers 10 centiles (les mieux cotés) de leur comité d'évaluation par les pairs lorsqu'ils présentent une demande au POSF ont un impact scientifique plus grand (MCR de 1,91) que les articles des chercheurs figurant parfois (MCR de 1,64) ou jamais (MCR de 1,38) parmi les meilleurs.

Figure 2-2 : Moyenne des citations relatives des articles de chercheurs financés selon le rang centile accordé par le comité d'évaluation par les pairs et selon l'année de publication (2001-2009) (MCR)

Description détaillée de la figure 2-2

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Les résultats de cette analyse appuient donc l'hypothèse selon laquelle les comités d'évaluation par les pairs du POSF sélectionnent les « meilleures idées de recherche » en matière de résultats qui en découlent, comme l'illustrent le nombre d'articles publiés et leur impact.

À quel point les candidats du POSF sont-ils satisfaits de l'exécution des processus de présentation des demandes, d'évaluation par les pairs et de gestion postérieure à l'octroi des bourses?

Le degré de satisfaction des candidats à l'égard des processus de demande et d'évaluation par les pairs donne une idée de l'opinion des chercheurs à propos de l'efficacité de l'exécution du programme par les IRSC. Ces résultats peuvent servir à cerner des points à améliorer dans l'exécution du POSF^{Note en bas de page 10}.

Le tableau 2-1 résume l'opinion des chercheurs à propos de différents éléments du processus de demande et du processus d'évaluation par les pairs : 1) le degré de satisfaction à l'égard de chaque élément; 2) l'importance accordée par le chercheur à chaque élément; 3) les points à améliorer parmi les éléments présentés; 4) l'amélioration ou la détérioration perçue de chaque élément au cours des cinq dernières années.

Comme on pouvait s'y attendre, le degré de satisfaction s'est avéré plus élevé pour les aspects plus directs et plus « transactionnels » de l'exécution du programme, par exemple la présentation des demandes, les instructions pour la présentation d'une demande et l'affichage des résultats dans un délai raisonnable. À l'inverse, les processus plus complexes de l'évaluation par les pairs ont obtenu un degré de satisfaction plus faible et étaient généralement considérés comme plus importants par les participants.

Lorsqu'on situe ces résultats dans le contexte d'autres points de référence, les notes du POSF se comparent avantageusement avec celles diffusées dans la récente évaluation sommative du Programme des subventions ordinaires de recherche (SOR) du Conseil de recherches en sciences humaines (CRSH, 2010) – clarté des instructions pour la présentation d'une demande : 67 % pour le POSF, 61 % pour les SOR; facilité de présentation d'une demande, 72 % pour le POSF, 52 % pour les SOR^{Note en bas de page 11}. Les données montraient également que les candidats retenus avaient tendance à être plus satisfaits que les candidats non retenus, ce qui est également le cas dans l'évaluation du programme des SOR et dans les sondages sur la satisfaction des clients en général.

Points à améliorer

Bien que ces résultats puissent être considérés comme étant généralement positifs, il est utile, si l'on cherche à améliorer l'exécution des programmes, de mettre l'accent sur les éléments présentant les caractéristiques suivantes :

1. Faible degré de satisfaction;
2. Considéré comme important par les participants;
3. Mentionné comme point à améliorer;
4. Perçu comme s'étant détérioré au cours des cinq dernières années.

Les deux rangées ombrées du tableau 2-1 correspondent à des éléments qui présentent toutes ces caractéristiques. Les deux aspects touchent l'évaluation par les pairs : la qualité des conclusions de l'évaluation par les pairs et l'uniformité des conclusions de l'évaluation par les pairs.

L'importance accordée à la qualité des conclusions de l'évaluation par les pairs ressort particulièrement. En effet, les candidats l'ont classée comme l'élément le plus important du processus de demande : environ trois personnes sur quatre l'ont coté comme important (74,1 %). En outre, un peu moins d'un candidat sur deux (47,7 %) l'a mentionnée comme point à améliorer.

Il est recommandé d'étudier plus en profondeur la façon dont les candidats évaluent la « qualité » dans ce contexte. Par exemple, ils pourraient la lier à des aspects de l'exécution des processus d'évaluation par les pairs ou à une évaluation des demandes sélectionnées; si les candidats croient que les meilleures demandes ne sont pas retenues, ils peuvent trouver que cela reflète un manque de « qualité ». L'analyse des résultats de ces deux éléments selon le thème des IRSC révèle peu de différence entre les thèmes.

Le POSF est-il exécuté de façon économique et efficace?

Pour évaluer le rapport coût-efficacité de l'exécution du POSF, la présente évaluation a repris ici la méthodologie d'une étude évaluée par les pairs portant sur des données du National Health and Medical Research Council (NHMRC) d'Australie (Graves, Barnett et Clarke, 2011).

Cette évaluation, qui s'inspire de l'étude de Graves et coll., a cela d'innovateur qu'elle ne tient pas seulement compte des frais d'administration associés à l'exécution du POSF pour les IRSC : elle examine également les coûts du programme pour les candidats et les pairs évaluateurs. Comme nous l'avons indiqué, les réformes proposées aux programmes des IRSC visent à réduire le temps passé par les chercheurs à préparer des demandes ainsi qu'à rendre l'évaluation par les pairs plus efficiente. La présente étude quantifie les répercussions financières du temps investi par les chercheurs et les pairs évaluateurs.

De plus, l'analyse effectuée constitue une amélioration de l'étude de Graves et coll., car elle tient compte des données d'un plus grand échantillon de pairs évaluateurs et de chercheurs dans les calculs présentés dans le tableau 2-2, ce qui devrait améliorer le caractère valide et généralisable de ces résultats. Nous utilisons l'approche par ingrédients de l'analyse des coûts, qui part du principe que chaque programme (ici le POSF) utilise des « ingrédients » qui ont chacun une valeur ou un coût (Levin et McEwan, 2001).

Comme le montre l'analyse détaillée du tableau 2-2, le coût moyen par demande du POSF, y compris les frais d'administration (directs et indirects) et les « coûts » pour les candidats et les évaluateurs (valeur monétaire du temps), est de 13 997 $. En comparaison, le coût moyen pour le NHMRC est de 18 896 $.

Comme l'illustre le tableau 2-3, les frais d'administration directs et indirects par demande de subvention (1 307 $) sont comparables à ceux calculés pour le NHMRC d'Australie (1 022 $) et les National Institutes of Health des États-Unis (1 893 $).

Le modèle actuel de financement par projet du POSF permet-il aux IRSC et au gouvernement d'appuyer la recherche en santé de manière appropriée?

Des modèles de financement axés sur les projets et les programmes sont utilisés par les organismes de financement de la recherche partout dans le monde pour appuyer l'excellence en recherche. Le financement axé sur les projets permet d'appuyer des idées : « des projets de recherche définis et assortis de jalons (dates de début, de milieu et de fin) » (IRSC, 2012a). Des modèles de financement axés sur les projets ont été mis en place avec succès par les National Institutes of Health (p. ex. le NIH Research Project Grant Program – R01) et la fondation Gates (p. ex. Grand Challenges in Global Health [Grands défis en matière de santé mondiale]) [Grand Challenges in Global Health, 2011; Ioannidis, 2011; Azoulay, Graff-Zivin et Manso, 2009; Jacob et Lefgren, 2007].

Quant aux subventions programmatiques, elles permettent d'appuyer les chercheurs par le financement d'« un vaste programme de recherche sur plusieurs années, habituellement à un taux fixe, mais variant parfois en fonction du type de recherche réalisé et des coûts engendrés » (IRSC, 2012a). Plusieurs organismes de financement, comme le Wellcome Trust au Royaume-Uni et le Howard Hughes Medical Institute aux États-Unis, ont obtenu des résultats positifs après avoir mis en place des mécanismes de financement de programmes de recherche. Les deux modèles ont leurs avantages, et il n'existe aucune preuve indiquant que l'un est « meilleur » que l'autre.

Le POSF actuel provient du prédécesseur des IRSC, le Conseil de recherches médicales, et il privilégie une approche de financement axée sur les projets pour appuyer la recherche. Alors que la recherche en santé et les approches de financement de la recherche ont évolué au Canada et partout dans le monde, le POSF n'a subi que des adaptations relativement mineures (par exemple, des modifications aux méthodologies de classement des demandes par les comités d'évaluation par les pairs). De manière générale, les IRSC ont choisi de réagir aux nouvelles possibilités et aux nouveaux défis en créant d'autres programmes, par exemple dans les domaines de l'application des connaissances et de la commercialisation. Cependant, tandis que le POSF lui-même n'a pas changé de façon majeure, il en va autrement des milieux qu'il sert et des habitudes des candidats.

Les candidats renouvellent fréquemment les subventions du POSF

La mesure dans laquelle les candidats renouvellent leurs subventions peut être utilisée pour déterminer à quel point le POSF sert à financer des subventions « programmatiques » à long terme plutôt que des projets à court terme. Il est important de garder en tête ici que les habitudes de renouvellement ne sont pas uniformes d'un thème de recherche à l'autre; les chercheurs des IRSC dans le domaine des systèmes et des services de santé et dans le domaine de la santé des populations (thèmes III et IV) sont beaucoup moins susceptibles de présenter des demandes de renouvellement et de voir leurs subventions renouvelées que les autres chercheurs, ce qui s'explique en partie par la nature de leur milieu de recherche. Malgré cette restriction, étant donné que le POSF continue de financer surtout la recherche biomédicale (environ 80 % des titulaires de subvention), les renouvellements de subvention semblent être un paramètre acceptable pour mesurer les habitudes de « financement de programmes ».

L'analyse des données des demandes de renouvellement retenues et non retenues soumises au POSF de 2000 à 2010 montre qu'au cours de cette période, entre 51 % et 23,6 % des demandes retenues avaient déjà été financées au moins une fois (figure 2-3). Si l'on considère que le fait qu'une demande retenue soit renouvelée une ou plusieurs fois est un signe de financement de programmes, les données semblent confirmer l'existence d'« habitudes » de financement de programmes chez certains chercheurs au sein du POSF.

Figure 2-3 : Demandes de renouvellement du POSF dotées d'un NRF, ayant déjà reçu du financement ou non, réparties par concours (2000-2010)

Description détaillée de la figure 2-3

« Première version » signifie que la demande n'a jamais reçu de financement, « plus d'une version » signifie qu'elle en a reçu au moins une fois. Il est possible que les données de 2000 à 2003 soient incomplètes en raison du transfert de la base de données du CRM aux IRSC; elles doivent donc être interprétées avec prudence.

Source : Données du Système d'information électronique des IRSC pour le POSF, 2000-2010 (n = 37 604) fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

Bien que les données montrent une diminution progressive des renouvellements – de 51 % au concours de mars 2000 à moins de 24 % à celui de septembre 2010 –, la persistance d'« habitudes » de financement de programmes pour une demande sur cinq souligne leur importance continue. On pourrait considérer que ces candidats fonctionnent déjà dans un mode de « financement de programmes », en présentant plusieurs demandes pour la même recherche, sans toutefois bénéficier des avantages d'un financement de programmes stable et permanent. Des subventions de programme à plus long terme permettraient à ces candidats de consacrer moins de temps à la préparation de demandes de financement et plus de temps à leur programme de recherche.

Par ailleurs, les études de cas présentées plus loin et portant sur des recherches à impact élevé financées par le POSF illustrent aussi l'existence de financement de programmes au sein du modèle axé sur les projets du POSF, ainsi que le point de vue des chercheurs à propos de ce fonctionnement. Certains des principaux participants à l'étude de cas soutenaient directement le concept du financement de programmes, affirmant que :

« La préparation de demandes de subventions est une longue démarche, et la présentation répétée de demandes monopolise [leur] temps et [leur] énergie. »

Voici deux exemples de financement de programmes provenant des études de cas :

• Les travaux de la Dre Caroline Hoemann sur les caillots sanguins stabilisés par le chitosane, Defining Therapeutic Inflammation in Articular Cartilage Repair, ont reçu leur premier renouvellement de financement, et la Dre Hoemann est inscrite comme cochercheuse principale d'un projet dont la subvention est un deuxième renouvellement (Mechanisms and Optimisation of Marrow Stimulated Cartilage Repair, financé de 2006 à 2015).
• Les travaux de la Dre Daniela O'Neill, portant sur le développement de l'esprit des enfants et leur faculté de comprendre, et le lien avec le développement sur le plan de la communication et du Language Use Inventory (LUI) [inventaire de l'utilisation du langage], ont été rendus possibles grâce à l'appui du POSF. La Dre O'Neill a reçu un total de quatre subventions du POSF liées au LUI, dont une a été renouvelée une fois.

Les participants à l'étude de cas ont convenu qu'il leur importe peu que le financement soit axé sur les projets ou les programmes, mais que leurs laboratoires ont besoin de financement sans interruption pour continuer de fonctionner et retenir leurs travailleurs hautement qualifiés, et que :

« La continuité des subventions grâce aux processus de renouvellement et la capacité à accéder aux subventions de fonctionnement sont d'importantes caractéristiques du mécanisme de financement des IRSC. »

De manière générale, on s'attend à ce que le dossier des chercheurs joue un rôle important dans les concours de subventions programmatiques, étant donné que le comité doit être sûr que le candidat peut obtenir des résultats avec son programme de recherche. Dans le contexte du POSF, les habitudes des pairs évaluateurs pourraient fournir d'autres éléments confirmant que le financement de programmes existe, même s'il n'est pas appelé ainsi. L'analyse du contenu des commentaires énoncés par les membres du comité d'évaluation par les pairs du POSF et les agents scientifiques de 2004 à 2008 a permis de conclure que « le dossier est de plus en plus important dans l'évaluation du mérite des propositions de subvention » (Unité de l'évaluation des IRSC, 2009).

Les données ci-dessus semblent suggérer que certains candidats et évaluateurs agissent comme si le POSF offrait du financement de programmes. Si c'est bien le cas, cette situation viendrait confirmer l'intérêt de la proposition des IRSC d'utiliser les deux types de mécanismes de financement dans ses concours ouverts (IRSC, 2012a). Le contexte actuel offre une occasion en or d'apporter des modifications qui appuient à la fois le financement de projets et le financement de programmes. Il faut cependant souligner que les signes d'utilisation du dossier des chercheurs comme critère varient d'un comité à l'autre, et qu'officiellement, les IRSC n'ont ni ajouté ce critère, ni pondéré son importance dans le processus actuel d'évaluation des demandes présentées dans le cadre du POSF.

Quels autres modèles pourraient être envisagés – évaluation par les pairs?

Les IRSC ont récemment consulté des intervenants au sujet de la restructuration de leur série de programmes ouverts, qui pourrait inclure d'autres modèles possibles pour l'exécution de l'évaluation par les pairs. La présente section décrit les retombées potentielles de ces modèles dans le contexte de la conception et de l'exécution futures du POSF.

Dans le cadre de leurs consultations au sujet des améliorations à apporter à l'évaluation par les pairs, les IRSC étudient des éléments de la conception permettant de réduire le temps total passé par les évaluateurs à examiner une demande, à en discuter et à formuler des commentaires. La mise en place d'un processus de concours en plusieurs étapes comprenant un processus de présélection en deux étapes avant l'évaluation en personne est actuellement à l'examen, ainsi que l'ajout de critères d'examen structurés et la tenue d'évaluations et de conversations de présélection dans un « espace virtuel ». Les IRSC cherchent à faire un usage plus judicieux des réunions en personne des comités, en les réservant pour la synthèse des résultats des évaluations effectuées à distance et la détermination des recommandations finales de financement (IRSC, 2012a). Ces mesures devraient permettre d'améliorer l'efficacité et l'efficience du programme du point de vue de l'organisme, des candidats et des évaluateurs.

Il est pertinent de mentionner que, bien que les évaluations par les pairs soient le principal moyen d'évaluer les demandes au sein d'importants organismes de financement partout dans le monde, on en connaît relativement peu sur la nature de leurs répercussions sur la qualité des recherches financées (Graves et coll., 2011). Une récente revue systématique Cochrane des évaluations par les pairs (Demicheli et di Pietrantonj, 2007) recommandait un examen plus poussé de l'efficacité et de l'efficience du processus utilisé par les organismes de financement de la recherche.

Évaluation des demandes retenues par l'examen indépendant, en comparaison avec celles retenues par des discussions en personne

Dans le but de répondre à la question d'évaluation des processus actuels d'évaluation par les pairs du POSF et d'orienter les futurs modèles, nous nous concentrerons sur deux pistes de recherche pertinentes :

1. L'évaluation de la relation entre les classements des notes des évaluateurs indépendants (présentés avant les réunions des comités d'évaluation par les pairs) et ceux des comités selon la conception actuelle de l'évaluation par les pairs du POSF.
2. L'analyse bibliométrique de l'impact scientifique des chercheurs (mesuré à l'aide de la moyenne des citations relatives) dans le but d'évaluer la « qualité » des projets financés par les comités en personne en comparaison avec celle des projets qui auraient été financés selon les notes des évaluateurs indépendants.

Dans un système d'évaluation par les pairs restructuré dont les premières étapes reposent sur l'examen indépendant des demandes de financement, il est nécessaire d'être sûr que les demandes choisies au départ sans discussion du comité sont les plus méritoires. Autrement, il existe un risque que des demandes prometteuses soient éliminées. Avant d'approuver ce type de restructuration, il est également nécessaire d'établir que l'utilisation d'autres méthodes de sélection que la formule actuelle d'évaluation par les pairs en personne n'aura pas d'effet négatif sur le choix des projets financés. Bref, les IRSC doivent être certains que leurs programmes ouverts continueront de financer l'excellence.

Afin de comprendre l'analyse effectuée, il faut d'abord décrire brièvement le processus actuel d'évaluation par les pairs du POSF. La sélection des demandes se fait en trois étapes :

1. Au moins deux évaluateurs travaillant séparément attribuent des notes d'évaluation (notes à la maison) aux demandes.
2. Les évaluateurs indépendants parviennent à une « note consensuelle » après discussion avec le comité d'évaluation complet (en moyenne 15 membres; de 6 à 27 membres).
3. Le comité attribue une note finale représentant la moyenne des notes de tous les membres.

La première piste de recherche porte donc sur l'utilisation de données sur la notation des demandes aux étapes 1 et 3 dans une « expérience naturelle » comparant le classement d'après les cotes de l'évaluation indépendante au classement final du comité d'évaluation par les pairs après discussion^{Note en bas de page 12}.

S'il existe un haut degré de concordance entre les classements s'appuyant sur les notes des évaluateurs indépendants et ceux s'appuyant sur les cotes finales du comité, on peut poser l'hypothèse que l'évaluation initiale des demandes produit sensiblement les mêmes résultats qu'une discussion en personne. Une analyse plus poussée évalue la sensibilité et la spécificité d'un modèle hypothétique de financement à l'aide d'évaluateurs indépendants en utilisant les classements des comités comme valeur de référence.

La seconde piste de recherche s'articule autour d'une analyse bibliométrique fondée sur l'impact scientifique des publications des chercheurs après avoir présenté une demande au POSF (à l'aide de la moyenne des citations relatives). Cette mesure vise à comparer les notes relativement à l'impact pour les candidats retenus par le POSF à l'étape du comité d'évaluation par les pairs seulement, à l'étape de l'étude indépendante seulement, aux deux étapes et à aucune des deux étapes.

Pour ces deux pistes de recherche, il faut prendre acte de plusieurs importantes restrictions et mises en garde. Voici les principales :

• Les évaluateurs qui attribuent les notes des examens indépendants les font parvenir aux comités d'évaluation par les pairs pour en discuter. Les deux échantillons ne sont donc pas « indépendants » : les notes finales du comité sont influencées par ces évaluateurs.
• Dans la restructuration proposée par les IRSC, on utiliserait plus de deux évaluateurs à la première étape, ce qui améliorerait la fiabilité de leurs évaluations.
• Ensuite, les données bibliométriques analysées sont fondées sur le lien des notes relativement à l'impact avec les chercheurs plutôt qu'avec les demandes, et portent sur une courte durée seulement. Il est problématique de distinguer l'effet des publications découlant de recherches appuyées par le POSF de celui des publications découlant d'autres projets, ainsi que de tenir compte du fait que le dossier de publication antérieur est l'un des critères utilisés par les évaluateurs indépendants et les comités pour noter les demandes.
• La causalité inverse représente une autre restriction, étant donné qu'en théorie, le financement du projet influencera sa réussite en matière de publications. Il est cependant important de souligner que même, si l'on croirait intuitivement que l'obtention de financement est susceptible de rendre un chercheur plus prolifique, une étude portant sur les subventions R01 du NIH semble indiquer que cette hypothèse n'est vraie qu'en partie (Jacob et Lefgren, 2007). L'étude a révélé que l'obtention d'une subvention R01 n'a entraîné qu'une augmentation d'environ un article par chercheur financé pour une période de cinq ans, en tenant compte des conditions préalables.

Malgré ces restrictions et le peu de données sur les évaluations par les pairs, nos analyses commencent à répondre à certaines questions que posent plusieurs organismes de financement partout dans le monde. Il est évident que des recherches plus poussées sont nécessaires, soit dans le cadre des prochaines évaluations du Programme ouvert de subventions de fonctionnement des IRSC et de son successeur, soit dans le cadre d'un programme de recherche de l'organisme visant à comprendre l'impact de ces changements.

Évaluer la relation entre le classement des évaluateurs indépendants et celui des comités

Environ 75 % des demandes du POSF retenues pour du financement à l'étape du comité auraient également été financées d'après le classement initial de l'évaluation indépendante. Comme l'illustre la figure 2-4, il existe une certaine concordance entre le classement de l'évaluation indépendante et celui du comité pour les meilleures demandes (premiers 20 %) et pour les moins bonnes (derniers 20 %). Comme d'autres études l'ont déjà montré, l'importante variabilité des trois groupes intermédiaires reflète la grande difficulté de déterminer le mérite des propositions se retrouvant entre les deux extrêmes (p. ex. Cole et coll. 1981; Martin and Irvine, 1983; Langfeldt, 2001; Cicchetti, 1991).

Figure 2-4 : Concordance entre les classements des étapes de l'évaluation indépendante et du comité

Description détaillée de la figure 2-4

Source : Données du Système d'information électronique sur le POSF, 2005-2010 (n = 21 266) fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

La figure 2-5 appuie l'hypothèse selon laquelle il est plus facile de reconnaître les meilleures demandes. Parmi les demandes classées dans les premiers 5 % à l'étape du comité, environ 95 % provenaient des premiers 20 % de l'étape de l'évaluation indépendante. Bref, presque toutes ces demandes auraient été retenues par les évaluateurs indépendants. Ce degré de concordance reflète les opinions des pairs évaluateurs d'expérience interviewés dans un récent article de la revue Nature (Powell, 2010). Encore une fois, les évaluateurs interrogés ont suggéré qu'il était relativement facile de distinguer les meilleures propositions.

Figure 2-5 : Provenance des demandes classées parmi les premiers 5 % à l'étape du comité

Description détaillée de la figure 2-5

Source : Données du Système d'information électronique sur le POSF, 2005-2010 (n = 21 266) fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

Valeur prédictive des cotes des évaluateurs indépendants

Les résultats décrits ci-dessus ont été corroborés par l'analyse de sensibilité et de spécificité. La sensibilité et la spécificité sont des mesures statistiques couramment utilisées pour évaluer le rendement de tests de diagnostic et de sélection. Dans le présent contexte, ces concepts peuvent être utilisés pour évaluer l'exactitude des prédictions du classement des évaluateurs indépendants (modèle à la maison) par rapport au « résultat réel » ou à la valeur de référence, soit le classement du comité dans le cas présent^{Note en bas de page 13}. La sensibilité et la spécificité indiquent dans quelle mesure le « test » prédit avec exactitude des résultats « corrects ».

Comme on peut le voir dans le tableau 2-4, la sensibilité est une valeur servant à répondre à la question suivante : parmi les demandes retenues par le comité (a+c), quelle proportion a été correctement prédite par le modèle à la maison? On la calcule à l'aide de la formule a/(a+c).

La spécificité, quant à elle, sert à répondre à la question suivante : parmi toutes les propositions qui n'ont pas été retenues par le comité (b+d), quelle proportion a été correctement prédite par le modèle à la maison? On la calcule à l'aide de la formule d/(b+d).

Les valeurs de sensibilité et de spécificité calculées à l'aide des données du tableau 2-4 sont présentées sous le tableau. Elles confirment que 76 % des demandes financées par le comité auraient été financées d'après l'évaluation indépendante initiale (modèle à la maison), tandis que 93 % des demandes qui n'ont pas été financées à l'étape du comité ne l'auraient pas été d'après l'évaluation indépendante. La valeur kappa, une mesure statistique globale du degré de concordance corrigé en fonction de la concordance aléatoire, est de 0,69 pour ces résultats (IC de 95 %; 0,68 à 0,70), ce qui est légèrement inférieur à la sensibilité et à la VPP. Ces résultats reflètent le fait que la majorité des demandes du POSF ne sont pas financées; ainsi, un « test bidon », pour lequel un évaluateur prédirait qu'aucune demande ne serait retenue, aurait raison 75 % du temps (supposant que le taux de réussite global est de 25 %), par pur hasard^{Note en bas de page 17}.

Idéalement, un test aurait une sensibilité et une spécificité de 100 %; en réalité, on doit toujours faire un compromis entre ces deux mesures^{Note en bas de page 18}. L'importance relative optimale des deux valeurs est déterminée par le poids des conséquences de manquer d'excellentes propositions et de financer plutôt des propositions non méritoires.

Le résultat actuel, avec une spécificité élevée (0,93) et une sensibilité de 0,76, laisse entendre qu'en finançant uniquement les propositions retenues par le modèle à la maison, sans avoir recours à des réunions en personne du comité d'évaluation, on pourrait « manquer » jusqu'à une proposition méritoire sur quatre, mais qu'on aurait peu de chances de financer des propositions de faible qualité.

Il convient de rappeler que les notes des deux évaluateurs indépendants ne sont pas indépendantes de celle du comité, étant donné que ceux-ci sont susceptibles d'avoir lu la demande en détail, et qu'ils influenceront donc l'opinion des autres membres du comité. Les mesures de concordance sont donc sans aucun doute surestimées.

Ainsi, les résultats de cette analyse auront pour effet sur la présente évaluation et sur la conception future du programme que même si seulement deux évaluateurs indépendants effectuent la présélection des propositions à la première étape de l'évaluation par les pairs, ils ont de bonnes chances de retenir d'excellentes demandes. Il est probable que l'utilisation d'un plus grand nombre d'évaluateurs à cette étape améliorerait la fiabilité de la sélection de l'excellence (augmentation de la sensibilité des cotes moyennes des évaluateurs indépendants). Ainsi, si la restructuration de l'évaluation par les pairs est mise en place, il est recommandé que les IRSC effectuent une analyse plus poussée de l'impact du nombre d'évaluateurs sur les décisions relatives au financement.

Analyse bibliométrique de l'impact scientifique des chercheurs

Dans le cadre de cette seconde piste de recherche, une analyse préliminaire a été effectuée dans le but d'évaluer le lien entre l'impact scientifique des chercheurs ayant publié des articles issus de recherches associées à une demande au POSF et les résultats de l'évaluation par les pairs^{Note en bas de page 19}. La question de recherche est la suivante : les chercheurs dont la demande a été choisie dans des réunions de comités d'évaluation par les pairs du POSF ont-ils par la suite eu un impact scientifique plus grand que ceux qui auraient été retenus si seuls les évaluateurs indépendants avaient été responsables du classement? Le tableau 2-5 ci-dessous décrit quatre groupes de chercheurs et utilise la sélection par des comités d'évaluation par les pairs en personne comme « valeur de référence » et point de comparaison.

On s'attendrait à ce que les chercheurs du groupe de vrais positifs (demandes choisies selon les classements des évaluateurs indépendants et du comité) aient par la suite l'impact scientifique le plus élevé. Si le classement d'un examen indépendant est bel et bien un moyen fiable de sélectionner l'excellence, on peut également s'attendre à ce que les faux positifs (demandes choisies seulement à l'examen indépendant) aient un impact plus élevé que les vrais négatifs (demandes qui n'ont été choisies ni par le comité ni par les évaluateurs indépendants).

Comme l'illustre la figure 2-6, les vrais positifs (choisis par les évaluateurs et le comité) ont en général une moyenne des citations relatives significativement plus élevée que les trois autres groupes (p < 0,05). Les vrais négatifs (qui n'ont été choisis à aucune des deux étapes) ont une MCR significativement plus faible que les trois autres groupes (p < 0,05). Ces premiers résultats appuient une fois de plus l'hypothèse selon laquelle le processus d'évaluation par les pairs du POSF sélectionne l'excellence.

Par contre, on observe que la différence entre les faux positifs (demandes choisies par les évaluateurs indépendants, mais non par le comité) et les faux négatifs (demandes choisies par le comité, mais non par les évaluateurs indépendants) n'est pas statistiquement significative.

D'après cette analyse préliminaire, rien ne prouve que l'examen indépendant par deux évaluateurs soit une méthode de sélection moins fiable que les discussions d'un comité pour évaluer des projets susceptibles d'engendrer de l'excellence scientifique.

Dans l'ensemble, bien que plusieurs restrictions doivent être gardées à l'esprit, ces résultats semblent appuyer une approche d'évaluation par les pairs comprenant une présélection des demandes par des évaluateurs indépendants.

Figure 2-6 : Les vrais positifs ont de meilleurs résultats que les trois autres groupes

Description détaillée de la figure 2-6

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Application des connaissances

Introduction

Il est précisé dans le mandat des IRSC que l'organisme s'efforce :

« d'exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada » (IRSC, 2012a).

Conformément à ce mandat, un des objectifs principaux du POSF est de « favoriser la création, la dissémination et l'utilisation de connaissances en santé » (IRSC, 2012b). Comme l'indiquent Graham et Tetroe (2007), bien que les découvertes et la génération de nouvelles connaissances aient le potentiel d'entraîner des améliorations de la santé et des systèmes de santé, ces effets ne se concrétiseront pas à moins que les connaissances soient mises en pratique.

La commercialisation de la recherche est une importante forme d'application des connaissances en fin de subvention pour les IRSC et pour le gouvernement fédéral en général. Profiter des avantages de la recherche pour la santé et l'économie est l'un des objectifs fixés par les IRSC dans leur plan stratégique, L'innovation au service de la santé (IRSC, 2010). L'organisme vise à « appliquer les résultats de la recherche en vue d'améliorer les produits, les technologies et les outils de santé pour les Canadiens » (p. 13). L'un des résultats attendus du POSF est la génération de retombées économiques, et la taille et l'ampleur du programme en font un contributeur potentiellement important à ce chapitre.

La commercialisation de la recherche constitue également une priorité majeure pour l'ensemble du gouvernement fédéral. Dans la récente publication Innovation Canada : Le pouvoir d'agir – Examen du soutien fédéral de la recherche-développement – Rapport final du groupe d'experts, parfois appelé le « rapport Jenkins » (Nicholson et Côté, 2011), on demande la création de programmes fédéraux qui appuient la R-D visant la commercialisation pour « contribuer encore davantage au développement d'un Canada plus innovateur et prospère ». On peut aussi considérer que le Programme ouvert de subventions de fonctionnement contribue à l'« avantage entrepreneurial » de la Stratégie des sciences et de la technologie du gouvernement fédéral (Industrie Canada, 2009). Celle-ci vise à transformer « les connaissances et les idées en produits commerciaux qui créeront de la richesse pour les Canadiens et amélioreront leur vie ainsi que celle des autres à travers le monde ».

Quels résultats commercialisables ont été produits par des chercheurs financés par le POSF?

Les données du Système de rapport sur la recherche des IRSC indiquent qu'un large éventail de résultats commercialisables est issu de la recherche financée par le POSF (tableau 3-1). La portée des résultats varie, d'un potentiel de commercialisation manifeste (p. ex. brevets ou entreprises dérivées) à un lien commercial possiblement moins direct (p. ex. création ou modification de politiques ou de programmes), mais qui peut toutefois engendrer un résultat positif sur le plan économique.

Environ un chercheur financé par le POSF sur cinq soutient que sa recherche a donné lieu à l'un des neuf types de résultats commercialisables cités ci-dessous. Comme on pouvait s'y attendre, il existe des différences importantes entre les thèmes de recherche : les chercheurs du domaine biomédical sont plus nombreux que ceux des thèmes III et IV à présenter des produits comme de nouveaux vaccins ou médicaments, de nouveaux brevets et des demandes de propriété intellectuelle, et moins nombreux à mentionner de nouvelles pratiques ou la création ou la modification de politiques ou de programmes.

Résultats à plus long terme

La réalisation d'études de cas sur les résultats commercialisables issus de la recherche financée par le POSF permet une analyse plus approfondie et à plus long terme des types de retombées engendrées par ces subventions. On peut aussi recourir à cette approche pour illustrer la façon dont les fonds du POSF ont contribué à la réalisation de projets à impact élevé. Les données du Système de rapport sur la recherche des IRSC ont été utilisées pour sélectionner un échantillon de projets pertinents faisant l'objet d'entrevues qualitatives approfondies auprès de plusieurs intervenants.

Les projets décrits dans le tableau 3-2 ont eu des impacts variés, notamment sur les patients, les fournisseurs de soins de santé, les autres chercheurs, les étudiants, le système de soins de santé et la société en général. Les produits liés aux systèmes de harnais du Dr Fernie constituent un exemple de retombées touchant divers groupes d'intervenants. Ces produits présentent des avantages directs pour les infirmières, qui courent moins de risques de se blesser en levant des patients, et peuvent avoir des avantages encore plus importants pour ces derniers. En effet, en rendant les patients mobiles, cela peut prévenir certains problèmes de santé comme les ulcères et les blessures associées à leur déplacement passif; le système produit également des résultats positifs relativement à certains problèmes comme l'isolement, la dépression et la confusion chez les patients. Ces retombées viennent s'ajouter aux avantages commercialisables de l'obtention de brevets et de la production de dispositifs.

Tableau 3-2 : Résumé des études de cas sur les impacts de la recherche financée par le POSF

Titre du projet	Mise au point et efficacité de systèmes de harnais avec nouvelles interfaces pour lever les patients	Caillots de sang produits par bioingénierie pour promouvoir la régénération du cartilage	Inventaire de l'utilisation du langage	Contrôle sensoriel du mouvement	Évaluation d'une formation en ligne novatrice pour améliorer la médecine de famille fondée sur des données probantes
Candidat principal désigné	Dr Geoffrey Fernie Université de Toronto	Dre Caroline Hoemann École Polytechnique de Montréal	Dre Daniela O'Neill Université de Waterloo	Dr Arthur Prochazka Université de l'Alberta	Dre Moira Stewart Université Western
Besoin ou problème	Les blessures subies par les infirmières et d'autres fournisseurs de soins de santé constituent une préoccupation majeure et contribuent à l'augmentation du coût des soins de santé.	La fréquence des arthroplasties totales du genou est en hausse en raison du vieillissement de la population et de l'absence de solutions de rechange. Ces arthroplasties sont coûteuses, effractives et risquées, et les listes d'attente sont longues.	Le manque d'outils et d'experts pour évaluer le développement du langage chez les enfants donne lieu à de longues listes d'attente.	L'amélioration des mouvements chez les patients qui ont subi un traumatisme médullaire demeure lente en raison de la mauvaise compréhension de la façon dont les connexions neuronales peuvent être rétablies.	Les mécanismes traditionnels de formation continue n'ont pas entraîné d'améliorations notables dans les soins de santé.
Solution ou invention	Le Dr Fernie a mis au point un dispositif pour aider les infirmières à soulever seules les patients lourds sans se blesser.	La Dre Hoemann a mis au point de nouvelles options thérapeutiques qui peuvent favoriser la guérison efficace du cartilage endommagé du genou.	La Dre O'Neill a mis au point un outil normalisé d'évaluation du développement du langage chez les enfants pour dépister rapidement les problèmes et fournir le soutien approprié. Le recours à cet outil pourrait éliminer le besoin de consulter des experts et réduire les temps d'attente.	Le Dr Prochazka a mis au point plusieurs applications pour aider à générer des mouvements de la main. Ses travaux en sciences fondamentales ont mené à la mise au point d'options de réadaptation qui n'avaient jamais été envisagées auparavant.	La Dre Stewart a métamorphosé la planification et la prestation de la formation continue en mettant au point une méthode de formation intégrée axée sur la technologie pour permettre aux médecins en soins de santé primaires d'accroître leurs connaissances et leurs compétences.
Contexte actuel des produits	Le SlingSerterMD a été breveté, et un petit nombre d'unités sont en production. Le Dr Fernie et son équipe collaborent également avec plusieurs organisations en Chine au sujet d'études portant sur ses dispositifs.	Les résultats de la recherche de la Dre Hoemann sont en cours d'application. Ses travaux ont mené au brevetage d'un produit nommé BSTCarGel®, dont les droits sont actuellement détenus par Piramal Healthcare Canada Ltd. L'entreprise procède actuellement à des essais et travaille à l'obtention d'une autorisation pour commercialiser le produit au Canada et en Europe.	En 2009, la Dre O'Neill a fondé l'entreprise Knowledge in Development Inc., par l'entremise de laquelle elle commercialise le Language Use Inventory (inventaire de l'utilisation du langage), des fiches de notation et un manuel d'utilisation. L'outil est utilisé dans trente états américains, huit provinces canadiennes, au Royaume-Uni, en Irlande, en Australie et en Nouvelle-Zélande. Il est actuellement traduit et testé dans plusieurs langues, dont le français et l'arabe.	Le SRS est un type novateur d'implant nerveux qui, après avoir fait l'objet de nombreuses études d'innocuité chez des animaux, a été implanté chez une personne ayant subi un traumatisme médullaire en 2008 pour aider à rétablir la fonction de sa main. L'étude a été concluante et a été appliquée dans d'autres domaines comme le traitement de la douleur, le contrôle de la vessie et le mouvement de la main.	Bien que les conclusions de cette étude soient mitigées, celle-ci « a fourni une contribution fondée sur des données probantes et a ainsi donné lieu à une amélioration de la qualité » et « constitue un excellent exemple de recherche intéressante et pertinente sur le plan des politiques ». (Alison Paprica, directrice, Direction de la planification, de la recherche et de l'analyse, ministère de la Santé et des Soins de longue durée de l'Ontario)
Finance-ment antérieur du POSF	Il a reçu un total de quatre subventions du POSF, ainsi que d'autres bourses et subventions des IRSC et d'autres organismes de financement.	Elle a reçu de nombreuses subventions des IRSC en tant que chercheuse principale et cochercheuse principale, ainsi que d'autres subventions importantes d'autres organismes de financement.	Elle a reçu un total de quatre subventions du POSF, ainsi que d'autres bourses et subventions des IRSC et d'autres organismes de financement.	Il a reçu un total de six subventions du POSF ainsi que d'autres bourses et subventions des IRSC et d'autres organismes de financement.	Bien qu'elle n'ait reçu qu'une subvention du POSF, elle a obtenu d'autres fonds des IRSC et d'autres organismes de financement.
Importance du finance-ment du POSF	Les études financées par les IRSC ont contribué directement à la conception de produits.	L'étude initiale financée par les IRSC a mené à 18 autres possibilités de financement liées à la recherche initiale portant sur les caillots de sang produits par bioingénierie pour promouvoir la régénération du cartilage.	Le financement consacré à la conception de l'inventaire de l'utilisation du langage et à sa normalisation et aux études ultérieures de facilité d'emploi provient des IRSC. La Dre O'Neill attribue l'existence de l'outil aux IRSC. « Les IRSC ont rendu possible l'inventaire de l'utilisation du langage » (Dre O'Neill).	« J'ai eu la chance d'obtenir des fonds des IRSC pour mes recherches pendant une bonne partie de ma carrière. Ces fonds m'ont aidé à réaliser des recherches, à épauler des étudiants, ainsi qu'à obtenir d'autres fonds de recherche. Sans ce financement de démarrage, il aurait été impossible de procéder aux travaux de sciences fondamentales qui sous-tendent l'activité clinique et commerciale dont nous profitons actuellement » (Dr Prochazka).	Selon la Dre Stewart, les fonds reçus initialement ont été très utiles, puisqu'ils ont permis des progrès relativement à la technologie permettant d'améliorer la qualité des soins.
Avantages possibles	Pourrait contribuer à une diminution significative du coût des soins de santé.	Pourrait diminuer le recours à des traitements plus effractifs et coûteux comme l'arthroplastie totale du genou, ce qui permettrait ainsi une diminution importante du coût des soins de santé.	Des bienfaits pour les enfants et les fournisseurs de soins primaires, autonomisation; plus de temps libéré pour les experts, leur permettant de se concentrer sur des cas plus graves.	L'amélioration des mouvements et de la qualité de vie des personnes ayant subi un traumatisme médullaire.	Grâce à l'accroissement de leurs connaissances et compétences, les médecins en soins de santé primaires sont en mesure de prodiguer des soins fondés sur des données probantes et efficaces à leurs patients.

Les retombées majeures des recherches présentées dans le tableau 3-2 se manifestent souvent sur de longues périodes, parfois des décennies, et peuvent se baser sur des programmes de recherche bien implantés. Par exemple, les travaux du Dr Prochazka sur le contrôle sensoriel du mouvement s'appuient sur 40 ans de recherches. De la même façon, il a fallu plus de 10 ans à la Dre Hoemann pour passer de la recherche en laboratoire réalisée sur des modèles animaux à l'application de la recherche chez les humains. En raison de ces plans de recherche souvent à long terme, il est essentiel que les IRSC procèdent à des « suivis » réguliers auprès des chercheurs qui présentent des projets ou des programmes de recherche qui semblent prometteurs au moment où leurs subventions se terminent. C'est seulement en recourant à cette approche que des bienfaits de plus grande ampleur pourront être obtenus, plutôt que par une approche axée seulement sur les résultats à court terme comme la publication dans des revues.

Comme on l'a déjà relevé dans d'autres évaluations de programmes des IRSC, les chercheurs ont l'impression que l'obtention de subventions de cet organisme est déterminante non seulement sur le plan du financement de la recherche, mais aussi pour obtenir une reconnaissance de l'importance de leur domaine de recherche. Ainsi, ils obtiennent la reconnaissance de leurs pairs, à l'échelle nationale et internationale. Ce constat indique qu'il existe une valeur ajoutée de « prestige » à l'obtention de fonds des IRSC et du POSF, qui permet aux chercheurs de tirer parti des subventions au-delà de leur seule valeur monétaire. Par exemple, le parcours de la Dre Hoemann l'a menée à faire partie d'un groupe ayant présenté une demande concertée à la Fondation canadienne pour l'innovation (FCI) qui a obtenu une subvention de 20,3 millions de dollars pour le financement de l'infrastructure et de la recherche dans le domaine des nanomatériaux et des microsystèmes pour des applications biomédicales, par exemple en orthopédie, en oncologie et dans le domaine des maladies cardiovasculaires.

Les chercheurs qui ont participé aux études de cas ont insisté sur la nécessité que les IRSC appuient les chercheurs en début de carrière pour contribuer au démarrage des projets et permettre la viabilité de la recherche à long terme. Ceci est particulièrement important dans le cadre de tentatives de commercialisation :

« Les sociétés de démarrage en recherche servant à démontrer que les résultats de la recherche sont viables et applicables sont essentielles. C'est seulement à ce moment que l'industrie manifestera un intérêt, reconnaîtra le potentiel et sera prête à participer. »

Une lacune a été relevée par les chercheurs dans les programmes en ce qui concerne la provision de fonds adéquats pour l'application des connaissances et le soutien de l'utilisation des produits de la recherche. Les chercheurs ont relevé une gamme de secteurs dans lesquels, selon eux, le soutien des IRSC pourrait être amélioré :

• Fournir des fonds suffisants pour intensifier les stratégies d'application des connaissances;
• Guider les chercheurs pour les questions complexes de propriété intellectuelle;
• Appuyer l'organisation du transfert de technologie et le brevetage;
• Établir des liens avec des décideurs en matière de politiques.

Les propositions actuelles des IRSC en ce qui concerne la restructuration de leur série de programmes ouverts, dont le POSF, supposent l'incorporation d'un certain nombre de programmes hautement ciblés d'application des connaissances et de commercialisation dans les volets des projets et des programmes ouverts. D'après ces résultats, il sera important que ces nouveaux programmes offrent un financement adéquat pour l'application des connaissances et la commercialisation, et qu'ils soient conçus de façon à encourager ces domaines.

« Migration » du POSF aux subventions de commercialisation

Comme il a été mentionné précédemment, les IRSC offrent actuellement une série de programmes de commercialisation visant à mobiliser les chercheurs et l'industrie. Il s'agit notamment des programmes de démonstration des principes, qui sont conçus pour faciliter et améliorer le transfert commercial de connaissances et de technologies issues de la recherche en santé universitaire, ainsi que d'autres programmes comme le Programme de recherche en collaboration avec l'industrie et le Programme de projets de recherche concertée sur la santé. Les investissements actuels des IRSC dans ces programmes sont relativement peu élevés (14,1 millions de dollars annuellement), bien que l'organisme participe également au financement de programmes axés sur la commercialisation avec ses partenaires du CRSNG et du CRSH (p. ex., les Centres d'excellence en commercialisation et en recherche et les Réseaux de centres d'excellence dirigés par l'entreprise).

Le tableau 3-3 présente le nombre et la proportion de chercheurs financés par le POSF (chercheurs principaux désignés) qui ont « migré » d'une subvention du POSF vers une subvention axée sur la commercialisation. Il est à noter que nous ne pouvons pas assumer que le POSF a nécessairement financé la recherche fondamentale précoce ou la validation de principe initiale ou l'invention qui a été par la suite mise en pratique grâce aux subventions de commercialisation des IRSC à une étape de mise au point de technologie ou de produit au stade préliminaire. Il est cependant probable que c'est ce qui peut être observé pour bon nombre des 337 chercheurs ayant « migré » d'une subvention du POSF à une subvention de commercialisation.

Comme le montre le tableau 3-3, une proportion relativement faible de chercheurs (3,6 %) se voient octroyer une subvention de commercialisation après avoir eu une subvention du POSF. Il se pourrait que la faiblesse relative des investissements dans les programmes de commercialisation y soit pour quelque chose.

Quelle influence la recherche financée par le POSF a-t-elle eue sur les groupes d'intervenants, notamment dans le système de soins de santé, au gouvernement et dans l'industrie?

On s'attend non seulement à ce que les subventions du POSF soient utilisées pour créer des connaissances, mais aussi à ce qu'elles aient, avec le temps, un impact plus vaste, tant sur les individus qu'à l'échelle du système. Comme il a été décrit précédemment, les projets des études de cas fournissent des exemples de la façon dont cela s'est produit dans certains cas particuliers, mais il existe également des données plus généralisables signalées par les chercheurs qui indiquent que leurs recherches financées par le POSF ont eu des retombées pour divers groupes (figure 3-1).

Figure 3-1 : Pourcentage des chercheurs financés indiquant que leurs résultats de recherche ont eu un impact

Description détaillée de la figure 3-1

Les données portent sur les répondants qui ont indiqué des retombées « considérables » ou « importantes ».
Source : Système de rapport sur la recherche, mise à l'essai (n = 596).

Comme le montre la figure 3-1, les chercheurs indiquent le plus souvent que la subvention a permis d'engendrer des recherches subséquentes, que ce soit par leur équipe ou par d'autres personnes. Toutefois, plus d'un chercheur sur cinq mentionne des retombées pour divers intervenants du système de santé. Comme on l'a décrit précédemment, l'impact de la recherche doit souvent s'observer à long terme; on pourrait donc s'attendre à ce que ces pourcentages augmentent de façon importante si on posait la même question aux chercheurs dans 10 ans.

En ce qui concerne les différents groupes d'intervenants concernés par la recherche financée par le POSF, la plupart des chercheurs ont indiqué que leur travail avait influencé dans une mesure considérable ou importante d'autres chercheurs/universitaires et les intervenants figurant dans leurs demandes (figure 3-2).

Figure 3-2 : Pourcentage des répondants ayant affirmé que la recherche financée par le POSF a eu une influence considérable ou importante sur les intervenants

Description détaillée de la figure 3-2

Source : Système de rapport sur la recherche, mise à l'essai (n = 596).

Y a-t-il un lien entre la participation des intervenants au processus de recherche et les résultats de ces recherches?

En ce qui a trait à la mise en œuvre des connaissances générées par la recherche, Graham et Tetroe soutiennent que les résultats de recherche « seront sans doute plus intéressants pour les utilisateurs finaux et surtout utilisés par ceux-ci » si ces derniers participent à tous les aspects du processus de recherche (Graham et Tetroe, 2007). Il s'agit d'un point de vue partagé par plusieurs organismes de financement comme le National Health and Medical Research Council d'Australie (Adily et coll., 2009) et la Fondation canadienne de la recherche sur les services de santé (Lomas, 2000). Les conclusions des études de cas appuient l'importance de l'inclusion des intervenants dans le processus de recherche; les participants à ces études ont attribué une certaine partie de leur succès à l'inclusion des intervenants appropriés dans leur recherche, généralement à un stade précoce.

Cependant, lorsqu'on se penche sur les subventions du POSF de façon plus générale, les données semblent indiquer qu'à l'exception des chercheurs et des universitaires et, dans une certaine mesure, des intervenants figurant officiellement sur la demande de subvention, les autres groupes d'intervenants ne sont pas souvent mis à contribution lors de la réalisation de recherches financées par le POSF (tableau 3-4).

Les chercheurs et universitaires ont participé beaucoup plus activement aux différentes étapes du processus de recherche que tous les autres groupes d'intervenants. Chez les autres utilisateurs potentiels, la participation était plus susceptible de se produire à l'étape « activités d'AC », bien que plusieurs groupes (intervenants dans l'étude mentionnés dans la demande et professionnels ou praticiens des soins/du système de santé et patients/consommateurs de soins de santé) aient aussi participé de façon importante à l'étape de la collecte de données et de la mise en œuvre du projet. Les intervenants officiellement mentionnés dans la demande participaient systématiquement à chaque étape du processus de recherche chez au moins 25 % des titulaires d'une subvention du PSF.

La pleine participation au processus de recherche a été définie comme la participation à chacune des étapes, de l'« élaboration de l'idée de recherche » aux « activités d'AC ». Lorsqu'il y a pleine participation, elle s'observe généralement chez un seul groupe d'utilisateurs (53,9 %), occasionnellement chez deux groupes (16,8 %) et rarement chez trois groupes ou plus (5,8 %) parmi les onze groupes possibles.

La pleine participation recensée variait selon la discipline de recherche, les chercheurs du thème II étant les plus susceptibles (91,9 %) de faire participer d'autres intervenants, suivis de ceux du thème III (89,3 %), du thème IV (85,1 %) et du thème I (71,3 %) [p < 0,01]. La majeure partie de cette participation se faisait avec d'autres chercheurs et universitaires.

Les données de référence dans ce domaine sont rares, mais lorsqu'on combine les thèmes III et IV, on peut estimer à 86,7 % la pleine participation avec au moins un groupe d'utilisateurs. En comparaison, un taux de 35,3 % a été relevé dans une étude semblable réalisée en Australie (Adily et coll., 2009) et portant seulement sur la participation à des subventions et des bourses de formation dans la recherche en santé non biomédicale. Une telle disparité nécessite qu'on s'y attarde davantage, mais il convient de noter que la classification des groupes d'utilisateurs potentiels de la recherche en matière de pleine participation dans notre étude – chercheurs et universitaires, intervenants dans l'étude mentionnés dans la demande, praticiens des soins de santé, patients/consommateurs de soins de santé – est essentiellement la même que celle de l'étude australienne – chercheurs en milieu universitaire autres que des cochercheurs, professionnels des soins de santé et groupes de patients/consommateurs.

Des analyses plus approfondies ont été réalisées sur ces données pour déterminer des associations entre la pleine participation des intervenants et les résultats indiqués par les chercheurs concernant leurs subventions. L'un des résultats, soit les avantages directs pour les sujets humains de la recherche, a permis d'observer une tendance vers une association avec la pleine participation. Environ 23 % des chercheurs qui ont fait état de la pleine participation d'au moins un groupe d'utilisateurs finaux ont aussi fait état d'avantages directs de leurs travaux pour les sujets humains, comparativement à 15,7 % de ceux qui n'ont pas indiqué de pleine participation (p < 0,058).

Développement de la capacité

Le nombre moyen de membres du personnel de recherche et de stagiaires attirés et formés grâce à des subventions du POSF depuis 2000 a-t-il augmenté ou diminué, ou est-il demeuré inchangé?

Le développement de la capacité est un élément important pour le maintien d'une entreprise de recherche de renommée internationale. Les IRSC appuient directement le développement de la capacité par l'octroi de bourses à des chercheurs individuels et indirectement par l'octroi de fonds à des projets de recherche qui développent la capacité en mettant à contribution des étudiants, des stagiaires et d'autres chercheurs ou intervenants. Les comportements à l'égard de la formation et du financement dans les thèmes de recherche des IRSC peuvent varier grandement entre la recherche biomédicale et les sciences sociales.

La définition du développement de la capacité utilisée dans la présente évaluation comprend la participation directe au processus de recherche de tout employé ou stagiaire, rémunéré ou non : chercheurs; assistants de recherche, techniciens de recherche; boursiers postdoctoraux, étudiants qui ont obtenu leur diplôme dans une profession de la santé (M.D., B.Sc.Inf., DDS, etc.), boursiers de recherche (ne poursuivant pas leurs études à la maîtrise ou au doctorat), et stagiaires au doctorat, à la maîtrise et au premier cycle.

Le tableau 4-1 montre le nombre de travailleurs hautement qualifiés (THQ) qui ont été formés ou qui ont reçu du financement grâce à une subvention du POSF. Les données du Système de rapport sur la recherche recueillies auprès des chercheurs financés par le POSF ne représentent qu'une fraction du nombre total de chercheurs financés dans le cadre de ce programme entre 2000 et 2010; il est donc impossible d'obtenir le nombre total de THQ formés ou financés au cours de cette période. Cependant, en utilisant les données qui indiquent une moyenne des THQ formés ou financés par thème, nous avons été en mesure de déduire le nombre total de ces travailleurs qui pourraient avoir été formés dans le cadre de subventions du POSF au cours de cette période, soit n = 81 175. Comme les titulaires d'une subvention du POSF sont maintenant tenus d'utiliser le Système de rapport sur la recherche, la prochaine évaluation du programme, qui sera effectuée dans cinq ans, permettra de confirmer cette estimation.

Il faut aussi prendre en considération certaines autres restrictions. Par exemple, bien qu'il semblerait qu'en termes relatifs, le thème IV soit celui qui a offert le plus grand nombre de possibilités (moyenne : 13,6 THQ par chercheur), il se pourrait que ces données prêtent à confusion. En effet, une seule personne peut être mobilisée par plusieurs chercheurs, dans plusieurs projets et à des degrés de participation divers, ce qui entraîne un risque de double comptabilisation.

La question de la possible « double comptabilisation » d'une même personne dans plusieurs subventions de recherche peut être étudiée de manière plus approfondie par l'analyse des données sur les équivalents temps plein (ETP) pour les travailleurs hautement qualifiés. Cette mesure consigne la proportion du temps passé par le stagiaire sur une subvention, permettant ainsi de tenir compte de situations dans lesquelles les subventions peuvent faire appel à différents stagiaires pour de courtes périodes.

En effet, comme l'illustre le tableau 4-2, les travailleurs hautement qualifiés des chercheurs en recherche clinique et biomédicale participaient en moyenne plus activement à leurs subventions que ceux des autres thèmes. La moyenne des ETP dans le thème IV est beaucoup moins élevée que la moyenne globale calculée selon le nombre de personnes uniques, sans égard au temps consacré par celles-ci au projet : ainsi, on obtient en fait 4,81 ETP (voir tableau 4-2) comparativement à 13,62 (voir tableau 4-1). Il sera important de tenir compte de ces différences majeures entre les thèmes de recherche lors de futures études de mesure du rendement ou d'évaluation pour assurer l'exactitude des données recueillies sur la formation et le financement.

Dans un même ordre d'idées, il peut y avoir encore davantage de confusion lorsqu'on tient compte de l'impact de la durée de la subvention sur le nombre de THQ participant au projet. Comme il a été mentionné précédemment, les chercheurs des thèmes III et IV sont souvent titulaires de subventions de plus courte durée. En effet, le tableau 4-3 illustre que les différences en matière d'ETP entre les thèmes des IRSC disparaissent en grande partie lorsque la durée de la subvention n'est pas prise en compte statistiquement. Ces données laissent donc croire que les quatre thèmes offrent des occasions semblables de développement aux THQ relativement à leurs projets respectifs.

Sur le plan de la variation du nombre de stagiaires mentionné dans les subventions du POSF au fil du temps, le nombre moyen de stagiaires équivalents temps plein par année de concours a généralement augmenté, bien que ce changement ne soit pas statistiquement significatif (voir tableau 4-4). La surveillance des données à ce sujet est actuellement limitée, particulièrement pour l'année 2004, et en raison du fait que la plupart des données récentes du Système de rapport sur la recherche à ce sujet n'étaient pas disponibles au moment de l'évaluation.

Figure 4-1 : Nombre moyen de stagiaires équivalents temps plein par année de subvention selon l'année du concours^*

Description détaillée de la figure 4-1

Source : Système de rapport sur la recherche, mise à l'essai (n = 279).

Le POSF finance-t-il des chercheurs dans tous les domaines de la recherche en santé? Les chercheurs des thèmes III et IV sont-ils confrontés à des obstacles dans l'obtention de financement du POSF?

Le Programme ouvert de subventions de fonctionnement vise à financer d'excellents projets dans les quatre thèmes de recherche en santé des IRSC. En tant que programme de financement hérité du Conseil de recherches médicales du Canada, le POSF est considéré comme une belle réussite en matière de financement de la recherche biomédicale. Cependant, certaines préoccupations ont été soulevées par les intervenants internes et externes quant à l'efficacité de l'appui complet de la recherche par le POSF dans l'ensemble du mandat de recherche en santé des IRSC. Un récent document de consultation portant sur les réformes proposées par l'organisme à sa série de programmes ouverts stipule que le conseil d'administration des IRSC cherche à :

« s'assurer que la nouvelle série de programmes ouverts permettra à la fois d'éliminer des obstacles et de créer des occasions pour les chercheurs œuvrant dans tous les thèmes. » (IRSC, 2012a)

De la même façon, cette question a aussi été soulevée à l'occasion du récent examen international quinquennal des IRSC, particulièrement en ce qui concerne la recherche sur les services et les politiques de la santé et la recherche sur la santé publique et des populations (thèmes III et IV). Par exemple, les examinateurs internationaux de l'Institut de la santé publique et des populations (ISPP) des IRSC ont remarqué que les dépenses liées au POSF dans ce domaine de recherche étaient peu élevées et s'étaient stabilisées avec le temps (Macintyre, 2011).

Comme le montre la figure 4-2 ci-dessous, la recherche biomédicale (thème I) a reçu environ 80 % des investissements relatifs aux subventions de fonctionnement dans le cadre d'un concours ouvert depuis 2002-2003, et il y a eu peu de changement depuis. Cependant, comme il est mentionné ailleurs dans le présent rapport, les dépenses réelles liées au POSF ont augmenté de façon importante de 2000-2001 à 2010-2011, notamment dans les thèmes III et IV.

Figure 4-2 : Proportion des dépenses annuelles liées au POSF selon le thème (2000-2001 à 2010-2011)

Description détaillée de la figure 4-2

Source : Fondé sur les données du Système d'information électronique fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

La question des obstacles propres aux chercheurs œuvrant dans des secteurs non biomédicaux a été soulevée par des directeurs scientifiques passés et actuels et par d'autres intervenants. Des analyses de certains de ces obstacles potentiels ont aussi été effectuées dans plusieurs études (p. ex. Thorngate, 2002; Unité de l'évaluation, 2009; ISPS, 2011; Tamblyn, 2011). Il existe également de nombreuses données qualitatives dans d'autres documents et notes où ces questions sont délimitées et étudiées. Dans la présente section, nous présentons un examen des données existantes dans ce domaine, ainsi qu'un aperçu de l'évolution future de la série de programmes ouverts des IRSC. Ces analyses portent sur les thèmes III et IV.

L'une des restrictions dans ces analyses qu'il importe de mentionner est le manque de données à l'heure actuelle à l'échelle de l'organisme pour étudier ces questions plus en profondeur. Compte tenu de l'importance du financement dans l'ensemble du mandat des IRSC, il sera essentiel de mettre en œuvre des mesures du rendement qui pourront fournir ces données à l'avenir. Autre restriction : dans la plupart des cas, les données reposent sur l'identification par un chercheur d'un thème de recherche. La validation manuelle des chercheurs et des thèmes est réalisée par certains instituts des IRSC dans le but d'accroître la fiabilité de ces données (par exemple, l'Institut des services et des politiques de la santé et l'Institut de la santé publique et des populations réalisent de telles validations dans leurs domaines de recherche respectifs); cependant, il faudrait de nombreuses ressources pour procéder à un tel exercice à l'échelle de l'organisme^{Note en bas de page 21}.

Obstacles

La figure 4-3 résume plusieurs obstacles auxquels sont confrontés les chercheurs des thèmes III et IV et qui ont été sélectionnés à la suite d'analyses et d'entretiens réalisés avec des représentants de ces milieux^{Note en bas de page 22}. Ces obstacles sont analysés plus en détail ci-dessous. Notons que la liste d'obstacles n'est nullement exhaustive : il existe d'autres obstacles potentiels, mais on ne dispose pas de suffisamment de données pour justifier leur inclusion dans le présent rapport. Ils devront toutefois être étudiés plus en profondeur dans de futures analyses.

Figure 4-3 : Obstacles pour les candidats des thèmes III et IV au POSF^{Note en bas de page 23}

Description détaillée de la figure 4-3

1. Proportion plus élevée de demandes jugées non subventionnables

Les données indiquent que les pairs évaluateurs des thèmes III et IV ont des habitudes différentes de ceux des deux autres milieux en matière d'évaluation. Cette réalité s'observe tant dans les plus faibles cotes moyennes qu'ils attribuent aux demandes que dans la façon dont ils étudient les demandes et les classent.

Comme l'illustre la figure 4-4 ci-dessous, les analyses réalisées par l'Institut des services et des politiques de la santé (ISPS) indiquent que la probabilité qu'une demande du thème III ou IV soit considérée « non subventionnable » dans le POSF (cote inférieure à 3,5 sur 5) est beaucoup plus élevée que dans le cas d'une demande du thème I (ISPS, 2011). De même, une analyse de l'ISPS sur le pourcentage de demandes jugées non subventionnables dans les comités d'évaluation par les pairs du POSF^{Note en bas de page 24} a déterminé que ces pourcentages s'élevaient à plus de 70 % dans les trois comités Recherche en interventions et en évaluation dans les services de santé et à plus de 60 % dans les deux comités Santé publique, santé communautaire et santé des populations. Par comparaison, la moyenne des taux de tous les comités est de 37,2 %, et on observe un taux de demandes non subventionnables d'environ 10 % dans plusieurs comités biomédicaux du POSF.

Figure 4-4 : Probabilité qu'une demande soit jugée non subventionnable (rapports de cotes)¹

Description détaillée de la figure 4-4

1. Les rapports de cotes sont calculés en fonction du taux de réussite du thème I.

Source : Rapport de l'Institut des services et des politiques de la santé : Peer Review Reforms – Options to Generate Evidence (2011).

Deux études réalisées pour le compte des IRSC par un consultant externe fournissent des preuves supplémentaires des différences relatives aux habitudes d'évaluation dans divers milieux. Dans la première (Thorngate, 2002), une analyse des expressions et des mots utilisés pour étudier les demandes a permis de démontrer que les comités d'évaluation par les pairs des services de santé et de la santé des populations accordaient généralement plus d'importance au plan de recherche, aux méthodes et aux statistiques, à la revue de la littérature et au budget. En revanche, dans le cas de demandes liées à la « recherche médicale » (p. ex. en biochimie, en oncologie ou en neurosciences) on insistait plutôt sur le dossier de l'auteur, la logique sous-tendant les idées de recherche, les techniques de laboratoire appropriées et le financement des étudiants des cycles supérieurs.

Sur le plan des différences, on a aussi observé que les cotes moyennes des demandes sont liées au degré de désaccord au sujet de la notation entre les membres de comité : plus il y a de désaccord entre les évaluateurs, moins la cote est élevée (Thorngate, 2002). On a observé qu'il y avait plus de désaccords dans l'évaluation de propositions de recherche en services de santé et en santé des populations qu'en « recherche médicale ».

« Un comité accordait des cotes de quatre ou plus à de nombreuses subventions, tandis qu'un autre n'attribuait une cote de quatre ou plus qu'aux subventions de très grande qualité. »

Agent scientifique (citation de Thorngate, 2002, p. 6)

Depuis septembre 2005, les décisions relatives au financement dans le POSF ont été prises en fonction d'une « formule 100/0 », c'est-à-dire que 100 % des fonds octroyés sont répartis en fonction de l'ordre des demandes dans chacun des comités. Ainsi, les différences dans les comportements relativement à la notation d'un comité à l'autre n'ont pas d'incidence directe sur les demandes financées par le POSF. En effet, les données sur la proportion des demandes présentées au POSF qui sont financées dans chaque thème sont, dans l'ensemble, effectivement cohérentes au cours de la période 2001-2011 (ISPS, 2011) et n'indiquent pas que les chercheurs des thèmes III et IV ont un taux de réussite global moins élevé, malgré les cotes moyennes plus faibles de leurs demandes.

Cependant, bien que les disparités en matière de notation ne semblent pas influer directement sur les décisions relatives au financement dans le POSF, certaines conséquences imprévues de la faiblesse des cotes moyennes ont été mentionnés dans les entrevues réalisées auprès des représentants de ces milieux. L'une de ces conséquences concerne les :

• Annonces de priorités. Le processus d'évaluation par les pairs du Programme ouvert de subventions de fonctionnement est utilisé comme un moyen de financement des annonces de priorités stratégiques par les instituts des IRSC. Les demandes qui ne sont pas financées par le POSF peuvent être financées par les instituts si elles correspondent à une priorité stratégique. Cependant, dans les cas où la proportion des demandes « non subventionnables » est très élevée en raison de notations plus faibles au POSF, il pourrait survenir une pénurie de demandes admissibles pour les annonces de priorités dans ces milieux. En raison de la faiblesse des cotes moyennes, cette question touche davantage les chercheurs des thèmes III et IV.

Lorsque les IRSC envisageront la mise en place de nouveaux systèmes d'évaluation par les pairs des demandes dans leurs programmes ouverts, dont le POSF, il sera essentiel qu'ils réfléchissent aux conséquences de ces différences dans la manière dont ces milieux évaluent les demandes et en discutent.

2. Habitudes de renouvellement

Les données indiquent que la culture de la recherche des candidats des thèmes III et IV au POSF entraîne des comportements différents relativement au renouvellement de subventions. Comme il a été expliqué précédemment dans ce rapport, les chercheurs de ces milieux sont plus susceptibles d'avoir des subventions de courte durée (trois ans contre cinq ans) que les chercheurs du thème biomédical, ce qui témoigne d'un accent sur les projets plutôt que sur les programmes dans les demandes. Les données sur le renouvellement des demandes de subvention indiquent un volume de demandes moins élevé que la moyenne chez ces chercheurs : seulement 3 % de toutes les demandes de renouvellement sont issues du thème IV comparativement à 9 % de toutes les demandes au POSF dans ce groupe. Il y a aussi une probabilité réduite de réussite : 32 % des chercheurs des thèmes III et IV voient leur demande de renouvellement acceptée, comparativement à 47 % des chercheurs du thème biomédical (ISPP, 2012).

En l'absence dans la présente évaluation d'une étude qualitative ou quantitative systématique de plus grande portée traitant des chercheurs de ces milieux, nous comptons sur les données fournies par les représentants de ces milieux (directeurs scientifiques) pour comprendre ces habitudes. Les données fournies nous permettent de connaître le point de vue des principaux intervenants avec qui les directeurs scientifiques communiquent régulièrement, notamment des représentants du conseil consultatif de leur institut, des chercheurs de pointe dans ces milieux et des autres bailleurs de fonds de la recherche. Les données sur les représentants laissent croire que certaines raisons pourraient expliquer le taux moins élevé de renouvellements :

• Les chercheurs des thèmes III et IV ont plus souvent une approche axée sur les projets que sur les programmes dans leurs recherches (dans la présentation de demandes au POSF).
• Certains chercheurs ne sont pas au courant du fait qu'il est possible de renouveler le financement du POSF, ce qui pourrait expliquer en partie le faible volume de demandes.

Il existe un éventail de conséquences possibles à la variabilité des taux de renouvellement d'un milieu à l'autre. En premier lieu, il pourrait y avoir des « lacunes » plus importantes au chapitre du financement du POSF de chercheurs dans ces milieux. En tant que programme axé sur les projets, le POSF vise à soutenir les « meilleures idées » plutôt qu'à financer des chercheurs individuels de façon continue. Cependant, comme on l'a observé, le POSF sert déjà pratiquement d'outil de financement de programmes pour certains chercheurs qui reçoivent du financement continu sur nombre d'années. Les données de l'ISPS indiquent des taux moins élevés de « durabilité » ou de financement continu chez les chercheurs des thèmes III et IV comparativement aux autres demandes (ISPS, 2011a).

Les taux plus faibles de renouvellement pourraient aussi donner lieu au déploiement d'efforts plus importants par les chercheurs des thèmes III et IV pour l'obtention de fonds (projet par projet) et au remplacement d'activités de recherche par la préparation de demandes de subvention. Comme on l'a mentionné dans l'analyse du rapport coût-efficacité du présent rapport, un candidat au POSF consacre en moyenne environ 169 heures (ou environ 22 jours à raison de 7,5 heures par jour) à la préparation d'une demande.

Dernier élément à prendre en considération : la façon dont ces habitudes différentes en matière de renouvellement influent sur la restructuration des programmes ouverts. Les données indiquent que les chercheurs des thèmes III et IV ne présentent généralement pas de demandes dans le cadre des « programmes de recherche » dans le POSF. Cependant, les comportements passés ne sont pas nécessairement une indication des comportements à venir, et il pourrait y avoir des changements à ce chapitre. Lors de discussions tenues avec les membres des conseils consultatifs de l'ISPS et de l'ISPP, l'accent a été mis sur l'importance de préparer les milieux des thèmes III et IV à des demandes axées sur les programmes.

En outre, les données laissent aussi croire que les chercheurs de ces thèmes adoptent effectivement une approche par programmes dans certains concours stratégiques. Par exemple, le volume de demandes est élevé dans les concours axés sur les programmes de l'Institut de la santé publique et des populations et aux chaires en santé publique appliquée de l'Institut. Une analyse plus approfondie de l'organisme sur les impacts et les occasions possibles pour ces chercheurs associés à la création d'un volet de programmes ouverts serait utile pour mieux comprendre ces questions.

3. Projets divers touchant plusieurs disciplines et méthodologies

La nature interdisciplinaire de certaines recherches des thèmes III et IV a été mentionnée par des membres de ces milieux comme un obstacle particulier dans l'évaluation par les pairs. Ce problème a par exemple été soulevé dans une note de service de 2005 (ISPP et ISPS, 2005) par d'anciens directeurs scientifiques de l'Institut de la santé publique et des populations et de l'Institut des services et des politiques de la santé. À l'occasion d'une réunion commune des conseils consultatifs des instituts, du conseil d'administration et du personnel des IRSC tenue en 2004, il avait été question de ce problème. Il en a aussi été longuement question lors de colloques internationaux et de forums de financement dirigés ou codirigés par l'ISPP en 2009, en 2010 et en 2012 (Bayne, 2009; Moffatt, 2009; ISPP, 2010).

L'une des conséquences du grand nombre de projets interdisciplinaires dans ces thèmes est qu'il peut être plus difficile de trouver des évaluateurs qualifiés pour étudier ces demandes. Autre problème : en raison du système actuel des « comités permanents » dans le POSF, certains domaines de recherche ne sont mentionnés explicitement dans le mandat d'aucun des comités. Jusqu'à tout récemment (juillet 2011), la recherche interventionnelle en santé des populations en était un exemple. Ce problème pourrait aussi avoir un effet dissuasif pour un candidat qui envisage de présenter une demande au POSF et ne voit son domaine de recherche dans le mandat d'aucun comité : il pourrait assumer qu'il n'obtiendra pas de fonds. De même, il se peut que les candidats consultent la composition précédente du comité et soient découragés de présenter une demande parce qu'il leur semble improbable que l'expertise nécessaire à l'évaluation de leur domaine de recherche soit disponible. Puisque le taux de réussite actuel se chiffre à environ 20 % dans le POSF, il est probable que ce soit le cas.

Les directeurs scientifiques des instituts des thèmes III et IV ont aussi soulevé le problème de la difficulté de trouver des évaluateurs dans les petits milieux de recherche. L'existence d'un milieu de recherche plus restreint et de plus grandes équipes de recherche peut entraîner la perte de pairs évaluateurs qui s'y connaissent dans un domaine de recherche particulier en raison de conflits d'intérêts et de la nécessité de s'absenter du comité au moment de l'évaluation de la demande problématique. Si la proposition d'un système d'évaluation par les pairs dans lequel les demandes sont attribuées à des évaluateurs appropriés dans les concours ouverts est mise en œuvre pour remplacer la formule actuelle des comités permanents dans le POSF, il pourrait y avoir un problème d'épuisement chez les évaluateurs de petits milieux surchargés de demandes à évaluer. L'établissement actif de liens à l'international pourrait permettre d'atténuer en partie ce problème, et cette approche a déjà été utilisée dans certains concours stratégiques.

À un niveau d'analyse plus général, il est intéressant de remarquer que d'après un récent sondage réalisé auprès de 877 pairs évaluateurs ayant participé au concours du POSF de novembre 2011, les pairs évaluateurs des thèmes III et IV passent beaucoup moins d'heures à évaluer des demandes que ceux du thème I. Si on tient compte du temps consacré à l'évaluation, aux déplacements et aux réunions, les chercheurs du domaine biomédical consacrent en moyenne environ 86,3 heures par concours, comparativement à environ 52 heures pour les chercheurs des thèmes III et IV. Cette différence s'explique probablement par le temps passé à évaluer les demandes indiquées par les évaluateurs; les candidats du thème I passent environ 6,4 heures à évaluer chaque demande, comparativement à 4,5 heures pour le thème II, à 3,5 heures pour le thème III et à 3,7 heures pour le thème IV (tableau 4-4). Toutes les différences entre les thèmes étaient significatives (p =< 0,001), à l'exception du « Temps moyen passé en déplacement vers Ottawa pour les délibérations de comités ».

Comme on peut le voir dans le tableau 4-4, le temps total consacré par les évaluateurs au processus d'évaluation par concours est très semblable au temps qu'ils sont prêts à consacrer annuellement à l'évaluation de demandes. Si un pair évaluateur était appelé à participer à deux concours par année, il y passerait donc environ le double du temps qu'il est prêt à y consacrer.

Ces données doivent toutefois être interprétées avec circonspection : c'est la première fois qu'un sondage du genre est réalisé aux IRSC, et nous ne disposons pas de données sur les tendances nous permettant d'évaluer la mesure dans laquelle ces résultats fluctuent par concours en fonction des demandes reçues. Il existe également une limite en ce sens que la taille des échantillons est insuffisante pour permettre l'évaluation du fardeau des évaluateurs dans des sous-domaines, particulièrement dans le cas de milieux plus restreints.

Il est recommandé que les IRSC continuent de recueillir ces renseignements et procèdent à des analyses pour comprendre pourquoi le temps passé à évaluer chaque demande varie de façon importante d'un milieu à l'autre. Ces mesures fourniront une base de référence permettant de comparer le fardeau actuel de l'évaluation pour les chercheurs dans le POSF à de futures approches d'évaluation par les pairs.

Pertinence du programme

Pertinence continue du programme

Conformément aux exigences formulées dans la Politique sur l'évaluation (2009) du gouvernement du Canada, la présente évaluation aborde plusieurs questions relatives à la pertinence, le besoin de maintenir le programme et la conformité de ce dernier aux priorités et aux rôles et responsabilités du gouvernement fédéral.

Le mandat des IRSC, comme indiqué dans la Loi qui établit la création de l'organisme, est « d'exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada » (projet de loi C-13, 13 avril 2000). Le POSF contribue directement à la réalisation de ce mandat global en facilitant la création, la dissémination et l'utilisation de connaissances liées à la santé ainsi que le développement et le maintien de la capacité de recherche en santé au Canada en appuyant des projets originaux et de grande qualité proposés et exécutés par des chercheurs individuels ou des groupes de chercheurs dans tous les domaines de la recherche en santé.

Les objectifs du POSF et de l'ensemble des IRSC continuent d'appuyer les priorités fixées par le gouvernement fédéral et d'y contribuer, comme expliqué dans sa Stratégie des sciences et de la technologie de 2007 (Industrie Canada, 2007 et 2009). Il y a donc trois domaines prioritaires distincts :

1. Avantage du savoir
2. Avantage entrepreneurial
3. Avantage humain

Le POSF est conforme à ces priorités gouvernementales de plusieurs façons :

• Le programme attire et finance l'excellence dans la recherche en santé depuis 2000 et dépasse les indicateurs de référence (p. ex. chercheurs en santé dans les pays de l'OCDE). On peut donc soutenir que le POSF a contribué à la priorité « Avantage du savoir » et que la recherche qu'il a appuyée a contribué à maintenir la « réputation du pays en matière d'excellence en recherche à l'échelle internationale » (Industrie Canada, 2009).
• Comme on l'a vu dans les études de cas et dans les données du Système de rapport sur la recherche, la recherche financée par le POSF a donné lieu à la transformation de connaissances en « produits commerciaux qui créeront de la richesse pour les Canadiens et amélioreront leur vie ainsi que celle des autres à travers le monde » (Industrie Canada, 2009).
• La recherche appuyée par le POSF, par l'offre de possibilités de formation et de financement à environ 81 000 stagiaires^{Note en bas de page 25}, a contribué à « développer et préserver la capacité de recherche en santé du Canada » et à générer « le bassin de travailleurs le plus polyvalent, le mieux formé et le plus instruit au monde » (Industrie Canada, 2009).

D'après certains des commentaires formulés dans le cadre de la pétition en ligne présentée par des chercheurs mentionnée précédemment, nos principaux intervenants seraient convaincus que le POSF est essentiel au maintien d'une entreprise de recherche de renommée internationale au Canada.

• « Le programme de subventions individuelles des IRSC est le mécanisme de financement le plus important en matière de recherche fondamentale en biologie au Canada. »
• « Je suis tout à fait d'accord : le programme de subventions individuelles est au carrefour de l'innovation et de la découverte [...]. »
• « [...] les subventions de fonctionnement individuelles sont au cœur de l'innovation [...]. »
• « Les programmes de subventions individuelles sont à la base de toutes les découvertes importantes et expliquent le succès relatif du Canada en matière de recherche en santé. »

Les données recueillies dans le cadre de cette évaluation portent à croire que le POSF continue d'appuyer les priorités du gouvernement. Le budget fédéral de 2011 a souligné l'importance d'investir de façon continue dans l'innovation, l'éducation et la formation, ainsi que le rôle joué par les trois principaux organismes de financement du Canada dans le soutien de la « recherche de pointe » et de la « recherche en santé d'importance nationale » (Gouvernement du Canada, 2011). Le budget fédéral de 2012 réaffirme l'engagement du gouvernement à appuyer la recherche de pointe (Gouvernement du Canada, 2012).

Les données de l'évaluation reflètent le besoin de maintenir le POSF et la conformité du programme aux priorités du gouvernement fédéral et des IRSC, ainsi qu'aux rôles et responsabilités du gouvernement fédéral. Il y a des éléments qui prouvent que le programme contribue directement à la réalisation du mandat des IRSC (projet de loi C-13, 13 avril 2000) et est conforme aux priorités du gouvernement fédéral telles qu'elles sont énoncées dans la Stratégie des sciences et de la technologie de 2007 (Industrie Canada, 2007 et 2009). De plus, les intervenants principaux sont d'avis que le POSF est crucial pour maintenir une entreprise de recherche de calibre mondial au Canada. En outre, les plus récents budgets fédéraux réaffirment l'engagement du gouvernement de soutenir la recherche de pointe et la « recherche en santé d'importance nationale » et le rôle des trois principaux organismes de financement du Canada pour y arriver (Gouvernement du Canada, 2011 et 2012).

Contexte du programme

Contexte

La série de programmes des IRSC comprend des programmes ouverts et des programmes stratégiques. Les programmes ouverts servent à encourager la recherche entreprise par les chercheurs, tandis que les programmes stratégiques sont axés sur des sujets de recherche précis, prédéterminés et ciblés stratégiquement par les IRSC.

Le POSF octroie des fonds de fonctionnement pour appuyer les « meilleures idées » dans les quatre thèmes de la recherche en santé au Canada^{Note en bas de page 26}. Le programme est très polyvalent et n'impose aucune exigence ou restriction particulière concernant les activités de recherche qui doivent être entreprises, le montant demandé^{Note en bas de page 27} et la taille de l'équipe de recherche ou sa composition.

Le POSF existe depuis plus de cinquante ans, sous diverses formes. Initialement un programme de financement du Conseil de recherches médicales du Canada (CRM), il a été conservé après le remplacement du CRM par les IRSC en 2000. Avec la création des IRSC, le POSF a été étendu pour englober les projets de recherche s'inscrivant dans le mandat plus vaste divisé en quatre thèmes du nouvel organisme.

Le POSF est de loin le plus important des appels de propositions ouverts de la série de programmes des IRSC; en effet, entre 2000-2001 et 2010-2011, il représentait de 43 % à 54 % des dépenses annuelles relatives aux subventions et aux bourses (tableau 5-1)^{Note en bas de page 28}. Depuis l'an 2000, le POSF a consacré environ 3,6 milliards de dollars (en cours jusqu'à l'exercice 2015-2016) à l'appui de projets entrepris sur l'initaitive des chercheurs des quatre thèmes^{Note en bas de page 29}.

Les concours du POSF ont lieu deux fois par an, en mars et en septembre; au moins 400 nouvelles subventions sont octroyées par concours chaque année. Comme l'illustre la figure 5-1, le nombre de demandes reçues et le nombre de demandes subventionnables ont augmenté depuis 2000-2001. Cette situation a donné lieu à une baisse du taux de réussite, qui est passé de 34 % en 2000-2001 à 22 % en 2009-2010. Le montant moyen des subventions était de 79 000 $ à 134 000 $ par année, et la plupart sont détenues pour une période de trois ou cinq ans^{Note en bas de page 30}.

Figure 5-1 : Programme ouvert de subventions de fonctionnement : nombre de demandes et taux de réussite (2000-2010)

Description détaillée de la figure 5-1

Source : Statistiques générales sur les IRSC 2009-2010.

Objectifs du programme

Les objectifs généraux du POSF peuvent être résumés ainsi :

• Favoriser la création, la dissémination et l'utilisation de connaissances en santé;
• Aider à développer et à maintenir la capacité de recherche en santé au Canada en appuyant des projets et des programmes de recherche originale et de haute qualité, présentée et réalisée par des chercheurs ou des groupes de chercheurs dans tous les domaines de la santé^{Note en bas de page 31}.

Un modèle logique du POSF représentant les liens entre les activités de programmes, les retombées et les résultats, préparé et approuvé en 2008, figure à l'annexe A du présent rapport.

Méthodologie d'évaluation

Cadre d'évaluation du POSF

Méthodologie d'évaluation

Conformément aux politiques du SCT et aux pratiques exemplaires reconnues dans le domaine de l'évaluation^{Note en bas de page 36}, une gamme de méthodes d'étude des données quantitatives et qualitatives ont été employées afin d'effectuer une triangulation des résultats. Cette opération visait à garantir que les résultats de l'évaluation étaient fiables et crédibles, et que les conclusions sur le rendement du programme étaient valides.

Activités de collecte et d'analyse des données

Revue de la littérature

La revue effectuée portait principalement sur le « rendement scientifique », la création de connaissances, les données bibliométriques, l'évaluation par les pairs, l'étude de la gestion de la science, les études du rapport coût-efficacité et d'autres mesures pertinentes de la recherche entreprise par les chercheurs. Ces activités d'analyse ont eu lieu tout au long de l'évaluation.

Examen de la documentation

Cet examen consistait en une analyse contextuelle des documents pertinents des IRSC et du gouvernement du Canada. Ont été analysés : des évaluations antérieures effectuées par les IRSC, leurs instituts et d'autres organismes de financement du Canada et d'ailleurs dans le monde, l'ensemble des statistiques des IRSC pour l'année 2009-2010, ainsi que le rapport de l'examen international des 10 ans des IRSC et les documents connexes.

Analyse bibliométrique

Aux fins de la présente évaluation, l'Observatoire des sciences et des technologies (OST) de l'Université du Québec à Montréal a effectué deux études bibliométriques. La première portait sur les articles publiés de 2000 à 2010 par un échantillon de candidats retenus et non retenus du POSF (n = 1 500). Quant à la seconde, elle était basée sur des articles publiés de 2006 à 2010 par des candidats retenus et non retenus du POSF (n = 1 500). Ces études ont généré des données sur la productivité et l'impact scientifique des candidats retenus et non retenus du POSF en comparaison avec les autres chercheurs en santé du Canada et des pays de l'OCDE. Les principaux indicateurs d'intérêt étaient la moyenne des citations relatives (MCR) et le facteur d'impact relatif moyen (FIRM) des revues, mais seul le premier a été présenté dans ce rapport, parce qu'il repose sur une méthodologie plus appropriée.

Entrevues auprès d'intervenants clés

Des entrevues qualitatives approfondies semi-structurées ont été effectuées aupès de représentants de la haute direction du POSF et des IRSC, notamment auprès des directeurs scientifiques des deux instituts liés principalement aux thèmes III et IV. Les entrevues ont porté entre autres sur les obstacles rencontrés par les candidats au POSF dont le domaine de recherche s'inscrit dans les thèmes II, III et IV.

Études de cas

Cinq projets financés par le POSF ont été triés sur le volet pour faire l'objet d'études de cas utilisant les données quantitatives du Système de rapport sur la recherche; ils ont été sélectionnés de façon à représenter les quatre thèmes des IRSC (selon l'indication des chercheurs) et à refléter la répartition régionale. Une liste des cas proposés a été validée et classée par ordre de priorité par le groupe de travail sur l'évaluation du POSF et la vice-présidente à la recherche des IRSC. Les études de cas ont détaillé des exemples de réussite de résultats de recherches ayant eu d'importantes retombées. Au total, n = 25 entrevues qualitatives ont été effectuées auprès de répondants clés : chercheurs principaux, courtiers du savoir, partenaires et utilisateurs des connaissances.

Sondage sur la charge de travail des pairs évaluateurs

Un sondage a été effectué auprès des 877 pairs évaluateurs qui ont participé aux séances du comité d'évaluation par les pairs du POSF en novembre 2011, afin de recueillir des données sur le temps consacré aux différents éléments du processus d'évaluation par les pairs. Un sondage en ligne a été mené du 13 au 24 janvier 2012. Au total, n = 485 pairs évaluateurs ont répondu; cependant, il n'a pas été possible de recueillir des données sur le salaire de 28 d'entre eux; ils ont donc été exclus des analyses plus en profondeur, ce qui réduit l'échantillon à n = 457. Le taux de réponse non corrigé du sondage était de 55,3 %.

Sondage libre auprès des intervenants des réformes

Un sondage libre en ligne a été lancé dans le but de recueillir les commentaires des intervenants sur la réforme de la série de programmes ouverts des IRSC, et l'Unité de l'évaluation a profité de cette occasion pour ajouter des questions sur le temps consacré par les chercheurs à la présentation d'une demande de subvention du POSF et les coûts associés. Le sondage s'est tenu du 13 février au 28 mars 2012; à cette date, n = 386 chercheurs avaient répondu aux questions les concernant quant au nombre d'heures qu'ils mettaient à préparer une demande du POSF. Les données ont été épurées et huit cas ont été retirés. Comme aucune population cible n'a été définie pour ce sondage, le taux de réponse n'a pas pu être calculé.

Analyse des données existantes

Données du Système d'information électronique (SIE)

Le SIE est conçu pour recueillir et stocker les données de tous les candidats des programmes des IRSC. Les analyses de données effectuées portaient sur les registres de programme, les données administratives et financières, comme le montant et la durée des subventions, les dates de concours et les anciennes subventions du POSF. Les données sur les notes de l'évaluation par les pairs ont également été obtenues et ont été utilisées par rapport à l'analyse bibliométrique.

Données du Système de rapport sur la recherche sur le POSF

Des données ont été extraites des rapports présentés par des chercheurs du POSF sur les fins de subventions à l'aide du Système de rapport sur la recherche (SRR) des IRSC, d'une étude pilote de 2009 du SRR portant sur les titulaires d'une subvention dont l'autorisation d'utiliser les fonds prenait fin entre janvier 2000 et juin 2008 (n = 596) et des données issues de la version complète du SRR pour 2011 (n = 141 réponses prises en considération, toutes présentées au plus tard le 2 février 2012). Avant la combinaison des données des deux sources du SRR, une validation des réponses a été effectuée, notamment la vérification de différences entre les profils démographiques des répondants de la mise à l'essai et de la version complète du sondage. Aucun problème majeur n'a été soulevé.

Données du sondage sur l'examen international des 10 ans des IRSC

Les données d'un sondage en ligne effectué par Ipsos Reid du 5 novembre au 5 décembre 2010 ont été analysées dans le cadre de l'examen international des 10 ans des IRSC afin d'évaluer la satisfaction des chercheurs et des autres intervenants à l'égard des processus d'exécution du programme. L'équipe de l'évaluation a analysé un sous-ensemble de ces données pour ne tenir compte que des chercheurs ayant présenté au moins une demande de subvention au POSF. Cette analyse a donc tenu compte d'un total de n = 2 141 chercheurs ayant présenté au moins une fois une demande de subvention du POSF et de n = 232 administrateurs de recherche.

Contenu de la pétition en ligne

Dans le cadre de l'examen international des 10 ans des IRSC, des chercheurs ont lancé un site Web afin d'exprimer leur opinion sur le financement de la recherche en santé au Canada. Un total de 1 900 chercheurs ont « signé » la pétition, et 516 d'entre eux ont ajouté un commentaire. Ces données, disponibles en ligne, ont été téléchargées le 25 octobre 2011. Une analyse du contenu des commentaires des chercheurs a été effectuée dans le but de repérer les thèmes les plus fréquents.

Limites

Conformément aux pratiques exemplaires d'évaluation de programmes, les limites de l'étude et les stratégies employées pour les contourner sont décrites ci-dessous.

Analyse bibliométrique

L'analyse bibliométrique a été critiquée en raison du fait que l'évaluation de la qualité d'une publication d'après les citations peut induire en erreur et que les pratiques en matière de citation diffèrent d'une discipline à l'autre, et même parfois entre les sous-domaines d'une même discipline (Ismail et coll., 2009). Cette préoccupation est particulièrement importante pour les IRSC et le POSF, dont le mandat est de financer la recherche en santé dans tous les domaines, notamment des disciplines pour lesquelles la publication de livres ou de chapitres de livres est un indicateur plus utile et plus exact de la création de connaissances. Afin d'atténuer cet élément, la présente évaluation tient également compte d'autres types de résultats pour estimer la création de connaissances découlant du programme. Elle présente également des études de cas de recherches à impact très élevé découlant du financement du POSF.

Les analyses bibliométriques ont été fondées sur les données des publications des chercheurs du POSF au moment où ils bénéficiaient de ces subventions. Bien que cette méthode soit couramment acceptée en raison de la supposition que ces subventions contribuent grandement aux résultats de recherche (p. ex. Campbell et coll., 2010), il est impossible d'établir hors de tout doute un lien entre les subventions et les données bibliométriques sur les publications. Ce type d'analyse devrait être disponible pour les prochaines évaluations grâce au développement du Système de rapport sur la recherche des IRSC, dans le cadre duquel les chercheurs dressent une liste des publications découlant de leur subvention, qui peuvent ensuite être directement reliées aux données bibliométriques.

La moyenne globale des citations relatives au Canada comprend tous les chercheurs canadiens en santé, y compris ceux qui sont financés par le POSF. Les comparateurs de l'OCDE tiennent compte de tous les chercheurs d'un pays, et non d'organismes ou de programmes de financement individuels. Compte tenu des différences entre les mandats de financement de la recherche en santé d'organismes comme les National Institutes of Health des États-Unis ou les conseils de recherches médicales du Royaume-Uni ou de l'Australie, une comparaison directe entre les organismes pourrait s'avérer problématique. Cependant, une piste potentielle à approfondir pour les prochaines évaluations serait d'examiner la possibilité de poser des points de référence par organisme ou même par programme en jumelant un sous-ensemble de données directement comparable (p. ex. en recherche biomédicale).

Enfin, en raison de restrictions budgétaires, l'analyse a porté sur un échantillon aléatoire stratifié de chercheurs du POSF plutôt que sur l'ensemble des chercheurs. La taille de l'échantillon (n = 1 500) était suffisante pour cette analyse, et rien ne laisse croire que les résultats pour l'ensemble des chercheurs seraient différents de ceux de l'échantillon sélectionné.

Données du Système de rapport sur la recherche

Les données du SRR comportent plusieurs restrictions. La principale est l'utilisation d'une méthodologie de sondage qui repose surtout sur des données issues d'auto-évaluations et de souvenirs des titulaires d'une subvention du POSF. La collecte de données de « l'étude pilote » a été interrompue avant l'envoi de la quatrième vague d'invitations. De plus, les chercheurs qui répondent à la version actuelle du SRR ont jusqu'en octobre 2012 pour remplir leur rapport, ce qui signifie que nous ne disposons pas d'un échantillon complet. Les vérifications de la qualité des données sont toujours en cours pour les rapports remplis et seules les réponses touchant la création de connaissances ont fait l'objet des analyses. En outre, en ce qui concerne l'estimation du nombre de personnes formées ou financées grâce au POSF, il est possible que certaines aient été comptées deux fois étant donné que les stagiaires pouvaient participer à plusieurs projets avec différents chercheurs principaux désignés.

Afin d'atténuer la possibilité que ces échantillons ne soient pas représentatifs de la population globale des chercheurs financés par le POSF, nous avons effectué une comparaison des variables démographiques des deux ensembles de données du SRR avec celles de la population du POSF. Cette comparaison semble montrer que les deux échantillons incomplets sont en fait très représentatifs des chercheurs en général. Les variables à l'étude étaient le thème, la langue et la région; les différences entre les échantillons et la population étaient d'environ 5 %.

Sondage du CEI sur la satisfaction pour les 10 ans des IRSC

On a demandé aux chercheurs de répondre en fonction des programmes des IRSC auxquels ils avaient présenté une demande au cours des cinq dernières années; 87 % d'entre eux avaient présenté une demande au POSF au cours de cette période. Plusieurs avaient également présenté des demandes à d'autres programmes, de sorte que, même si seuls les répondants ayant présenté au moins une demande au POSF ont été choisis, leurs réponses pourraient ne pas refléter uniquement les caractéristiques du POSF.

Données du sondage sur le temps investi par les pairs évaluateurs et les candidats

Ces données doivent être interprétées avec circonspection : il s'agit de la première fois qu'un sondage du genre est réalisé aux IRSC, et nous ne disposons pas de données sur les tendances nous permettant d'évaluer la mesure dans laquelle ces chiffres fluctuent selon le concours en fonction des demandes reçues. Par ailleurs, la taille des échantillons est insuffisante pour permettre l'évaluation du fardeau des évaluateurs dans des sous-domaines, particulièrement dans le cas de milieux plus restreints, ce qui représente une autre limite. Des réserves similaires s'appliquent également au temps consacré par les chercheurs à la préparation d'une demande de subvention au POSF.

Contenu de la pétition en ligne

Les répondants ont émis leurs commentaires de façon anonyme sur le site Web. Il n'existe aucun moyen de valider ces données autosélectionnées; celles-ci ne peuvent donc pas être considérées comme représentatives de l'ensemble de la population.

Études de cas

L'échantillonnage a été effectué de façon calculée, et seuls les cas exemplaires ont été sélectionnés. De plus, quelques cas seulement ont été choisis en raison des contraintes de budget et de temps. Comme c'est le cas avec toutes les données qualitatives, ces résultats ne peuvent pas être généralisés à l'ensemble de la population; ils sont plutôt présentés à titre indicatif.

Entrevues avec des informateurs clés

Les entrevues avec d'autres intervenants (candidats/chercheurs/pairs évaluateurs, autres membres de la haute direction des IRSC) ont été annulées afin d'alléger le fardeau des répondants, étant donné que l'équipe responsable des réformes des programmes ouverts des IRSC consultait aussi ces intervenants.

Sélection des thèmes

Toutes les analyses liées aux thèmes reposent sur l'auto-identification des chercheurs à un thème. Certains instituts des IRSC valident parfois les choix exprimés afin d'en améliorer la fiabilité (par exemple, l'Institut de la santé publique et des populations effectue cette vérification pour ses domaines de recherche); cependant, effectuer de telles validations pour tout l'organisme nécessiterait de nombreuses ressources.

Annexe

Aperçu des questions fondamentales d'évaluation du SCT par sections pertinentes du Rapport sur l'évaluation du POSF

Références

ADILY, A., D. BLACK, I. D. GRAHAM et J. E. WARD. « (Research engagement and outcomes in public health and health services research in Australia », Australian and New Zealand Journal of Public Health, vol. 33, no 3, 2009, p. 258-261.

ALBERTA INGENUITY FUND. The Ingenuity Way: Bibliometric analysis of individuals supported by the Alberta Ingenuity Fund, rapport préparé par M. PICARD-AITKEN, D. CAMPBELL, I. LABROSSE et N. LECOMTE, présenté au Alberta Ingenuity Fund le 22 mai 2008 (consulté le 9 mars 2012).

ARCHAMBAULT, E. 30 Years in Science: Secular Movements in Knowledge Creation, 2010 (consulté le 29 février 2012).

ARCHAMBAULT, E. Matériel supplémentaire en ligne associé au document 30 Years in Science: Secular Movements in Knowledge Creation, 2010 (consulté le 29 février 2012).

ARCHAMBAULT, E., D. CAMPBELL, Y. GINGRAS et V. LARIVIÈRE. « Comparing bibliometric statistics obtained from the Web of Science and Scopus », Journal of the American Society for Information Science and Technology, vol. 60, no 7, 2009, p. 1320-1326.

AZOULAY, P., J. S. GRAFF-ZIVIN et G. MANSO. Incentives and Creativity: Evidence from the Academic Life Sciences (document de travail du NBER no 15466), 2009 (consulté le 19 février 2012).

BAYNE, L. Recherche interventionnelle en santé des populations Forum des bailleurs de fonds – sur invitation, compte rendu préparé pour l'Institut de la santé publique et des populations, 2009.

CAMPBELL, D., M. PICARD-AITKEN, G. CÔTÉ et coll. « Bibliometrics as a Performance Measurement Tool for Research Evaluation: The Case of Research Funded by the National Cancer Institute of Canada », American Journal of Evaluation, vol 31, no 1, 2010, p. 66-83.

CICCHETTI, D. V. « The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation », Behavioral and Brain Sciences, vol. 14, 1991, p. 119-186.

COLE, S., J. R. COLE et G. A. SIMON. « Chance and Consensus in Peer Review », Science, New Series, vol 214, no 4523, 1981, p. 881-886.

CONSEIL DE RECHERCHES EN SCIENCES HUMAINES. Évaluation sommative des programmes Subventions ordinaires de recherche et Initiatives de développement de la recherche, 2010 (consulté le 14 décembre 2011).

CONSEIL DE RECHERCHES EN SCIENCES NATURELLES ET EN GÉNIE DU CANADA (CRSNG). Un examen des publications canadiennes et de leur incidence en sciences naturelles et en génie, de 1996 à 2005, 2007 (consulté le 18 novembre 2010).

DEMICHELI, V. et C. DI PIETRANTONJ. « Peer review for improving the quality of grant applications », Cochrane Database of Systematic Reviews, no 2, article no MR000003, 2007. DOI : 10.1002/14651858.MR000003.pub2.

FONDATION GATES. Grand Challenges in Global Health: Overview, 2011 (consulté le 19 février 2012).

GOUDIN, B. The Impact of Research Grants on the Productivity and Quality of Scientific Research, 2005 (consulté le 14 décembre 2011).

GOUVERNEMENT DU CANADA. Emplois, croissance et prospérité à long terme – Le plan d'action économique de 2012, le discours du budget, 2012 (consulté le 28 mars 2012).

GOUVERNEMENT DU CANADA. La prochaine phase du plan d'action économique du Canada – Des impôts bas pour stimuler la croissance et l'emploi, 2011 (consulté le 28 mars 2012).

GRAHAM, I. D. et J. TETROE. « CIHR Research: How to translate health research knowledge into effective healthcare action », Healthcare Quarterly, vol. 10, no 3, 2007, p. 20-22.

GRAVES, N., A. G. BARNETT et P. CLARKE. « Funding grant proposals for scientific research: Retrospective analysis of scores by members of grant review panel », British Medical Journal, vol. 343, no d4797, 2011. DOI :10.1136/bmj.d4797.

INDUSTRIE CANADA. Réaliser le potentiel des sciences et de la technologie au profit du Canada, 2007 (consulté le 27 mars 2012).

INDUSTRIE CANADA. Réaliser le potentiel des sciences et de la technologie au profit du Canada — Rapport d'étape 2009, (consulté le 17 février 2012).

INSTITUT DE LA SANTÉ PUBLIQUE ET DES POPULATIONS. Formulaires de demande du POSF, 2012.

INSTITUT DE LA SANTÉ PUBLIQUE ET DES POPULATIONS. Rapport du colloque sur l'avancement de la recherche interventionnelle en santé des populations dans le but de promouvoir la santé et l'équité en santé, 2010.

INSTITUT DE LA SANTÉ PUBLIQUE ET DES POPULATIONS et INSTITUT DES SERVICES ET DES POLITIQUES DE LA SANTÉ. Lettre datant du 30 septembre 2005, adressée à Mark Bisby, Robin Hill et Richard Snell et cosignée par John Frank, alors directeur scientifique de l'ISPP, et Morris Barer, alors directeur scientifique de l'ISPS.

INSTITUT DES SERVICES ET DES POLITIQUES DE LA SANTÉ. Generating evidence to guide peer review reform, 2011.

IOANNIDIS, J. P. A. « Fund people not projects » (commentaire), Nature, vol. 477, 2011, p. 529-531.

IRSC. Document de travail conceptuel – Proposition de changements à la série de programmes ouverts des IRSC et d'améliorations au processus d'évaluation par les pairs, 2012a (consulté le 13 février 2012).

IRSC. L'innovation au service de la santé – De meilleurs soins et services par la recherche, 2010 (consulté le 14 février 2012).

IRSC. Possibilité de financement du POSF 2011-2012, 2012b (consulté le 17 février 2012).

ISMAIL S., E. NASON, S. MARJANOVIC et J. GRANT. Bibliometrics as a tool for supporting prospective R&D decision-making in the health sciences: Strengths, weaknesses and options for future development, Rand Corporation, Santa Monica (Californie), 2009.

JACOB, B. et L. LEFGREN. The impact of research grant funding on scientific productivity (document de travail du NBER), 2007 (consulté le 15 septembre 2010).

LANGFELDT, L. « The decision-making constraints and processes of grant peer review, and their effects on the review outcome », Social Studies of Science, vol. 31, no 6, 2001, p. 820-841.

LARIVIÈRE, V., E. ARCHAMBAULT, Y. GINGRAS et E. VIGNOLA-GAGNÉ. « The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities », Journal of the American Society for Information Science and Technology, vol. 57, no 8, 2006, p. 997-1004.

LEVIN, H. et P. J. MCEWAN. Cost-Effectiveness Analysis: Methods and Applications. Thousand Oaks, Sage Publications, 2001.

LOMAS, J. « Using 'linkage and exchange' to move research into policy at a Canadian foundation », Health Affairs, vol. 19, no 3, 2000, p. 236-240.

MACINTYRE, S. Rapport de l'Équipe d'examen composée d'experts pour l'Institut de la santé publique et des populations, 2011 (consulté le 17 février 2012).

MARTIN, B. R. et J. IRVINE. « Assessing basic research: Some partial indicators of scientific progress in radio astronomy », Research Policy, vol. 12, no 2, 1983, p. 61-90.

MOED, H. F. Citation Analysis in Research Evaluation, Dordrecht, Pays-Bas, Springer, 2005.

MOFFATT, L. Perspectives sur le financement de la recherche interventionnelle en santé des populations : Contexte et rapport d'entrevues avec les répondants clés, rapport préparé pour l'Initiative de recherche interventionnelle en santé des populations du Canada, 2009.

NATIONAL INSTITUTES OF HEALTH. NIH Research Grant Program R01, 2011 (consulté le 19 février 2012).

NICHOLSON, P. et D. CÔTÉ. Innovation Canada : Le pouvoir d'agir – Examen du soutien fédéral de la recherche-développement – Rapport final du groupe d'experts, 2011 (consulté le 17 février 2012).

POWELL, K. « Making the Cut ». Nature, vol. 467, 2010, p. 383-385.

STATISTIQUE CANADA. Enquête sur la population active (EPA), estimations selon les heures habituellement travaillées, la catégorie de travailleur, la Classification nationale des professions pour statistiques (CNP-S), et le sexe, non désaisonnalisées, mensuel, (tableau 282-0023 de CANSIM), 2011b (consulté le 23 février 2012).

STATISTIQUE CANADA. Traitements et échelles de traitement du personnel enseignant à plein temps dans les universités canadiennes, 2010-2011 : rapport préliminaire, no 81-595 M, 2011a (consulté le 23 février 2012).

TAMBLYN, R. Institut des services et des politiques de la santé des IRSC – Présentation au conseil consultatif de l'Institut de l'ISPP, 2011.

THORNGATE, W., N. FAREGH et M. YOUNG. Mining the archives: Analyses of CIHR research grant adjudications, rapport présenté aux IRSC en novembre 2002 (consulté le 9 mars 2012).

UK EVALUATION FORUM, Medical research: assessing the benefits to society, Londres, Academy of Medical Sciences, 2006.

UNITÉ DE L'ÉVALUATION DES IRSC. Rapport final sur la modification de la méthodologie de répartition des fonds du PSF et des répercussions sur le nombre de demandes financées par comité d'examen par les pairs, rapport interne des IRSC, 2009.

Date de modification :

2012-10-29