Les IRSC à votre écoute : Analyse de la rétroaction sur le document de travail conceptuel

Août 2012

Table des matières

• Message du groupe de travail sur les réformes
• Résumé
  1. But et introduction
  2. Méthode de collecte et de synthèse des commentaires
  3. Résumé des commentaires du milieu de la recherche
     • 3.1 Commentaires sur l'architecture proposée
       • 3.1.1 Volet programme
       • 3.1.2 Volet projet
       • 3.1.3 Application des connaissances intégrée
       • 3.1.4 Nouvelle série de programmes ouverts : commentaires généraux
     • 3.2 Commentaires sur les mécanismes proposés
       • 3.2.1 Processus d'évaluation en plusieurs étapes
       • 3.2.2 Évaluation axée sur les demandes
       • 3.2.3 Critères structurés d'évaluation
       • 3.2.4 Processus de présélection à distance (virtuel)
       • 3.2.5 Collège des évaluateurs
     • 3.3 Transition
  4. Prochaines étapes
• Annexe I
• Annexe II

Message du groupe de travail sur les réformes

Le groupe de travail sur les réformes souhaite remercier les membres du milieu canadien de la recherche en santé d'avoir pris le temps d'exprimer leurs opinions, que ce soit lors de séances de discussion ouvertes et de réunions, par courriel et par courrier ou en répondant au sondage en ligne. L'abondance des commentaires recueillis est un gage de l'engagement des membres, et de leur désir de favoriser l'excellence dans tous les domaines de la recherche.

Il nous faut maintenant réagir à ces commentaires, un défi de taille. En lisant le présent document, vous constaterez en effet qu'ils reflètent la diversité des perspectives des disciplines de recherche en santé au Canada.

Les IRSC proposent de séparer la série de programmes ouverts en deux grands volets de financement. Le volet programme a pour but de soutenir les personnes. Il vise à offrir du financement à long terme aux chercheurs ayant déjà fait leurs preuves. Quant au volet projet, il a pour but de soutenir les idées. Il vise à encourager les chercheurs qui veulent explorer des idées particulières dans tous les domaines de la recherche sur la santé et les systèmes de santé et de l'application des connaissances à présenter des propositions de projets dont la portée et les délais sont définis.

Les commentaires reçus affermissent notre conviction que l'établissement de ces deux volets nous aidera à atteindre les objectifs généraux des réformes. Le conseil d'administration des IRSC a récemment réaffirmé son engagement par rapport à cette orientation en adoptant la motion suivante le 26 juin 2012 :

« Que le conseil d'administration réaffirme son engagement de mettre en œuvre les volets projet et programme dans le cadre de la réforme de la série de programmes ouverts, que le travail à cette fin se poursuive et que cela soit communiqué au milieu de la recherche dans son ensemble en juillet 2012. »

Afin de faciliter le processus de sélection dans le cadre de ces deux volets de financement, le document de travail a proposé la création de « mécanismes », dont le processus d'évaluation en plusieurs étapes, l'évaluation axée sur les demandes et le processus de présélection à distance. Les opinions des participants sur les changements proposés au processus d'évaluation par les pairs étaient divergentes, parfois même opposées. Un certain nombre d'aspects ont reçu l'appui du milieu, tandis que d'autres sont une source de grande inquiétude. Les IRSC admettent que le processus d'évaluation par les pairs devra être amélioré pour combler les lacunes actuelles du système et affirment que les changements apportés n'amoindriront en rien la qualité du processus.

En réponse à la motion du conseil d'administration, nous poursuivrons la mise au point des volets programme et projet. En réponse aux inquiétudes soulevées durant le processus de rétroaction, les IRSC procéderont à d'autres analyses au cours des prochains mois, en plus d'élaborer d'autres scénarios pour déterminer la meilleure approche à adopter pour l'évaluation par les pairs. Nous continuerons de collaborer avec divers intervenants, notamment les établissements, les délégués universitaires, les conseils consultatifs des instituts et d'autres conseillers, afin de poursuivre et de perfectionner la conception. Nous prévoyons répondre à vos commentaires et vous faire part de la conception à l'automne. Nous vous présenterons alors une série de projets pilotes visant à mettre à l'essai certains aspects des changements et apporter des modifications à la conception, s'il y a lieu.

Quelle que soit la conception définitive, nous comprenons que les IRSC devront planifier soigneusement la transition vers les nouveaux volets. Les détails sur la façon dont les chercheurs (à la fois les titulaires d'une subvention unique ou de subventions multiples) passeront de la série actuelle de programmes ouverts aux nouveaux volets de financement sont encore en cours d'élaboration et feront l'objet d'une annonce à l'automne.

Nous aimerions vous remercier à nouveau d'avoir répondu à l'appel. Soyez assurés de notre engagement à poursuivre le dialogue avec les membres du milieu de la recherche.

Groupe du travail sur les réformes des IRSC

Résumé

Cinq mois se sont écoulés depuis la publication du document conceptuel décrivant la proposition de réforme de la série de programmes ouverts des IRSC et du processus d'évaluation par les pairs. Les IRSC tiennent à remercier les membres du milieu canadien de la recherche en santé d'avoir pris le temps de formuler de nombreux commentaires de qualité.

D'après les commentaires qu'ils ont fait parvenir aux IRSC, les membres du milieu de la recherche semblent généralement reconnaître la nécessité d'apporter des améliorations. Une grande partie d'entre eux appuient l'établissement de deux nouveaux volets de financement, le premier axé sur les programmes généraux de recherche, et le second sur des projets particuliers. Le nouveau financement à long terme octroyé dans le cadre du volet programme a été généralement bien accueilli et perçu comme un premier pas vers la réduction du fardeau des candidats et des pairs évaluateurs. Les répondants appuient également la mise en place de l'évaluation axée sur les demandes, l'utilisation de critères structurés d'évaluation et la création d'un collège des évaluateurs pour améliorer la cohérence, la fiabilité et l'équité des évaluations. Les avis étaient partagés quant à la possibilité que le processus de concours en plusieurs étapes proposé réduise le fardeau des candidats et des pairs évaluateurs, mais les répondants semblaient convenir que les réformes proposées représentent un pas dans la bonne direction.

Les détails précis des volets de financement et du déroulement de l'évaluation par les pairs ne font toutefois pas l'unanimité (et créent parfois certains clivages) selon le domaine de recherche, l'étape de la carrière et les groupes d'intervenants. Les commentaires reçus reflètent les perspectives variées en recherche en santé au Canada; cette diversité met en évidence l'importance de créer des programmes et des processus qui favoriseront l'excellence dans le champ complet de la recherche en santé. Les préoccupations des divers milieux de recherche et les suggestions qu'ils ont formulées sont présentées en détail dans les sections 3.1 à 3.3 du présent document.

De nombreux membres du milieu de la recherche ont indiqué qu'ils trouvaient l'échéancier proposé ambitieux et que les IRSC devraient envisager de prolonger la période de transition. On a également recommandé aux IRSC de surveiller et d'évaluer rigoureusement les changements proposés afin d'assurer la qualité et l'efficacité des nouveaux processus. De plus, l'accessibilité aux nouveaux volets de financement pour les nouveaux chercheurs et les chercheurs en milieu de carrière en préoccupait plus d'un. Les IRSC sont d'accord avec ces énoncés, et ils s'engagent à concevoir un plan de mise en œuvre complet qui permettra d'opérer les changements de façon graduelle sur une plus longue période. Ce plan décrirait une série d'études pilotes potentielles et des occasions de procéder à une évaluation rigoureuse des propositions de changements au système d'évaluation par les pairs avant leur mise en œuvre complète. Dans le cadre du processus, le déploiement des nouveaux volets fera l'objet d'une surveillance afin de rectifier le tir au besoin. Enfin, des mécanismes seront mis en place pour offrir aux nouveaux chercheurs et aux chercheurs en milieu de carrière un accès équitable aux deux volets de financement.

Un grand nombre de répondants s'inquiètent des sommes que le gouvernement fédéral consacre au financement de la recherche en santé au Canada. Certains croient que les changements au système n'auront qu'un impact limité sans injection de fonds additionnels. Bien que les IRSC comprennent ces préoccupations, il ne faut pas oublier le contexte économique actuel. Malgré les pressions économiques à l'échelle nationale et internationale, qui ont entraîné des réductions de dépenses dans l'ensemble de l'administration publique fédérale, les IRSC peuvent se compter chanceux d'avoir conservé sensiblement le même budget de subventions.

1. But et introduction

Ce document a pour but de faire le compte rendu des commentaires reçus du milieu de la recherche des IRSC au sujet des changements proposés à la série de programmes ouverts et au processus d'évaluation par les pairs.

Ce document vise à :

• exposer les propos recueillis sur la conception proposée par les IRSC pour sa nouvelle série de programmes ouverts et les améliorations au système d'évaluation par les pairs;
• décrire les prochaines étapes en détail.

Les IRSC désirent remercier les membres du milieu de la recherche d'avoir pris le temps de lire le document de travail conceptuel intitulé Proposition de changements à la série de programmes ouverts des IRSC et d'améliorations au processus d'évaluation par les pairs, de réfléchir à la conception et d'avoir fourni de judicieux commentaires et suggestions.

Il est essentiel de connaître l'avis des membres du milieu de la recherche sur la proposition avant de finaliser la conception afin de déterminer les types de projets pilotes, de processus de transition et de plan de mise en œuvre nécessaires. Du 8 février au 1er mai 2012, les répondants ont transmis leurs commentaires aux IRSC de façon informelle au cours de plusieurs séances de discussion ouverte, ainsi que de façon plus formelle au moyen de lettres, de courriels et de formulaires de rétroaction. Chacune des opinions émises a été prise en compte et comparée à celles de groupes représentatifs, puis analysée en fonction du thème de recherche, de l'étape de carrière et du statut de chercheur ou de non-chercheur des répondants.

Les IRSC s'engagent à informer et à faire participer le milieu de la recherche au cours de l'évaluation, du perfectionnement et de la mise en œuvre de la nouvelle série de programmes ouverts et des processus d'évaluation par les pairs. Ils espèrent que le présent document sera utile aux répondants et au milieu de la recherche en général.

2. Méthode de collecte et de synthèse des commentaires

Méthode de collecte des commentaires

Les commentaires du milieu de la recherche à propos des changements proposés à la série de programmes ouverts et au processus d'évaluation par les pairs ont été recueillis du 8 février au 1er mai 2012 au moyen de mécanismes de rétroaction particuliers (figure 1) :

Figure 1 : Commentaires reçus du milieu de la recherche des IRSC (du 8 février au 1er mai 2012)

Figure 1. Mécanismes utilisés pour faire participer le milieu de la recherche et recueillir leurs commentaires sur les changements proposés à la nouvelle série de programmes ouverts et au processus d'évaluation par les pairs.

a. Discussions en personne

Les IRSC ont organisé 82 séances de discussion avec des établissements, des associations et des partenaires, notamment des séances ouvertes qui se sont déroulées dans divers établissements de recherche du pays. Les administrateurs des établissements, les partenaires financiers et des groupes de chercheurs ont pu assister à des présentations personnalisées faites par le président ou par la chef des affaires scientifique et vice-présidente à la recherche et à l'application des connaissances des IRSC, présentations qui ont été suivies d'une période de questions. Les commentaires émis au cours de ces périodes de questions ont été colligés par un administrateur des IRSC et envoyés par courriel dans une boîte de réception centralisée. La liste d'intervenants et de partenaires ayant participé à ces consultations peut être consultée à en ligne.

b. Forum de discussion sur le Web

Un forum modéré en ligne a été mis sur pied pour recueillir les commentaires sur les changements proposés à la série de programmes ouverts et au système d'évaluation par les pairs. Le forum était divisé en grands fils de discussion, qui portaient entre autres sur les volets programme et projet et sur les améliorations générales à l'évaluation par les pairs. Les chercheurs pouvaient également proposer de nouveaux sujets de discussion. Au total, 186 personnes se sont inscrites et 22 commentaires ont été publiés.

c. Formulaire de rétroaction anonyme

Un formulaire de rétroaction électronique (sous forme de sondage) a été élaboré afin de structurer les réponses; un courriel a été envoyé à un échantillon aléatoire composé de plus de 1 690 chercheurs de tous les domaines de recherche en santé pour les inviter à le remplir. Les participants aux séances de discussion ouverte ont également été informés de la possibilité de remplir ce formulaire. Le formulaire comprenait 17 questions, dont 13 à choix multiple et 4 à développement, auxquelles les participants pouvaient répondre par des commentaires ou des questions.

Au total, les IRSC ont reçu 513 questionnaires remplis, ce qui correspond à un taux de réponse de 30 % parmi les chercheurs choisis de façon aléatoire.

La plupart des répondants ont déclaré être des chercheurs chevronnés (47 %), soit un pourcentage équivalant presque à celui des chercheurs en début de carrière (24 %) et en milieu de carrière (24 %) réunis (figure 2).

Figure 2 : Proportion de répondants au formulaire de rétroaction selon l'étape de carrière déclarée

Figure 2. Proportion de répondants ayant rempli le formulaire de rétroaction, par étape de carrière déclarée. Les chiffres peuvent ne pas correspondre au total prévu parce qu'ils sont arrondis (N = 513). On entend par « chercheur en début de carrière », un chercheur ayant moins de cinq années d'expérience comme chercheur indépendant (y compris les étudiants des cycles supérieurs et les boursiers postdoctoraux qui se sont déclarés comme tels), par « chercheur en milieu de carrière », un chercheur ayant cinq à dix années d'expérience comme chercheur indépendant et par « chercheur chevronné », un chercheur ayant plus de dix années d'expérience comme chercheur indépendant. Sont classés dans la catégorie « autres » les répondants qui se sont déclarés « utilisateurs des connaissances » ou « autres » (à l'exception des répondants qui se sont déclarés étudiants des cycles supérieurs et boursiers postdoctoraux). Veuillez noter que les utilisateurs des connaissances représentent environ 46 % de l'échantillon « autres ».

Par ailleurs, la distribution des répondants selon le thème de recherche déclaré était généralement représentative de l'échantillon aléatoire et de la proportion de chercheurs financés dans le cadre de la série actuelle de programmes. La majorité des chercheurs ayant répondu s'inscrivaient dans le thème 1 (recherche biomédicale) [figure 3].

Figure 3 : Proportion de répondants au formulaire de rétroaction selon le thème de recherche déclaré

Figure 3. Proportion de répondants ayant rempli le formulaire de rétroaction, selon le thème de recherche déclaré. Le thème 1 concerne la recherche biomédicale, le thème 2, la recherche clinique, le thème 3, la recherche sur les systèmes et services de santé et le thème 4, la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties (N = 513).

Le public a pu accéder au formulaire de rétroaction en ligne sur le site Web des IRSC du 13 février au 1er mai 2012.

Pour en savoir plus sur les questions posées, consulter l'Annexe I.

d. Retour de correspondance

Une adresse courriel centralisée a été mise à la disposition des intervenants, qui pouvaient y envoyer leurs questions et commentaires concernant les changements proposés. Des commentaires ont également été envoyés directement à l'adresse courriel du président et de la vice-présidente à la recherche; ces messages ont été transférés à l'adresse centralisée pour être pris en compte et analysés de façon plus approfondie. De plus, des individus, des départements et des facultés universitaires, des équipes d'hôpitaux de recherche et des associations professionnelles ont fait parvenir des commentaires par courrier.

Au 1er mai 2012, on avait reçu 206 lettres et courriels, certains au nom de signataires multiples (n = 45), pour un total de 1 270 correspondants (Annexe II). La grande majorité des lettres ont été envoyées par des chercheurs chevronnés du milieu biomédical.

Méthode de synthèse des commentaires

Les IRSC ont tenté de résumer de façon qualitative les commentaires structurés et non structurés reçus. Pour faciliter la synthèse des commentaires non structurés, un cadre organisationnel a été élaboré. Tous les commentaires et questions, qu'ils s'inscrivent ou non dans le contexte des propositions de changements à la série de programmes ouverts et d'améliorations à l'évaluation par les pairs, ont été lus attentivement puis codés et classés selon 14 thèmes préétablis (figure 4) :

Figure 4. Liste des thèmes de rétroaction communs regroupés par élément conceptuel.

Par la suite, ces commentaires et questions ont été classés par sous-thèmes, qui reflétaient les sujets récurrents. Une fois les commentaires regroupés par thème et par sous-thème, ils ont été classés dans l'une des catégories suivantes :

• Positif : Commentaire favorable aux principes de l'élément conceptuel;
• Négatif : Commentaire défavorable aux principes de l'élément conceptuel;
• Neutre : Question, considération ou suggestion relative à la conception.

Échelle qualitative d'analyse des commentaires non structurés

Pour chacun des éléments conceptuels, les idées couramment exprimées ont été rassemblées et classées comme étant favorables ou défavorables. Les considérations et suggestions récurrentes et uniques ont également été consignées pour chaque élément. Voici les descripteurs attribués selon le pourcentage de répondants en accord avec un élément conceptuel précis :

Définition d'un « nombre équivalent de commentaires individuels »

Tous les commentaires non structurés étaient pondérés en fonction du nombre de signataires ou de cosignataires. Par exemple, les commentaires formulés dans une lettre signée par 10 personnes équivalaient à 10 commentaires individuels.

3. Résumé des commentaires du milieu de la recherche

3.1 Commentaires sur l'architecture proposée

La présente section traite des commentaires reçus au sujet du volet programme (3.1.1), du volet projet (3.1.2), de l'application des connaissances intégrée (3.1.3) et de la nouvelle série de programmes ouverts (3.1.4).

Globalement, plusieurs répondants sont favorables à la création des volets programme et projet, et plus particulièrement à l'évaluation indépendante des candidats et de leurs idées. Toutefois, certains répondants ont exprimé leur incertitude quant au volet qui répondrait le mieux à leurs besoins et indiqué que la distinction entre ces volets ajoute à la complexité d'un système déjà complexe.

En ce qui concerne la part de financement accordée à chaque volet, quelques répondants étaient en désaccord avec le fait d'allouer respectivement 45 % et 55 % du budget au volet programme et au volet projet. De ce nombre, certains ont demandé plus de renseignements aux IRSC sur la façon de calculer ce ratio « optimal ».

3.1.1 Volet programme

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail conceptuel, environ 68 % des répondants seraient intéressés à présenter une demande dans le cadre du volet programme (figure 5).

Figure 5 et 6 : Proportion de répondants au formulaire de rétroaction qui se sont dits prêts à présenter une demande dans le cadre des mécanismes de financement proposés

Figure 5. Proportion de répondants qui se sont dits prêts à présenter une demande dans le cadre des mécanismes de financement proposés. Données en date du 1er mai 2012 (N = 513). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Le volet programme suscite le plus d'intérêt auprès des répondants suivants :

• les chercheurs en début de carrière du thème 3 (recherche sur les systèmes et services de santé) dans une proportion de 73 %;
• les chercheurs chevronnés du thème 1 (recherche biomédicale) dans une proportion de 73 %;
• les chercheurs en début de carrière et les chercheurs chevronnés du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) dans des proportions de 57 % et de 56 % respectivement.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 61 % des répondants (n = 1 028) ont formulé des commentaires ou des questions sur le volet programme. Globalement favorables aux principes généraux de cet élément conceptuel, les commentaires non structurés étaient axés sur des suggestions et considérations visant à améliorer les modalités du volet programme. Les commentaires sur ce volet concernaient la valeur des subventions, l'admissibilité, la collaboration, l'engagement des établissements, le volet pour les nouveaux chercheurs et les chercheurs en début de carrière et la transition.

Valeur des subventions

Bien qu'il ait été précisé dans le document de travail conceptuel que la valeur moyenne estimée des subventions était basée sur celle des subventions actuelles des IRSC, et que les montants réels de ces subventions seraient « proportionnels aux besoins scientifiques », certains répondants ont tout de même interprété cette valeur moyenne comme étant un montant annuel maximal accordé par subvention. Ces répondants ont indiqué qu'un tel plafond serait trop restrictif et ne permettrait pas un financement adéquat de la recherche.

Plusieurs répondants ont fait état de préoccupations concernant le financement du volet programme, certains répondants indiquant qu'ils auraient besoin d'un montant supérieur à la valeur annuelle moyenne de 300 000 $ et quelques répondants précisant que des subventions moins élevées répondraient aux besoins de leur programme de recherche. Plusieurs répondants ont déclaré que les IRSC devraient s'assurer que la valeur des subventions de programmes soit réaliste et proportionnelle aux projets de recherche proposés pour s'adapter à une grande variété de programmes.

En outre, plusieurs répondants ont commenté qu'il serait avantageux de proposer du financement flexible, qui permettrait aux chercheurs de demander des fonds additionnels au besoin pour explorer de nouvelles orientations de recherche ou répondre à la croissance de leur activité ou programme au cours de la période de financement de sept ans. Ce financement flexible semble particulièrement pertinent pour les nouveaux chercheurs et les chercheurs en début ou en milieu de carrière qui peuvent s'attendre à une expansion considérable de leur projet pendant la durée de leur subvention. De nombreux répondants ont mentionné qu'être titulaire d'une subvention de programme revenait à « mettre tous ses œufs dans le même panier » et se sont montrés préoccupés par la poursuite des recherches si leur subvention n'était pas renouvelée. Quelques répondants ont avancé qu'une subvention transitoire serait essentielle à la réussite de ces chercheurs ou que le renouvellement devrait se faire au cours de la sixième année de subvention afin que les candidats non retenus aient une année complète pour explorer d'autres options.

Admissibilité

Certains répondants ne sont pas sûrs qu'ils respecteraient les critères d'admissibilité du volet programme, qui s'adresse aux « chercheurs indépendants (nouveaux ou établis) dont les preuves ne sont plus à faire en ce qui concerne l'excellence du travail ou l'incidence qu'ils ont eue dans leur discipline ». La plupart des commentaires portaient sur l'accessibilité des subventions pour les chercheurs à temps partiel, les cliniciens-chercheurs, les détenteurs d'une ou de plusieurs subventions et les chercheurs en milieu de carrière et sur l'équité entre les thèmes de recherche en santé des IRSC, notamment les sciences humaines. Certains répondants ont signalé que les subventions du volet programme seraient moins accessibles aux laboratoires et aux établissements de plus petite taille qui ont parfois un accès limité aux ressources, comme les infrastructures de recherche et les stagiaires. Quelques répondants ont également fait part de préoccupations concernant le soutien dans les régions moins peuplées, surtout par rapport au Programme de partenariats régionaux.

En ce qui concerne l'évaluation du calibre des candidats, quelques répondants ont souligné que les paramètres de productivité et de réussite utilisés par les chercheurs diffèrent selon les domaines. Ces répondants voulaient en savoir plus sur la façon d'intégrer des paramètres appropriés aux critères et au processus d'évaluation.

Plusieurs répondants ont mentionné que les changements entraîneraient la création d'un système à deux vitesses qui favoriserait l'enrichissement des plus riches. La transition entre le volet projet et le volet programme préoccupait certains répondants, qui ont fait valoir qu'ils seraient désavantagés par rapport aux scientifiques chevronnés.

Collaboration

Dans le document de travail conceptuel, les IRSC reconnaissent que la recherche est de plus en plus souvent menée par des groupes de chercheurs et que cela donne lieu à des préoccupations concernant l'admissibilité des demandes présentées par plusieurs chercheurs principaux. Parmi ceux qui ont formulé des commentaires sur la collaboration, de nombreux répondants conviennent que les équipes de chercheurs devraient être admissibles aux subventions du volet programme. D'après plusieurs répondants, bien que les équipes constituent un mécanisme important, les membres de ces équipes peuvent éprouver des difficultés relatives à l'obtention de postes permanents et aux critères de promotion.

La possibilité pour les chercheurs de collaborer à des projets ne relevant pas de l'équipe financée par la subvention de programme a également été abordée. Selon le document de travail conceptuel, un chercheur qui détient une subvention du volet programme ne serait pas admissible à une subvention du volet projet. Plusieurs répondants ont indiqué que les titulaires d'une subvention du volet programme devraient avoir le droit d'être cocandidats pour des demandes de subvention du volet projet, mais quelques personnes s'opposaient à cette approche.

Quelques répondants voudraient en savoir plus sur la façon dont les changements proposés faciliteraient l'établissement de partenariats à l'échelle internationale et ont suggéré que les IRSC harmonisent leurs politiques avec celles d'autres grands organismes internationaux de financement (p. ex. paiement des salaires à partir des subventions comme aux États-Unis).

Évaluation des demandes de subvention du volet programme

Les commentaires sur le processus d'évaluation des demandes de subvention du volet programme portaient surtout sur la première étape de l'évaluation. D'après le document de travail conceptuel, l'étape 1 consisterait à établir le calibre du dossier d'un candidat en se fondant sur un court résumé du programme de recherche et sur le curriculum vitae du candidat. Quelques répondants ont ajouté que la productivité d'un candidat devrait être évaluée en fonction d'une analyse des citations et d'un relevé des liens vers ses articles et que le curriculum vitae devrait servir à établir le dossier du candidat et ses intérêts de recherche.

Engagement des établissements

Plusieurs répondants craignent que le soutien et l'engagement de l'établissement ne fassent partie des critères d'évaluation des demandes, indiquant que dans ces circonstances, les petits établissements pourraient être désavantagés. Certains d'entre eux redoutent en effet que les candidats provenant d'établissements qui fournissent moins d'appui soient défavorisés lorsqu'ils demandent des subventions. Les répondants ont exprimé certaines préoccupations concernant la capacité des établissements à offrir davantage de soutien qu'aujourd'hui ou l'approbation obligatoire des demandes par les établissements, qui pourraient faire preuve de favoritisme à l'égard de certains candidats. De même, quelques répondants ont signalé qu'il pourrait être difficile d'obtenir de leur établissement le soutien à long terme nécessaire dans le cadre du volet programme. De plus, certains répondants ont fait remarquer que les exigences en matière de temps réservé à la recherche doivent être établies de façon à ne pas désavantager les chercheurs qui ont des tâches d'enseignement.

Au cours de certaines rencontres avec les administrateurs des établissements, les IRSC ont appris que le soutien additionnel demandé aux établissements dans le cadre du volet programme amenait les chercheurs à croire à tort que les mécanismes de financement proposés créeraient un système à deux vitesses. Pour éviter ce problème, les administrateurs des établissements ont recommandé aux IRSC d'imposer les mêmes exigences en matière d'engagement des établissements dans les deux volets.

Volet pour les nouveaux chercheurs/chercheurs en début de carrière

Certains répondants considèrent la mise en place d'un volet consacré aux nouveaux chercheurs et aux chercheurs en début de carrière comme un point fort du volet programme, mais plusieurs ont indiqué que cet élément conceptuel ne permettrait pas de régler les problèmes auxquels sont actuellement confrontés ces chercheurs. De nombreux répondants jugent trop restrictive la définition de « nouveau chercheur/chercheur en début de carrière » proposée par les IRSC; ils aimeraient qu'elle soit révisée afin de mieux refléter le cheminement en début de carrière des chercheurs d'aujourd'hui. De nombreux répondants voudraient en savoir plus sur l'évaluation des demandes de ces catégories de chercheurs dans le cadre du volet programme.

Transition

Quelques répondants ont exprimé des préoccupations concernant la transition de leur financement actuel vers les subventions du volet programme, déclarant ne pas savoir s'ils seraient désavantagés si le financement de leur programme actuel provenait en tout ou en partie d'autres organismes que les IRSC. Certains chercheurs ont affirmé qu'il serait difficile de choisir le volet qui répondrait le mieux à leurs besoins.

3.1.2 Volet projet

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail conceptuel, environ 71 % des répondants seraient intéressés à présenter une demande dans le cadre du volet projet (figure 6).

Figure 5 et 6 : Proportion de répondants au formulaire de rétroaction qui se sont dits prêts à présenter une demande dans le cadre des mécanismes de financement proposés

Figure 6. Proportion de répondants qui se sont dits prêts à présenter une demande dans le cadre des mécanismes de financement proposés. Données en date du 1er mai 2012 (N = 513). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Le volet projet suscite le plus d'intérêt auprès des répondants suivants :

• les chercheurs en début de carrière du thème 1 (recherche biomédicale) et du thème 2 (recherche clinique) dans des proportions de 84 % et de 83 % respectivement;
• les chercheurs en milieu de carrière et les chercheurs chevronnés du thème 3 (recherche sur les systèmes et les services de santé) dans des proportions de 94 % et de 76 % respectivement;
• les chercheurs chevronnés du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) dans une proportion de 77 %.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 40 % des répondants (n = 674) ont formulé des commentaires ou des questions sur le volet projet. Globalement favorables à cet élément conceptuel, les commentaires non structurés étaient axés sur des suggestions et considérations visant à améliorer les modalités du volet projet. Ces commentaires concernent la valeur et la durée des subventions, l'évaluation des demandes de subvention du volet projet et la promotion de l'innovation.

Valeur et durée des subventions

Comme pour le volet programme, quelques répondants craignent que la valeur moyenne des nouvelles subventions de projets (125 000 $ par année selon le document de travail conceptuel) soit inférieure à la valeur moyenne actuelle des subventions octroyées dans le cadre du Programme ouvert de subventions de fonctionnement des IRSC (123 000 $ par année en 2010-2011 selon le document de travail conceptuel). Certains répondants ont fait observer que le volet projet ne permettrait pas d'octroyer de grandes subventions ni de mener des essais contrôlés randomisés, et quelques-uns ont réitéré que la valeur des subventions devrait être adaptée en fonction de la durée du projet.

De nombreux répondants conviennent que la valeur des subventions devrait être adaptée en fonction du type de recherche, et qu'il faut faire preuve de flexibilité pour répondre aux besoins de tous les candidats. Cependant, quelques répondants craignent que les évaluateurs aient un parti pris contre les demandes de subvention qui s'éloignent de la valeur moyenne proposée (p. ex. les demandes de subvention d'un montant grandement supérieur ou inférieur à 125 000 $ par année).

Plusieurs répondants ont formulé des commentaires sur la durée moyenne des subventions de projets, précisant que la durée de la plupart de ces subventions devrait s'approcher de cinq ans (pour les subventions de trois à cinq ans) pour réduire le fardeau des candidats et des pairs évaluateurs et maximiser l'impact des projets. Certains répondants ont ajouté que les subventions d'une durée de cinq ans permettraient de mieux appuyer les stagiaires qui participent aux projets de recherche.

Évaluation des demandes de subvention du volet projet

Les commentaires sur le processus d'évaluation des demandes de subvention du volet projet portent principalement sur la première étape du processus. Selon le document de travail conceptuel, l'étape 1 consisterait à évaluer la qualité de l'idée en se basant sur une courte proposition de projet de deux à trois pages, sans tenir compte du dossier du candidat ou de l'équipe. Certains répondants ont fait remarquer que cette courte proposition ne contiendrait pas suffisamment de données pour permettre une évaluation adéquate de la demande. Bien que certains répondants aient exprimé leur soutien envers le concept, de nombreux répondants qui ont formulé des commentaires sur l'étape 1 de l'évaluation jugent qu'il est peu réaliste de compter évaluer les demandes de façon anonyme à l'étape 1. Quelques répondants ont suggéré d'éliminer complètement l'étape 1 du processus de demande du volet projet.

Promotion de l'innovation

Un des objectifs du volet projet décrits dans le document conceptuel consiste à encourager les avancées originales ou novatrices en matière de connaissances en santé ou d'application des connaissances. Parmi les répondants qui ont formulé des commentaires sur l'innovation, plusieurs appuient les efforts déployés par les IRSC pour promouvoir le financement des recherches à haut risque et rappellent que le système actuel d'évaluation par les pairs a tendance à favoriser les projets de recherche prudents ou peu risqués. En contrepartie, plusieurs répondants se demandaient si les changements proposés favoriseraient réellement les projets de recherche novateurs. Certains répondants ont demandé aux IRSC de préciser ce que veut dire pour eux le mot « innovation », étant donné qu'il pourrait avoir des significations différentes selon les disciplines.

Quelques répondants ont suggéré de créer un volet distinct de promotion de l'innovation, qui permettrait de mieux reconnaître et financer les projets à haut risque en évitant de faire autant pression sur les chercheurs pour qu'ils produisent des résultats. Quelques répondants ont également proposé que les critères d'évaluation comprennent une cote d'innovation.

Selon quelques répondants, les IRSC doivent réagir plus rapidement lorsque de nouvelles possibilités se présentent, en raccourcissant les délais des concours de financement pour mieux soutenir le milieu de la recherche, qui évolue à un rythme effréné.

3.1.3 Application des connaissances intégrée

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail, lorsqu'on leur a demandé si l'application des connaissances intégrée aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, les répondants ont dit, dans une proportion d'environ 34 %, qu'ils étaient d'accord ou tout à fait d'accord (figure 7).

Figure 7 : Opinion des répondants au formulaire de rétroaction quant à savoir si l'application des connaissances intégrée aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC

Figure 7. Réponses au formulaire de rétroaction montrant dans quelle mesure les répondants sont d'accord ou non pour dire que l'application des connaissances intégrée aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs. Données en date du 1er mai 2012 (N = 511). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Une analyse plus poussée des réponses aux questions à choix multiples (par thème et par étape de carrière déclarés) indique que les « autres » répondants, qui comprennent les utilisateurs des connaissances, sont les plus enclins à croire que l'intégration de l'application des connaissances permettrait de relever les défis associés à la série ouverte de programmes et au système d'évaluation par les pairs. Une grande partie des chercheurs du thème 3 (recherche sur les systèmes et les services de santé) et du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) sont également d'accord avec cette affirmation. En général, les répondants les moins susceptibles de croire que l'intégration de l'application des connaissances permettrait de résoudre les problèmes actuels sont les chercheurs en milieu de carrière et les chercheurs chevronnés, ainsi que les chercheurs du thème 1 (recherche biomédicale) [figure 8].

Figure 8 : Opinion des répondants quant à savoir si l'application des connaissances intégrée aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC (par thème de recherche et étape de carrière)

Figure 8. Réponses au formulaire de rétroaction montrant le pourcentage de répondants qui croient que l'application des connaissances intégrée aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, en fonction des thèmes de recherche et des étapes de carrière déclarés. Sont regroupés sous « d'accord » : « d'accord » et « tout à fait d'accord », sous « en désaccord » : « pas d'accord » et « pas du tout d'accord » et sous « neutre » : « opinion neutre », « ne sait pas » et les espaces laissés vides. On entend par « chercheur en début de carrière », un chercheur ayant moins de cinq années d'expérience comme chercheur indépendant (y compris les étudiants des cycles supérieurs et les boursiers postdoctoraux qui se sont déclarés comme tels), par « chercheur en milieu de carrière », un chercheur ayant cinq à dix années d'expérience comme chercheur indépendant et par « chercheur chevronné », un chercheur ayant plus de dix années d'expérience comme chercheur indépendant. Sont classés dans la catégorie « autres » les répondants qui se sont déclarés « utilisateurs des connaissances » ou « autres ». T1, T2, T3 et T4 correspondent respectivement à thème 1 (recherche biomédicale), thème 2 (recherche clinique), thème 3 (recherche sur les systèmes et les services de santé) et thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations). Veuillez noter que les utilisateurs des connaissances représentent environ 46 % de l'échantillon « autres ». Données en date du 1er mai 2012 (le total de 519 comprend les réponses en double des combinaisons chercheurs chevronnés/utilisateurs des connaissances et chercheurs en milieu de carrière/utilisateurs des connaissances).

Les répondants les plus d'accord sont :

• les chercheurs en début de carrière et les chercheurs chevronnés du thème 3 (recherche sur les systèmes et les services de santé) dans des proportions de 71 % et de 72 % respectivement;
• les chercheurs en début de carrière du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) et les « autres » répondants, notamment les utilisateurs des connaissances, dans des proportions de 70 % et de 79 % respectivement.

Les répondants les moins d'accord sont :

• les chercheurs en milieu de carrière et les chercheurs chevronnés du thème 1 (recherche biomédicale) dans des proportions de 49 % et de 46 % respectivement.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 3 % des répondants (n = 45) ont formulé des commentaires ou des questions sur l'application des connaissances intégrée. L'analyse des réponses aux questions à choix multiples et des commentaires non structurés sur l'application des connaissances intégrée porte à croire que les principes de cet élément conceptuel ont été mal interprétés. Par exemple, plusieurs répondants croient que l'exigence relative à l'application des connaissances intégrée s'appliquerait à tous les candidats et jugent que cette exigence nuirait à la recherche entreprise à l'initiative du chercheur. Néanmoins, les commentaires non structurés sont généralement favorables à cet élément. Ces commentaires concernent la reconnaissance de l'application des connaissances intégrée, l'intégration des Programmes d'application des connaissances aux nouveaux programmes ouverts, la commercialisation et le transfert de technologie et le soutien aux chercheurs.

Reconnaissance de l'application des connaissances intégrée

De nombreux répondants approuvent les efforts déployés par les IRSC pour favoriser la participation des utilisateurs des connaissances dans le processus de recherche, au besoin, et reconnaissent que les critères d'inclusion doivent varier selon le type de recherche. De nombreux répondants reconnaissent les effets bénéfiques de la participation d'utilisateurs des connaissances comme les patients, les citoyens, les consommateurs et les cliniciens aux projets et programmes de recherche. Certains répondants ont exprimé des inquiétudes concernant l'application de ce critère, particulièrement dans le domaine de la recherche biomédicale. Ces répondants ont déclaré que les IRSC devaient s'assurer de préserver la recherche dictée par la curiosité. Quelques répondants estiment qu'une trop grande importance est accordée à l'application des connaissances et à l'inclusion des utilisateurs des connaissances pertinents, qui ne produiraient pas les résultats escomptés.

Intégration des Programmes d'application des connaissances (AC) aux nouveaux programmes ouverts

En vue de simplifier les processus de demande et de financement, les IRSC ont proposé d'intégrer aux nouveaux mécanismes de financement certains objectifs des programmes de financement plus modestes comme les programmes d'application des connaissances et de commercialisation. Un même nombre de répondants s'avèrent pour et contre cette idée. Selon les répondants qui sont pour, l'intégration des budgets permettrait d'accroître le financement de la recherche indépendante, tout en améliorant la flexibilité du financement des groupes traditionnellement subventionnés par l'entremise de ces mécanismes de moindre ampleur. Selon ceux qui sont contre, il faut des programmes distincts pour renforcer la capacité dans les domaines concernés et favoriser le transfert des résultats à la pratique.

Commercialisation et transfert de technologie

Certains répondants ont formulé des commentaires sur l'inclusion de la commercialisation et du transfert de technologie au concept général d'application des connaissances intégrée. Parmi ce groupe, de nombreux répondants ont admis que l'industrie joue surtout le rôle d'utilisateur des connaissances dans le domaine de la recherche biomédicale, et qu'il faut encourager la collaboration avec l'industrie. La plupart des répondants qui ont abordé ce sujet estiment qu'il est nécessaire d'améliorer le soutien aux activités de commercialisation et de transfert de technologie, et quelques répondants vont jusqu'à dire que la commercialisation et l'innovation devraient être au centre des réformes afin d'améliorer la position du Canada au sein des pays de l'OCDE.

Soutien aux chercheurs

Quelques répondants estiment que des mesures de soutien de l'application des connaissances intégrée, comme un système de jumelage des chercheurs et des utilisateurs des connaissances/partenaires, seraient essentielles à la réussite de cette approche. De plus, certains répondants affirment qu'il faut préciser le degré de participation exigé des utilisateurs des connaissances. Certains répondants ajoutent que les critères d'évaluation doivent tenir compte des degrés variés de participation des utilisateurs des connaissances dans les différents domaines et thèmes de recherche pour garantir un examen adéquat des composantes de recherche et d'application des connaissances.

3.1.4 Nouvelle série de programmes ouverts : commentaires généraux

A) Réponses aux questions à choix multiple du formulaire de rétroaction

Réduire les obstacles au financement de l'excellence

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail, lorsqu'on leur a demandé si les changements proposés élimineraient des obstacles au financement de l'excellence dans tous les domaines de recherche, les répondants ont dit, dans une proportion d'environ 23 %, qu'ils étaient d'accord ou tout à fait d'accord (figure 9).

Figure 9 : Opinion des répondants au formulaire de rétroaction quant à savoir si les changements proposés élimineraient des obstacles au financement de l'excellence dans tous les domaines de recherche

Figure 9. Réponses au formulaire de rétroaction montrant dans quelle mesure les répondants sont d'accord ou non pour dire que les changements proposés élimineraient des obstacles qui nuisent au financement de l'excellence dans tous les domaines de la recherche en santé. Données en date du 1er mai 2012 (N = 513). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Une analyse plus poussée des réponses aux questions à choix multiples par thème et par étape de carrière déclarés indique que les répondants les plus d'accord avec cet énoncé sont :

• les chercheurs en début de carrière du thème 3 (recherche sur les systèmes et les services de santé) et du thème 4 (recherche sur les facteurs sociaux, culturels, et environnementaux qui influent sur la santé des populations) dans des proportions de 53 % et de 48 % respectivement;
• les chercheurs en milieu de carrière du thème 2 (recherche clinique) dans une proportion de 46 %.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 36 % des répondants (n = 606) ont formulé des commentaires ou des questions sur la faisabilité de la conception globale et sur la possibilité que les changements proposés éliminent les obstacles au financement de l'excellence en recherche en santé. En général, bien que cette section du formulaire ait été conçue pour cerner les principales préoccupations relatives à la conception globale de la nouvelle série de programmes ouverts, la plupart des commentaires formulés étaient accompagnés de suggestions constructives. Ces commentaires concernent le financement de tous les domaines de la recherche en santé, l'admissibilité aux volets programme et projet et le budget des subventions et bourses des IRSC.

Financement de tous les domaines de la recherche en santé

L'amélioration de l'accès au financement pour les chercheurs de tous les domaines de la recherche en santé est l'un des principaux objectifs de la nouvelle série de programmes ouverts. Certains répondants ont souligné l'importance de garantir un accès équitable à tous les chercheurs en santé et ont demandé des clarifications sur les mesures qui permettront d'évaluer et d'atteindre cet objectif dans le cadre des nouveaux volets.

Les répondants relevant des thèmes 1 (recherche biomédicale) et 2 (recherche clinique) ont fait remarquer que les nouveaux volets semblaient davantage axés sur la recherche appliquée, ce qui leur fait craindre que la recherche dictée par la curiosité ne soit sous-financée. De leur côté, les répondants des thèmes 3 (recherche sur les systèmes et les services de santé) et 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) ont mentionné que le nouveau système permettrait d'accroître les possibilités de financement, mais qu'ils voulaient en savoir plus sur la façon dont leurs demandes seraient évaluées, compte tenu de l'abolition des comités permanents.

Admissibilité aux volets programme et projet

Plusieurs répondants ont fait valoir l'importance de rendre le financement accessible aux chercheurs de tous les domaines en santé. Certains commentaires en particulier portaient sur la nécessité d'améliorer l'accès au financement chez les chercheurs en sciences humaines et les cliniciens-chercheurs. Les répondants ont apprécié que les changements proposés assurent l'égalité des chances entre les chercheurs des divers thèmes et domaines de recherche (et ne s'adressent pas seulement aux chercheurs qui étudient les « sujets de l'heure »). En outre, quelques répondants ont suggéré d'offrir du financement ciblé pour soutenir les professionnels de la santé et les ordres professionnels.

Certains répondants craignent que le système proposé ne permette pas de financer adéquatement les chercheurs en milieu de carrière. Ces répondants ont indiqué que leurs recherches s'inscriraient probablement dans le volet programme, mais qu'ils n'étaient pas certains de réussir à obtenir du financement lorsqu'ils seraient en concurrence avec des chercheurs chevronnés.

Budget des subventions et bourses des IRSC

Plusieurs répondants sont d'avis que le niveau de financement fédéral en recherche et développement dans le domaine de la santé octroyé par l'entremise des IRSC est insuffisant pour soutenir adéquatement l'excellence de la recherche au Canada. Parmi ceux-ci, de nombreux répondants croient que les changements apportés au système auront un impact limité sans injection de fonds additionnels. Plusieurs répondants sont préoccupés par le faible taux de réussite aux concours : selon eux, l'élargissement du mandat du Conseil de recherches médicales (CRM) par la création des IRSC n'a pas été accompagné d'une augmentation proportionnelle du budget permettant à ceux-ci de s'adapter à l'accroissement considérable du nombre de demandes à traiter.

Certains répondants ont fait remarquer que la fatigue des évaluateurs n'était pas causée par le système actuel d'évaluation par les pairs, mais plutôt par le faible taux de réussite. En effet, selon la plupart de ces répondants, la lassitude des évaluateurs s'explique par le fait qu'ils doivent examiner d'excellentes demandes (qui sont parfois présentées de nouveau) tout en sachant qu'une grande partie des demandes méritoires ne seront pas financées.

Plusieurs répondants ont proposé que les IRSC réaffectent une partie du budget actuellement consacré au financement stratégique pour améliorer le financement du Programme ouvert de subventions de fonctionnement. Quelques répondants ont quant à eux suggéré de réaffecter une partie du budget alloué aux subventions de formation à cette fin.

Quelques répondants ont proposé de réorienter les fonds offerts par d'autres organismes vers le Programme ouvert de subventions de fonctionnement des IRSC. Plus précisément, certains répondants ont suggéré de réaffecter une partie des fonds supplémentaires alloués à la Fondation canadienne pour l'innovation (FCI) ou une partie du budget annuel de 7 milliards de dollars visant à encourager la R-D octroyé dans le cadre du Plan d'action économique du Canada.

3.2 Commentaires sur les mécanismes proposés

La présente section traite principalement des commentaires reçus au sujet du processus de concours en plusieurs étapes (3.2.1), de l'évaluation axée sur les demandes (3.2.2), des critères structurés d'évaluation (3.2.3), du processus de présélection à distance (virtuel) (3.2.4) et du collège des évaluateurs (3.2.5).

3.2.1 Processus d'évaluation en plusieurs étapes

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail, lorsqu'on leur a demandé si le processus de concours en plusieurs étapes aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, les répondants ont dit, dans une proportion d'environ 50 %, qu'ils étaient d'accord ou tout à fait d'accord (figure 10).

Figure 10 : Opinion des répondants au formulaire de rétroaction quant à savoir si le processus de concours en plusieurs étapes aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC

Figure 10. Réponses au formulaire de rétroaction montrant dans quelle mesure les répondants sont d'accord ou non pour dire que le processus de concours en plusieurs étapes aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs. Données en date du 1er mai 2012 (N = 511). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Une analyse plus poussée des réponses aux questions à choix multiples (par thème et par étape de carrière déclarés) indique que les répondants les plus enclins à croire à la possibilité que le processus de concours en plusieurs étapes aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs sont les chercheurs en début de carrière et les « autres » répondants, catégorie qui comprend les utilisateurs des connaissances. Les chercheurs des thèmes 2 (recherche clinique), 3 (recherche sur les systèmes et les services de santé) et 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) ont également tendance à croire à cette possibilité. Par contre, les chercheurs en milieu de carrière, les chercheurs chevronnés et les chercheurs du thème 1 (recherche biomédicale) s'avèrent les moins susceptibles de croire à la possibilité que le processus de concours en plusieurs étapes aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs (figure 11).

Figure 11 : Opinion des répondants quant à savoir si le processus de concours en plusieurs étapes aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC (par thème de recherche et étape de carrière)

Figure 11. Réponses au formulaire de rétroaction montrant le pourcentage de répondants qui croient que le processus de concours en plusieurs étapes aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, en fonction des thèmes de recherche et des étapes de carrière déclarés. Sont regroupés sous « d'accord » : « d'accord » et « tout à fait d'accord », sous « en désaccord » : « pas d'accord » et « pas du tout d'accord » et sous « neutre » : « opinion neutre », « ne sait pas » et les espaces laissés vides. On entend par « chercheur en début de carrière », un chercheur ayant moins de cinq années d'expérience comme chercheur indépendant (y compris les étudiants des cycles supérieurs et les boursiers postdoctoraux qui se sont déclarés comme tels), par « chercheur en milieu de carrière », un chercheur ayant cinq à dix années d'expérience comme chercheur indépendant et par « chercheur chevronné », un chercheur ayant plus de dix années d'expérience comme chercheur indépendant. Sont classés dans la catégorie « autres » les répondants qui se sont déclarés « utilisateurs des connaissances » ou « autres ». T1, T2, T3 et T4 correspondent respectivement à thème 1 (recherche biomédicale), thème 2 (recherche clinique), thème 3 (recherche sur les systèmes et les services de santé) et thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations). Veuillez noter que les utilisateurs des connaissances représentent environ 46 % de l'échantillon « autres ». Données en date du 1er mai 2012 (le total de 519 comprend les réponses en double des combinaisons chercheurs chevronnés/utilisateurs des connaissances et chercheurs en milieu de carrière/utilisateurs des connaissances).

Les répondants les plus d'accord sont :

• les chercheurs en début de carrière du thème 2 (recherche clinique) et du thème 3 (recherche sur les systèmes et les services de santé) dans des proportions de 83 % et de 77 % respectivement;
• les « autres » répondants, qui comprennent les utilisateurs des connaissances, dans une proportion de 77 %.

Les répondants les moins d'accord sont :

• les chercheurs en milieu de carrière et les chercheurs chevronnés du thème 1 (recherche biomédicale) dans des proportions de 53 % et de 57 % respectivement.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 62 % des répondants (n = 1 038) ont formulé des commentaires ou des questions sur le processus de concours en plusieurs étapes. Selon les réponses aux questions à choix multiples, environ 50 % des répondants sont d'accord et 37 % en désaccord avec les principes de cet élément conceptuel. Les commentaires non structurés reflètent des opinions partagées au sujet de la faisabilité du processus et de son aptitude à diminuer le fardeau des candidats et des pairs évaluateurs. Ces commentaires concernent la présentation des demandes et l'évaluation aux étapes 1 et 2 ainsi que les processus d'évaluation, d'assignation et de décision à l'étape 3 et le processus de concours.

Présentation des demandes et évaluation aux étapes 1 et 2

L'augmentation et la diminution du fardeau des candidats et des pairs évaluateurs sont des sujets récurrents parmi les commentaires portant sur le processus de concours en plusieurs étapes. Chez les répondants qui ont formulé des commentaires sur le fardeau des candidats, plusieurs perçoiventde façon positive la présentation de courtes demandes (surtout à l'étape 1) et croient que l'utilisation de critères définis à chaque étape permettrait de réduire le temps nécessaire pour remplir une demande (par rapport à la préparation d'une seule demande détaillée).

Chez les répondants qui ont formulé des commentaires sur le fardeau des pairs évaluateurs, la plupart croient que le fait d'ajouter des d'étapes au processus d'évaluation et d'accroître le nombre d'évaluateurs par demande entraînerait une augmentation de la charge de travail totale des pairs évaluateurs et le temps qu'ils doivent consacrer à l'évaluation des demandes. De nombreux répondants estiment que les courtes demandes feraient augmenter le volume total, car un plus grand nombre de chercheurs décideraient de présenter des demandes aux IRSC et de soumettre des demandes compétitives ou non de nouveau. Quelques répondants ont proposé la mise en place d'un plafond visant à limiter le volume des demandes, alors que certains répondants ont suggéré que les IRSC collaborent avec les établissements et tirent profit des résultats de leurs processus d'évaluation interne pour écarter les demandes non compétitives.

Certains répondants sont d'avis que le processus de concours en plusieurs étapes pourrait contribuer à réduire le fardeau des évaluateurs et voient d'un bon œil la possibilité d'écarter rapidement les demandes non compétitives.

Évaluation à l'étape 3

Parmi les répondants qui ont formulé des commentaires sur le processus d'évaluation à l'étape 3, qui consiste en une évaluation en personne des demandes n'ayant pas fait l'objet d'un consensus à l'étape de l'évaluation à distance, la plupart se questionnent au sujet de la taille et de la composition des comités interdisciplinaires et sur la façon d'intégrer ou de pondérer les points de vue d'évaluateurs issus de milieux différents.

Plusieurs répondants sont d'accord avec le principe de faire évaluer plus en détail les demandes se trouvant près du seuil de financement (la « zone grise ») par un comité. Toutefois, de nombreux répondants ne croient pas qu'un groupe généraliste d'experts de différents horizons serait en mesure d'évaluer adéquatement ces demandes. Certains répondants ont proposé que le comité interdisciplinaire soit composé des évaluateurs de l'étape 2 pour garantir une compréhension adéquate des demandes et une évaluation équitable.

Processus d'assignation et de décision

De nombreux répondants parmi ceux qui ont évoqué la question des pratiques de notation approuvent la position des IRSC, qui croient que la notation ne devrait constituer qu'un outil de travail provisoire et que les demandes devraient recevoir la cote « méritoire » ou « non méritoire » et être classées par rapport à un bassin de demandes. Certains répondants se disent préoccupés par l'évaluation et le classement des demandes faisant partie d'un bassin de demandes très hétérogènes, car selon eux, la cotation et le classement individuels des demandes pourraient entraîner de la partialité et diminuer la cohérence et l'équité de l'évaluation. Cependant, un nombre équivalent de répondants estiment que l'évaluation et le classement d'un ensemble de demandes par un seul évaluateur pourraient contribuer à moduler les décisions. Par ailleurs, plusieurs répondants sont d'avis qu'il faut laisser la chance aux candidats de fournir des clarifications aux évaluateurs au besoin pour garantir une évaluation équitable.

Processus de concours

Certains répondants ont demandé que les IRSC fournissent plus de renseignements sur les processus de présentation des demandes, de décision et de nouvelle présentation des demandes. Plusieurs répondants estiment qu'un délai suffisant devrait être accordé entre l'annonce de la décision de l'étape 1 et la date limite de présentation des demandes de l'étape 2 pour laisser le temps aux chercheurs de préparer une proposition de qualité; quelques répondantsproposent un délai de deux à trois mois.

De nombreux répondants ayant commenté la question du processus de concours appuient l'idée d'organiser moins de concours par année, pourvu qu'un financement d'appoint (comme le financement provisoire) soit offert aux candidats dont les subventions ne sont pas renouvelées.

3.2.2 Évaluation axée sur les demandes

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail, lorsqu'on leur a demandé si l'évaluation axée sur les demandes aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, les répondants ont dit, dans une proportion d'environ 67 %, qu'ils étaient d'accord ou tout à fait d'accord (figure 12).

Figure 12 : Opinion des répondants au formulaire de rétroaction quant à savoir si l'évaluation axée sur les demandes aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC

Figure 12. Réponses au formulaire de rétroaction montrant dans quelle mesure les répondants sont d'accord ou non pour dire que l'évaluation axée sur les demandes aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs. Données en date du 1er mai 2012 (N = 512). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Une analyse plus poussée des réponses aux questions à choix multiples (par thème et par étape de carrière déclarés) indique que les répondants les plus enclins à croire à la possibilité que l'évaluation axée sur les demandes aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs sont les chercheurs en début de carrière et les « autres » répondants, catégorie qui comprend les utilisateurs des connaissances. Les chercheurs des thèmes 2 (recherche clinique), 3 (recherche sur les systèmes et les services de santé) et 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) ont également tendance à croire à cette possibilité. Par contre, les chercheurs en milieu de carrière, les chercheurs chevronnés et les chercheurs du thème 1 (recherche biomédicale) s'avèrent les moins susceptibles de croire à la possibilité que l'évaluation axée sur les demandes aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs (figure 13).

Figure 13 : Opinion des répondants quant à savoir si l'évaluation axée sur les demandes aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC (par thème de recherche et étape de carrière)

Figure 13. Réponses au formulaire de rétroaction montrant le pourcentage de répondants qui croient que l'évaluation axée sur les demandes aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, en fonction des thèmes de recherche et des étapes de carrière déclarés. Sont regroupés sous « d'accord » : « d'accord » et « tout à fait d'accord », sous « en désaccord » : « pas d'accord » et « pas du tout d'accord » et sous « neutre » : « opinion neutre », « ne sait pas » et les espaces laissés vides. On entend par « chercheur en début de carrière », un chercheur ayant moins de cinq années d'expérience comme chercheur indépendant (y compris les étudiants des cycles supérieurs et les boursiers postdoctoraux qui se sont déclarés comme tels), par « chercheur en milieu de carrière », un chercheur ayant cinq à dix années d'expérience comme chercheur indépendant et par « chercheur chevronné », un chercheur ayant plus de dix années d'expérience comme chercheur indépendant. Sont classés dans la catégorie « autres » les répondants qui se sont déclarés « utilisateurs des connaissances » ou « autres ». T1, T2, T3 et T4 correspondent respectivement à thème 1 (recherche biomédicale), thème 2 (recherche clinique), thème 3 (recherche sur les systèmes et les services de santé) et thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations). Veuillez noter que les utilisateurs des connaissances représentent environ 46 % de l'échantillon « autres ». Données en date du 1er mai 2012 (le total de 519 comprend les réponses en double des combinaisons chercheurs chevronnés/utilisateurs des connaissances et chercheurs en milieu de carrière/utilisateurs des connaissances).

Les répondants les plus d'accord sont :

• les chercheurs en début de carrière du thème 1 (recherche biomédicale), du thème 2 (recherche clinique), du thème 3 (recherche sur les systèmes et les services de santé) et du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) dans des proportions de 77 %, de 78 %, de 100 % et de 83 % respectivement;
• les chercheurs chevronnés du thème 3 (recherche sur les systèmes et les services de santé) dans une proportion de 80 %;
• les chercheurs en milieu de carrière et les chercheurs chevronnés du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) dans des proportions de 93 % et de 80 % respectivement.

Les répondants les moins d'accord sont :

• les chercheurs en milieu de carrière et les chercheurs chevronnés du thème 1 (recherche biomédicale) dans des proportions de 24 % et de 25 % respectivement;
• les chercheurs en milieu de carrière du thème 3 (recherche sur les systèmes et les services de santé) dans une proportion de 29 %.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 33 % des répondants (n = 562) ont formulé des commentaires ou des questions sur l'évaluation axée sur les demandes. Selon les réponses aux questions à choix multiples, une proportion semblable de répondants sont d'accord et en désaccord avec l'évaluation axée sur les demandes, alors que les commentaires non structurés sont favorables de façon générale. Ces commentaires concernent l'assignation des demandes aux évaluateurs en fonction de leur expertise, les types d'évaluateurs, la charge de travail des évaluateurs et l'abolition des comités permanents d'évaluation par les pairs dans leur forme actuelle.

Assignation des demandes aux évaluateurs en fonction de leur expertise

De façon générale, plusieurs répondants approuvent la position des IRSC selon laquelle l'assignation des demandes aux évaluateurs en fonction de leur expertise améliorerait la qualité et l'équité des évaluations. Ce point de vue est particulièrement répandu chez les répondants œuvrant dans des domaines interdisciplinaires de la recherche en santé, ainsi que chez les répondants des thèmes 2 (recherche clinique), 3 (recherche sur les systèmes et les services de santé) et 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations).

Bien qu'ils soient favorables à ce système d'assignation, plusieurs répondants ont fait valoir que, dans les domaines très pointus, l'évaluation d'une demande par cinq à huit évaluateurs pourrait accroître le risque de conflits d'intérêts. Il faudrait donc imposer des lignes directrices plus strictes pour garantir le respect de la propriété intellectuelle et l'intégrité de l'évaluation.

Plusieurs répondants se demandent comment les IRSC comptent assigner les demandes aux évaluateurs. Quelques répondants ont proposé de laisser les candidats choisir leurs évaluateurs, tandis que la plupart des autres répondants conviennent que le recours à des descripteurs communs faciliterait la création de bassins d'évaluateurs qualifiés. Tous les répondants conviennent que l'assignation électronique ne suffirait pas et préfèrent la méthode actuelle, qui consiste à assigner les demandes manuellement. Certains répondants sont d'avis que cette tâche pourrait être confiée aux agents scientifiques et aux présidents des comités.

Quelques répondants ont fait part de leur intérêt à aider les IRSC à dresser une liste de mots clés pertinents pour leur domaine de recherche. Un certain nombre de mots clés ont été soumis aux IRSC.

Types d'évaluateurs

Certains répondants ont formulé des commentaires et des suggestions sur les types d'évaluateurs qu'ils souhaiteraient voir évaluer leurs demandes. Plusieurs ont souligné que les demandes devraient être évaluées par des experts dont les intérêts rejoignent ceux des candidats.

Les commentaires reçus témoignent du malaise général des répondants quant au recours à des évaluateurs non experts (généralistes et non scientifiques). La plupart des répondants qui ont traité de la question conviennent que le fait d'accorder autant d'importance au point de vue d'évaluateurs non experts pourrait nuire à la qualité des évaluations. Toutefois, quelques répondants font remarquer que l'avis d'évaluateurs non experts, comme les patients et les utilisateurs des connaissances, peut être utile pour évaluer l'impact potentiel et l'application des résultats de la recherche. Selon eux, les projets de recherche devraient faire appel aux dernières avancées scientifiques, mais leur description devrait être accessible à tout évaluateur compétent.

Charge de travail des évaluateurs

Plusieurs répondants ont fait valoir que la mise en œuvre de l'évaluation axée sur les demandes pourrait augmenter la charge de travail des évaluateurs. Parmi eux, de nombreux répondants ont affirmé que l'affectation de cinq à huit évaluateurs par demande était excessive, tandis que quelques répondants croient qu'un nombre plus élevé d'évaluateurs permettrait de nuancer les décisions. Craignant qu'il soit difficile de trouver de cinq à huit évaluateurs pour chaque demande compte tenu de la taille limitée du milieu canadien de la recherche, quelques répondants ont suggéré que les IRSC envisagent de limiter à quatre le nombre d'évaluateurs par demande.

Abolition des comités permanents d'évaluation par les pairs dans leur forme actuelle

Plusieurs répondants conviennent que l'assignation des demandes aux évaluateurs en fonction de leur expertise permettrait d'améliorer la qualité des évaluations; toutefois, plusieurs répondants ont signalé que les problèmes éprouvés par les comités actuels des IRSC ne sont pas suffisamment graves pour justifier l'abolition totale des comités d'évaluation par les pairs. L'élimination des comités permanents est perçue comme une menace à la fiabilité et à la transparence du processus d'évaluation par les pairs.

Plusieurs des répondants favorables au maintien des comités d'évaluation par les pairs dans leur forme actuelle ont suggéré que les IRSC réorganisent la structure de ces comités, en fusionnant les petits comités pour former quelques grands comités dont le mandat serait plus vaste.

3.2.3 Critères structurés d'évaluation

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail, lorsqu'on leur a demandé si les critères structurés d'évaluation aideraient à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, les répondants ont dit, dans une proportion d'environ 60 %, qu'ils étaient d'accord ou tout à fait d'accord (figure 14).

Figure 14 : Opinion des répondants au formulaire de rétroaction quant à savoir si l'utilisation de critères structurés d'évaluation aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC

Figure 14. Réponses au formulaire de rétroaction montrant dans quelle mesure les répondants sont d'accord ou non pour dire que l'utilisation de critères structurés d'évaluation aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs. Données en date du 1er mai 2012 (N = 512). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Une analyse plus poussée des réponses aux questions à choix multiples (par thème et par étape de carrière déclarés) indique que les répondants les plus enclins à croire à la possibilité que le recours aux critères structurés d'évaluation aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs sont les chercheurs en début de carrière et les « autres » répondants, catégorie qui comprend les utilisateurs des connaissances. Les chercheurs des thèmes 2 (recherche clinique) et 3 (recherche sur les systèmes et les services de santé) ont également tendance à croire à cette possibilité. Par contre, les chercheurs chevronnés et les chercheurs du thème 1 (recherche biomédicale) s'avèrent les moins susceptibles de croire à la possibilité que le recours à des critères structurés d'évaluation aiderait à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs (figure 15).

Figure 15 : Opinion des répondants quant à savoir si les critères structurés d'évaluation aideraient à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC (par thème de recherche et étape de carrière)

Figure 15. Réponses au formulaire de rétroaction montrant le pourcentage de répondants qui croient que les critères structurés d'évaluation aideraient à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, en fonction des thèmes de recherche et des étapes de carrière déclarés. Sont regroupés sous « d'accord » : « d'accord » et « tout à fait d'accord », sous « en désaccord » : « pas d'accord » et « pas du tout d'accord » et sous « neutre » : « opinion neutre », « ne sait pas » et les espaces laissés vides. On entend par « chercheur en début de carrière », un chercheur ayant moins de cinq années d'expérience comme chercheur indépendant (y compris les étudiants des cycles supérieurs et les boursiers postdoctoraux qui se sont déclarés comme tels), par « chercheur en milieu de carrière », un chercheur ayant cinq à dix années d'expérience comme chercheur indépendant et par « chercheur chevronné », un chercheur ayant plus de dix années d'expérience comme chercheur indépendant. Sont classés dans la catégorie « autres », les répondants qui se sont déclarés « utilisateurs des connaissances » ou « autres ». T1, T2, T3 et T4 correspondent respectivement à thème 1 (recherche biomédicale), thème 2 (recherche clinique), thème 3 (recherche sur les systèmes et les services de santé) et thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations). Veuillez noter que les utilisateurs des connaissances représentent environ 46 % de l'échantillon « autres ». Données en date du 1er mai 2012 (le total de 519 comprend les réponses en double des combinaisons chercheurs chevronnés/utilisateurs des connaissances et chercheurs en milieu de carrière/utilisateurs des connaissances).

Les répondants les plus d'accord sont :

• les chercheurs en début de carrière du thème 2 (recherche clinique), du thème 3 (recherche sur les systèmes et les services de santé) et du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) dans des proportions de 89 %, de 94 % et de 83 % respectivement;
• les chercheurs en milieu de carrière du thème 3 (recherche sur les systèmes et les services de santé) dans une proportion de 88 %.

Les répondants les moins d'accord sont :

• les chercheurs chevronnés du thème 1 (recherche biomédicale) dans une proportion de 35 %;
• les chercheurs en milieu de carrière du thème 1 (recherche biomédicale) dans une proportion de 29 %.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 26 % des répondants (n = 439) ont formulé des commentaires ou des questions sur le recours aux critères structurés d'évaluation. Selon les réponses aux questions à choix multiples, environ 60 % des répondants sont d'accord et 21 % en désaccord avec les principes de cet élément conceptuel. Les commentaires non structurés sont généralement favorables à l'utilisation de critères structurés d'évaluation, les candidats se montrant intéressés à proposer aux IRSC des idées de critères et d'indicateurs de réussite. Ces commentaires concernent l'utilisation de critères structurés d'évaluation pour tous les types de recherche, les critères des demandes, l'amélioration de la fiabilité, de la cohérence et de l'équité de l'évaluation par les pairs et la transmission de commentaires aux candidats.

Utilisation de critères structurés d'évaluation pour tous les types de recherche

De façon générale, de nombreux répondants sont favorables à la proposition des IRSC, qui consiste à baser le processus d'évaluation par les pairs sur des critères objectifs et clairs. Certains candidats ont fait valoir qu'ils pourraient s'appuyer sur les critères structurés d'évaluation pour préparer leurs demandes de subvention, et quelques pairs évaluateurs conviennent que le recours à ces critères pourrait améliorer la qualité des commentaires transmis aux candidats.

Plusieurs répondants ont évoqué la nature subjective de l'évaluation par les pairs. Certains répondants ont fait remarquer que le recours à des critères structurés obligerait tous les chercheurs à se conformer à un modèle unique, ce qui défavoriserait les chercheurs ne faisant pas partie du milieu biomédical (à savoir les chercheurs en sciences humaines et les chercheurs qui œuvrent dans un domaine émergent ou multidisciplinaire de la recherche en santé). Cependant, plusieurs répondants conviennent que les critères structurés d'évaluation devraient être modulables en fonction des attentes de chaque discipline et être appliqués conformément aux normes d'excellence reconnues dans ces disciplines. Un certain nombre de cadres et de critères d'évaluation ont été proposés aux IRSC, entre autres :

• le système de notation par lettres;
• l'échelle de Jadad;
• les critères d'évaluation du site PEDro;
• le cadre du projet Coalition;
• les critères d'évaluation par les pairs du NIH (portée, chercheurs, innovation, approche et milieu).

Plusieurs répondants issus de tous les domaines de la recherche en santé ont également proposé des critères et des indicateurs pour évaluer les aspects suivants : antécédents, impact, innovation, productivité, application des connaissances, appui de l'établissement et qualité de l'idée.

Critères des demandes

Quelques répondants ont fait remarquer que l'actualisation des critères des demandes offrait l'occasion de simplifier les modules de demande. Plusieurs répondants souhaitent en savoir plus sur les futurs critères dans les nouveaux volets, afin de pouvoir fournir les renseignements appropriés dans leurs dossiers.

Le critère le plus souvent mentionné dans les suggestions précises concerne le budget. Certains répondants ont proposé que les IRSC permettent aux candidats de donner un ordre de grandeur plutôt que de leur demander de fournir un budget en bonne et due forme. Quelques-uns de ces répondants ont suggéré aux IRSC de faire évaluer le coût de la recherche selon les disciplines et les régions par les établissements.

Amélioration de la fiabilité, de la cohérence et de l'équité de l'évaluation par les pairs

Certains répondants sont d'avis que l'application uniforme de critères structurés permettrait d'améliorer l'équité, la fiabilité et la cohérence des évaluations, mais seulement si ces critères sont bien compris par les évaluateurs et les candidats. Plusieurs répondants conviennent que des lignes directrices et des descripteurs clairs sur l'utilisation des critères seraient nécessaires pour garantir l'application appropriée de ces critères à tous les types de demandes.

Transmission de commentaires aux candidats

Certains répondants croient que l'utilisation de critères structurés pourrait favoriser des interactions plus fructueuses entre les évaluateurs et les candidats suivant le type de critères d'évaluation proposés. De ce nombre, plusieurs estiment que les commentaires transmis au cours de l'évaluation structurée pourraient donner lieu à des changements constructifs aux demandes de subvention.

Toutefois, certains répondants redoutent que le processus structuré d'évaluation ne devienne un exercice arbitraire consistant à « cocher des cases ». Ces répondants font remarquer que cette nouvelle structure laisserait peu de place à la transmission de commentaires jugés importants, mais qui ne correspondent à aucune des catégories prédéfinies.

3.2.4 Processus de présélection à distance (virtuel)

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail, lorsqu'on leur a demandé si le processus de présélection à distance (virtuel) aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, les répondants ont dit, dans une proportion d'environ 48 %, qu'ils étaient d'accord ou tout à fait d'accord (figure 16).

Figure 16 : Opinion des répondants au formulaire de rétroaction quant à savoir si le processus de présélection à distance (virtuel) aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC

Figure 16. Réponses au formulaire de rétroaction montrant dans quelle mesure les répondants sont d'accord ou non pour dire que le processus de présélection à distance (virtuel) aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs. Données en date du 1er mai 2012 (N = 513). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Une analyse plus poussée des réponses aux questions à choix multiples (par thème et par étape de carrière déclarés) indique que les répondants les plus enclins à croire à la possibilité que le processus de présélection à distance (virtuel) aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs sont les chercheurs en début de carrière et les « autres » répondants, catégorie qui comprend les utilisateurs des connaissances. Les chercheurs des thèmes 2 (recherche clinique) et 3 (recherche sur les systèmes et les services de santé) ont également tendance à croire à cette possibilité. Par contre, les chercheurs du thème 1 (recherche biomédicale) s'avèrent les moins susceptibles de croire à la possibilité que le processus de présélection à distance (virtuel) aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs (figure 17).

Figure 17 : Opinion des répondants quant à savoir si le processus de présélection à distance aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC (par thème de recherche et étape de carrière)

Figure 17. Réponses au formulaire de rétroaction montrant le pourcentage de répondants qui croient que le processus de présélection à distance (virtuel) aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, en fonction des thèmes de recherche et des étapes de carrière déclarés. Sont regroupés sous « d'accord » : « d'accord » et « tout à fait d'accord », sous « en désaccord » : « pas d'accord » et « pas du tout d'accord » et sous « neutre » : « opinion neutre », « ne sait pas » et les espaces laissés vides. On entend par « chercheur en début de carrière », un chercheur ayant moins de cinq années d'expérience comme chercheur indépendant (y compris les étudiants des cycles supérieurs et les boursiers postdoctoraux qui se sont déclarés comme tels), par « chercheur en milieu de carrière », un chercheur ayant cinq à dix années d'expérience comme chercheur indépendant et par « chercheur chevronné », un chercheur ayant plus de dix années d'expérience comme chercheur indépendant. Sont classés dans la catégorie « autres », les répondants qui se sont déclarés « utilisateurs des connaissances » ou « autres ». T1, T2, T3 et T4 correspondent respectivement à thème 1 (recherche biomédicale), thème 2 (recherche clinique), thème 3 (recherche sur les systèmes et les services de santé) et thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations). Veuillez noter que les utilisateurs des connaissances représentent environ 46 % de l'échantillon « autres ». Données en date du 1er mai 2012 (le total de 519 comprend les réponses en double des combinaisons chercheurs chevronnés/utilisateurs des connaissances et chercheurs en milieu de carrière/utilisateurs des connaissances).

Les répondants les plus d'accord sont :

• les chercheurs chevronnés du thème 3 (recherche sur les systèmes et les services de santé) dans une proportion de 84 %;
• les chercheurs en début de carrière du thème 2 (recherche clinique), du thème 3 (recherche sur les systèmes et les services de santé) et du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) dans des proportions de 72 %, de 77 % et de 74 % respectivement.

Les répondants les moins d'accord sont :

• les chercheurs en milieu de carrière et les chercheurs chevronnés du thème 1 (recherche biomédicale) dans une proportion égale de 49 %.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 36 % des répondants (n = 603) ont formulé des commentaires ou des questions sur le processus de présélection à distance (virtuel). Selon les réponses aux questions à choix multiples, environ 48 % des répondants sont d'accord et 33 % en désaccord avec les principes de cet élément conceptuel. Les commentaires non structurés reflètent les opinions partagées au sujet du processus de présélection à distance : une partie des répondants appuient le recours à la technologie Internet pour faciliter l'évaluation axée sur les demandes, alors que d'autres émettent des réserves relativement à la modulation des évaluations et à la nouvelle visée des rencontres en personne. Ces commentaires concernent l'utilisation de la technologie Internet, le contexte d'utilisation du processus de présélection à distance, l'importance des rencontres en personne et la mise en œuvre du processus de présélection à distance (virtuel).

Utilisation de la technologie Internet

Selon les répondants favorables à la mise en place d'un processus de présélection à distance, l'utilisation de la technologie Internet constitue le principal avantage de ce processus. En plus des économies réalisées, que la plupart des répondants ont proposé de réaffecter au financement de subventions additionnelles, certains répondants ont affirmé que l'utilisation de la technologie Internet pourrait permettre de :

• faciliter les discussions entre les évaluateurs de différentes régions (notamment les experts internationaux);
• diminuer la partialité pouvant être introduite lors des discussions de groupe et favoriser une évaluation initiale plus précise et l'attribution de cotes moins variables;
• limiter les déplacements;
• contribuer à la durabilité de l'environnement.

Certains répondants ont offert des suggestions sur le type de technologie Internet le plus approprié aux échanges et aux discussions entre les évaluateurs. En général, les répondants préfèrent les outils de vidéoconférence (p. ex., Skype) aux logiciels de messagerie instantanée, dont l'utilisation est fortement déconseillée.

Peu importe l'outil proposé, certains répondants estiment qu'un mécanisme de surveillance devrait être mis en place pour maintenir un seuil de qualité et d'intégrité dans les discussions en ligne. Il a été proposé d'avoir recours à un président responsable ou à un modérateur. Quelques répondants ont fait remarquer que ce rôle reviendrait naturellement aux agents scientifiques des IRSC.

Contexte d'utilisation du processus de présélection à distance

En général, les répondants estiment que le processus de présélection à distance serait surtout utile pour sélectionner les demandes méritoires à l'étape 1 du processus de concours en plusieurs étapes. La plupart des répondants ont fait valoir qu'à l'étape 2, les demandes devraient être évaluées en personne par un comité d'évaluateurs experts pour garantir une prise de décision réfléchie et nuancée fondée sur la qualité globale des demandes.

Par ailleurs, le maintien des rencontres en personne pour l'évaluation des demandes méritoires se situant dans la « zone grise » est perçu comme un compromis acceptable par les quelques répondants qui préfèrent nettement les rencontres en personne, mais appuient les principes de cet élément conceptuel.

Importance des rencontres en personne

De façon générale, les préoccupations les plus souvent citées par les répondants au sujet du processus de présélection à distance (virtuel) ont trait à l'impact de l'élimination des rencontres en personne sur la qualité des évaluations :

• De nombreux répondants ne se sentiraient pas à l'aise d'évaluer une demande sans que leur jugement soit validé ou nuancé par leurs pairs.
• Plusieurs répondants ont fait remarquer que leurs pairs n'évalueraient pas les demandes au meilleur de leurs capacités s'ils n'avaient pas à justifier leur point de vue en présence d'autres personnes.
• Plusieurs répondants ont indiqué que les rencontres en personne sont nécessaires pour éviter la partialité individuelle.

Selon certains répondants, qui estiment que le processus de présélection à distance serait contre-productif et problématique, les IRSC envisagent ce changement uniquement en raison des restrictions budgétaires actuelles.

Les répondants déplorent également la disparition de certains avantages intangibles du système actuel d'évaluation par les pairs qui découlerait de l'adoption d'un système de présélection à distance. Par exemple, quelques répondants ont mentionné qu'ils n'auraient plus la possibilité de réseauter en personne avec leurs pairs pour jeter les fondations de collaborations futures. Quelques chercheurs en début de carrière redoutent que le nouveau système leur offre peu d'occasions d'en apprendre plus sur l'évaluation par les pairs auprès de leurs pairs plus expérimentés.

Mise en œuvre du processus de présélection à distance (virtuel)

Quelques répondants ont souligné le manque de détails sur la mise en œuvre du processus de présélection à distance dans le document de travail conceptuel. Certains de ces répondants ont indiqué qu'ils n'étaient pas entièrement convaincus que ce nouveau processus permettrait de réduire le fardeau des pairs évaluateurs et doutent de leur propre capacité à utiliser efficacement un nouveau système en ligne.

Quelques répondants ont également formulé des préoccupations concernant le fonctionnement du processus d'évaluation à distance. Bien que ce mécanisme puisse faciliter l'accès à un bassin plus varié d'évaluateurs, notamment des experts internationaux, des répondants ont fait valoir qu'il serait difficile d'organiser une rencontre en ligne entre des évaluateurs se trouvant dans des fuseaux horaires très différents.

3.2.5 Collège des évaluateurs

A) Réponses aux questions à choix multiple du formulaire de rétroaction

D'après le résumé des réponses au formulaire de rétroaction sur le document de travail, lorsqu'on leur a demandé si le collège des évaluateurs aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, les répondants ont dit, dans une proportion d'environ 57 %, qu'ils étaient d'accord ou tout à fait d'accord (figure 18).

Figure 18 : Opinion des répondants au formulaire de rétroaction quant à savoir si le collège des évaluateurs aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC

Figure 18. Réponses au formulaire de rétroaction montrant dans quelle mesure les répondants sont d'accord ou non pour dire que le collège des évaluateurs aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs. Données en date du 1er mai 2012 (N = 512). Les chiffres ayant été arrondis, les totaux peuvent ne pas correspondre à la somme des parties.

Une analyse plus poussée des réponses aux questions à choix multiples (par thème et par étape de carrière déclarés) indique que les répondants les plus enclins à croire à la possibilité que le collège des évaluateurs aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs sont les chercheurs en début et en milieu de carrière et les « autres » répondants, catégorie qui comprend les utilisateurs des connaissances. Les chercheurs des thèmes 3 (recherche sur les systèmes et les services de santé) et 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) ont également tendance à croire à cette possibilité. Par contre, les chercheurs chevronnés et les chercheurs du thème 1 (recherche biomédicale) s'avèrent les moins susceptibles de croire à la possibilité que le collège des évaluateurs aide à résoudre les problèmes actuels liés à la série de programmes ouverts et au système d'évaluation par les pairs (figure 19).

Figure 19 : Opinion des répondants quant à savoir si le collège des évaluateurs aiderait à résoudre les problèmes liés à la série de programmes ouverts et au système d'évaluation par les pairs des IRSC (par thème de recherche et étape de carrière)

Figure 19. Réponses au formulaire de rétroaction montrant le pourcentage de répondants qui croient que le collège des évaluateurs aiderait à résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs, en fonction des thèmes de recherche et des étapes de carrière déclarés. Sont regroupés sous « d'accord » : « d'accord » et « tout à fait d'accord », sous « en désaccord » : « pas d'accord » et « pas du tout d'accord » et sous « neutre » : « opinion neutre », « ne sait pas » et les espaces laissés vides. On entend par « chercheur en début de carrière », un chercheur ayant moins de cinq années d'expérience comme chercheur indépendant (y compris les étudiants des cycles supérieurs et les boursiers postdoctoraux qui se sont déclarés comme tels), par « chercheur en milieu de carrière », un chercheur ayant cinq à dix années d'expérience comme chercheur indépendant et par « chercheur chevronné », un chercheur ayant plus de dix années d'expérience comme chercheur indépendant. Sont classés dans la catégorie « autres » les répondants qui se sont déclarés « utilisateurs des connaissances » ou « autres ». T1, T2, T3 et T4 correspondent respectivement à thème 1 (recherche biomédicale), thème 2 (recherche clinique), thème 3 (recherche sur les systèmes et les services de santé) et thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations). Veuillez noter que les utilisateurs des connaissances représentent environ 46 % de l'échantillon « autres ». Données en date du 1er mai 2012 (le total de 519 comprend les réponses en double des combinaisons chercheurs chevronnés/utilisateurs des connaissances et chercheurs en milieu de carrière/utilisateurs des connaissances).

Les répondants les plus d'accord sont :

• les chercheurs en milieu de carrière du thème 4 (recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) dans une proportion de 93 %;
• les chercheurs en début de carrière du thème 3 (recherche sur les systèmes et les services de santé) dans une proportion de 82 %.

Les répondants les moins d'accord sont :

• les chercheurs du thème 1 (recherche biomédicale) dans une proportion de 37 %.

B) Analyse des commentaires non structurés

Tous moyens de communication confondus, environ 61 % des répondants (n = 1 021) ont formulé des commentaires ou des questions sur le collège des évaluateurs. Selon les réponses aux questions à choix multiples, environ 57 % des répondants sont d'accord et 22 % en désaccord avec les principes de cet élément conceptuel. Généralement favorables, les commentaires non structurés consistaient surtout en suggestions et considérations visant à améliorer la conception du collège des évaluateurs. Ces commentaires concernent le recrutement d'évaluateurs qualifiés, l'utilisation de mesures incitatives, la formation et l'évaluation des pairs évaluateurs et les modalités de mise sur pied du collège des évaluateurs.

Recrutement d'évaluateurs qualifiés

De nombreux répondants appuient la position des IRSC selon laquelle il faut élargir le bassin des évaluateurs pour réduire le fardeau des pairs évaluateurs. En général, les répondants conviennent que le collège des évaluateurs serait un moyen efficace de recruter et gérer un bassin étendu d'évaluateurs experts issus de divers domaines de recherche en santé (notamment les sciences humaines). Le collège des évaluateurs devrait être composé de membres d'horizons divers : chercheurs chevronnés, chercheurs débutants (notamment des boursiers postdoctoraux), cliniciens, représentants régionaux, utilisateurs des connaissances et membres du milieu de la recherche. Il est essentiel que le processus de recrutement soit transparent; d'ailleurs, quelques répondants ont signifié qu'il fallait éviter que le collège ne devienne un club élitiste d'évaluateurs provenant de quelques domaines sélectionnés.

Quelques répondants craignent que les IRSC ne soient pas en mesure de recruter un nombre suffisant d'évaluateurs qualifiés (experts) dans tous les domaines pour soutenir l'étendue actuelle de leurs programmes et initiatives. Quelques répondants ont proposé aux IRSC de recruter des experts internationaux afin d'élargir le bassin d'experts disponibles pour évaluer chaque demande et de réduire le fardeau global des pairs évaluateurs. Plusieurs répondants ont quant à eux suggéré que les titulaires actuels d'une subvention des IRSC soient obligés de s'inscrire au collège des évaluateurs et reçoivent des sanctions s'ils refusent (p. ex., admissibilité restreinte aux futures possibilités de financement des IRSC). Cependant, quelques répondants estiment que la participation forcée au collège pourrait avoir un effet dissuasif et nuire à la qualité des évaluations.

Utilisation de mesures incitatives

De nombreux répondants conviennent que les IRSC devraient s'efforcer de recruter plus de pairs évaluateurs; toutefois, certains ont proposé que les IRSC prévoient des mesures incitatives afin d'attirer des évaluateurs qualifiés et de maintenir l'excellence des évaluations. La plupart desrépondants ayant évoqué l'adoption de mesures incitatives convenaient que ces mesures devraient comprendre une certaine forme de compensation pour les évaluateurs, par exemple :

• augmentation de la durée ou de la valeur des subventions de recherche des IRSC, en fonction de la participation et du rendement;
• possibilité de reporter l'échéance de présentation des demandes;
• honoraires (surtout pour les évaluateurs internationaux).

Formation et évaluation des pairs évaluateurs

Certains répondants appuient la proposition des IRSC visant à former les évaluateurs dans le but d'améliorer la fiabilité, la cohérence et l'équité des évaluations. Quelques répondants ont évoqué le manque d'uniformité des évaluations, la nécessité de s'entendre sur le processus et la rédaction de critiques appropriées. Certains de ces répondants ont suggéré de fournir des exemples concrets de rapports d'évaluation par les pairs exemplaires et non exemplaires dans les modules Formation.

En plus de la formation, quelques répondants ont proposé de recourir à des évaluations périodiques du rendement des évaluateurs pour garantir la qualité et l'intégrité du collège. Une analyse des profils de notation pourrait servir à écarter les évaluateurs incompétents ou à cerner les besoins en matière de formation.

Modalités de mise sur pied du collège des évaluateurs

Quelques répondants reconnaissaient les mérites de cet élément conceptuel, mais croient que la mise sur pied du collège des évaluateurs pourrait poser certaines difficultés. Quelques répondants ont évoqué la possibilité de diffuser les ressources en matière d'évaluation par les pairs après l'établissement du collège des évaluateurs. Les répondants des organisations bénévoles en santé estiment que le collège ne devrait pas seulement profiter aux IRSC, mais également au milieu canadien de la recherche en général. De même, quelques chercheurs conviennent que le collège pourrait également se charger de l'évaluation des demandes de financement présentées dans le cadre de concours stratégiques.

3.3 Transition

La présente section traite des commentaires reçus concernant la participation du milieu de la recherche aux discussions sur la conception, la validation de la conception proposée, l'échéancier de mise en œuvre, la transition vers les nouveaux volets de financement ainsi que la surveillance et l'évaluation des résultats de la mise en œuvre.

Tous moyens de communication confondus, environ 50 % des répondants (n = 835) ont formulé des commentaires ou des questions sur la transition vers la nouvelle série de programmes et le nouveau processus d'évaluation par les pairs. En général, les commentaires non structurés portent sur la façon dont les IRSC devraient procéder pour obtenir l'adhésion du milieu de la recherche et garantir une transition en douceur. Ces commentaires concernent la participation du milieu de la recherche, la validation de la conception proposée, l'échéancier de mise en œuvre, la transition vers les nouveaux volets de financement et la surveillance et l'évaluation des résultats de la mise en œuvre.

Participation du milieu de la recherche

De nombreux commentaires concernant la transition portent sur la participation du milieu de la recherche. Certains répondants, qui sont d'avis que les IRSC pourraient en faire plus pour favoriser la participation du milieu de la recherche, ont indiqué qu'ils seraient heureux d'avoir l'occasion de contribuer davantage à la conception des nouveaux concours. Certains répondants redoutent que les changements soient mis en place trop rapidement pour avoir le temps de tenir des consultations fructueuses avec les intervenants, et de nombreux répondants ont fait remarquer que l'échéancier de mise en œuvre proposé était trop ambitieux et qu'il fallait recueillir plus de données sur les changements pour garantir qu'ils produisent les effets escomptés. Estimant que les changements auraient un impact important sur les autres bailleurs de fonds de la recherche en santé au Canada, quelques répondants ont recommandé que ces acteurs participent plus activement à la refonte des programmes. Quelques répondants ont également fait remarquer que les IRSC ont la possibilité de collaborer avec d'autres organismes de financement pour maximiser le montant des fonds destinés à la poursuite de l'entreprise de recherche en santé.

Validation de la conception proposée

La plupart des répondants qui ont formulé des commentaires sur le sujet estiment qu'il faudrait recueillir plus de données sur les changements pour garantir qu'ils produisent les effets escomptés. De nombreux répondants sont en faveur d'une mise en œuvre graduelle des changements basée sur l'examen attentif des résultats de projets pilotes. Certains répondants ont suggéré que la modélisation des changements proposés soit présentée aux membres du milieu de la recherche dans le cadre d'un processus participatif continu. Quelques répondants ont soulevé certaines préoccupations, qu'ils aimeraient voir faire l'objet d'une modélisation plus poussée. En effet, ils voudraient qu'on démontre que le nouveau système continuera de financer le même nombre de chercheurs principaux désignés que le système actuel, que le financement de la recherche dictée par la curiosité ne sera pas compromis par l'intérêt accru pour la recherche axée sur les solutions, et que le nouveau système assurera à tout le moins l'égalité des chances pour les chercheurs en début et en milieu de carrière.

Échéancier de mise en œuvre

Certains répondants ont fait valoir que la mise en œuvre de changements d'une telle envergure sera difficile pour les IRSC et le milieu de la recherche. La plupart desrépondants qui ont traité de la question de la mise en œuvre ont souligné que tout changement devrait être introduit graduellement pour permettre l'analyse des répercussions à chaque étape et s'assurer que les changements produisent les résultats escomptés. Certains répondants ont proposé aux IRSC de mettre à l'essai et d'opérer les changements relatifs au système d'évaluation par les pairs avant ceux liés à l'architecture, car la qualité du système d'évaluation par les pairs est essentielle pour assurer la réussite des réformes.

Transition vers les nouveaux volets de financement

Certains répondants ont soulevé des problèmes qui pourraient survenir lors de la transition. Quelques répondants ont souligné qu'il pourrait être difficile de regrouper les subventions actuelles d'un chercheur principal désigné en une seule subvention du volet programme si ce chercheur fait partie de plusieurs équipes de recherche dont les objectifs sont très différents. Quelques répondants ont également signalé avoir besoin de plus de renseignements sur les politiques qui encadrent cette transition, surtout en ce qui concerne les renouvellements anticipés et les répercussions et risques encourus s'ils demandent une subvention du volet programme pour remplacer leur financement actuel. Les chercheurs auront besoin de renseignements détaillés sur le plan de transition afin de prendre des décisions éclairées sur le moment approprié pour présenter leur demande et sur le type de subvention à demander.

Quelques répondants, qui s'attendent à ce que le volume de demandes soit considérablement supérieur à la normale lors du dernier concours du système actuel et du premier concours du nouveau système, ont mis en évidence la nécessité de mettre en place des mesures d'atténuation.

Certains répondants ont fait remarquer que le milieu de la recherche devra traverser une période d'adaptation au cours de laquelle les candidats, les administrateurs d'université et les pairs évaluateurs auront grandement besoin de formation et de soutien. Selon quelques répondants, ces changements pourraient s'avérer plus difficiles pour les chercheurs qui travaillent dans de petits établissements qui disposent de moins de ressources pour les soutenir.

Surveillance et évaluation des résultats de la mise en œuvre

Certains répondants ont fait part du besoin de surveillance et d'évaluation continues des changements. La plupart d'entre eux sont d'avis que les IRSC doivent préparer un plan d'évaluation systématique pour chacun des aspects des réformes, en plus d'étudier les effets de ces changements sur l'entreprise de recherche en santé dans son ensemble. Certains répondants ont affirmé que cette évaluation devrait être axée sur l'efficacité du processus de concours en trois étapes, tandis que quelques répondants ont indiqué que les IRSC devraient plutôt se concentrer sur la surveillance des répercussions des changements, surtout pour les nouveaux chercheurs et les chercheurs en début de carrière.

4. Prochaines étapes

Les IRSC tiennent à remercier le milieu de la recherche, leurs partenaires et les autres intervenants des IRSC d'avoir pris le temps de réfléchir aux changements proposés à la série de programmes ouverts et aux processus d'évaluation par les pairs et d'exprimer leurs commentaires sur ces changements. Les commentaires témoignent d'avis partagés sur les détails précis des volets de financement et du déroulement de l'évaluation par les pairs. Il reste encore beaucoup de travail à accomplir et de décisions à prendre en vue de mettre sur pied un système concurrentiel et viable qui favorisera la création et l'application des résultats de recherche dans tous les domaines de la santé. C'est pourquoi les deux prochains concours du Programme ouvert de subventions de fonctionnement (POSF) des IRSC seront lancés selon les processus habituels (actuels).

Au cours des prochains mois, les IRSC collaboreront avec divers intervenants, notamment les établissements, les délégués universitaires, les conseils consultatifs des instituts et d'autres conseillers, afin de poursuivre et de perfectionner la conception. Conscients de l'intérêt croissant du milieu de la recherche pour les volets programme et projet, les IRSC continuent d'accorder la priorité à la communication avec les membres du milieu. Des présentations et des discussions seront organisées au cours des prochaines rencontres pour tenir les établissements et les partenaires au courant de la progression des activités d'élaboration et de perfectionnement de la conception.

Les IRSC considèrent la transition vers la nouvelle série de programmes ouverts comme un processus pluriannuel. Compte tenu de l'envergure des changements proposés, ils admettent qu'il faudra peut-être rectifier le tir en cours de route. Les IRSC s'engagent à mettre à l'essai et à évaluer rigoureusement divers aspects des réformes et examineront la possibilité d'étudier la faisabilité et la fonctionnalité des éléments conceptuels proposés dans le cadre de leur plan de mise en œuvre. En procédant de manière organisée, les IRSC seront en mesure de limiter les perturbations et d'apporter des ajustements au système selon les besoins.

Il est important pour les IRSC de faire participer le milieu de la recherche et les autres intervenants et de les tenir au courant de la planification et de la mise en œuvre des réformes. Les IRSC travailleront donc de concert avec les délégués universitaires et d'autres acteurs du milieu afin de s'assurer que les préoccupations des chercheurs sont prises en compte à chaque étape du processus. En outre, des mises à jour seront affichées sur le site Web des IRSC et diffusées dans le bulletin Cyberalerte tout au long du processus, la publication de la conception détaillée et du plan de mise en œuvre étant prévue pour l'automne 2012.

À titre de principal organisme fédéral de financement de la recherche en santé au Canada, les IRSC doivent appuyer la création et l'application de connaissances issues de la recherche en santé dans tous les domaines. Ce soutien doit être viable à long terme et permettre de maintenir la compétitivité du Canada dans l'économie du savoir d'aujourd'hui.

L'objectif des concepts proposés est de s'assurer que les IRSC disposent de systèmes de financement et d'évaluation par les pairs qui leur permettent de reconnaître et de soutenir l'excellence en recherche dans tous les domaines qui relèvent de leur mandat. La contribution inestimable du milieu canadien de la recherche en santé aidera les IRSC à perfectionner les éléments conceptuels de la réforme.

Au final, la modernisation des systèmes de financement et d'évaluation par les pairs des IRSC permettra de renforcer l'entreprise de recherche en santé du Canada et d'améliorer les résultats pour la santé de la population canadienne.

Annexe I : Rétroaction sur le sondage sur le document de travail conceptuel

Partie A : Renseignements de base

1. Comment vous décririez-vous?
   Veuillez choisir toutes les réponses qui s'appliquent :
   1. Chercheur en début de carrière (moins de cinq ans comme chercheur indépendant)
   2. Chercheur en milieu de carrière (de cinq à dix ans comme chercheur indépendant)
   3. Chercheur chevronné (plus de dix ans comme chercheur indépendant)
   4. Utilisateur des connaissances
   5. Autre (veuillez préciser) :
2. Quel poste de recherche occupez-vous actuellement?
   Veuillez choisir toutes les réponses qui s'appliquent :
   1. Professeur
   2. Professeur adjoint
   3. Professeur agrégé
   4. Chercheur
   5. Assistant de recherche ou poste semblable
   6. Clinicien
   7. Stagiaire
   8. Autre (veuillez préciser) :
3. Quel est votre principal domaine de recherche (thème)?
   1. Recherche biomédicale
   2. Recherche clinique
   3. Recherche sur les services et les systèmes de santé
   4. Recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations
4. Avez-vous participé à une évaluation par les pairs pour les IRSC au cours des cinq dernières années?
   1. Oui
   2. Non

5. Avez-vous demandé une subvention de fonctionnement dans le cadre d'un concours ouvert au cours des trois dernières années?

   1. Oui
   2. Non

   Dans l'affirmative, veuillez répondre aux questions 6, 7 et 8 :

6. En moyenne, combien de temps vous faut-il pour préparer l'ensemble d'un dossier de demande de subvention de fonctionnement dans le cadre d'un concours ouvert (y compris les pièces jointes) aux fins de présentation électronique sur RechercheNet (en heures)?

7. Votre établissement fixe-t-il une échéance interne qui précède la date limite des IRSC pour la réception des demandes?
   1. Oui
   2. Non
8. Votre établissement dispose-t-il d'un processus interne d'évaluation par les pairs?
   1. Oui
   2. Non

Partie B : Document de travail conceptuel

1. Le document de travail conceptuel décrit bien les problèmes que posent actuellement notre série de programmes ouverts et notre système d'évaluation par les pairs.
   1. Tout à fait d'accord
   2. D'accord
   3. Opinion neutre
   4. Pas d'accord
   5. Pas du tout d'accord
2. Après avoir lu le document de travail conceptuel, je comprends bien la distinction entre le volet programme et le volet projet.
   1. Tout à fait d'accord
   2. D'accord
   3. Opinion neutre
   4. Pas d'accord
   5. Pas du tout d'accord
   6. Ne sait pas
3. Après avoir lu le document de travail conceptuel, je crois que je présenterais une demande pour :
   1. Le volet programme
   2. Le volet projet
   3. Les deux
   4. Ni l'un ni l'autre
4. Après avoir lu le document de travail conceptuel, je crois que les changements proposés élimineraient des obstacles qui nuisent au financement de l'excellence dans tous les domaines de la recherche en santé.
   1. Tout à fait d'accord
   2. D'accord
   3. Opinion neutre
   4. Pas d'accord
   5. Pas du tout d'accord
   6. Il n'y a pas d'obstacles
5. D'après les descriptions figurant dans le document de travail conceptuel, dans quelle mesure êtes-vous d'accord ou non pour dire que les éléments conceptuels suivants permettraient de résoudre les problèmes auxquels les IRSC sont actuellement confrontés avec leur série de programmes ouverts et leur système d'évaluation par les pairs?

   	Tout à fait d'accord	D'accord	Opinion neutre	Pas d'accord	Pas du tout d'accord	Ne sait pas
   Processus de concours en plusieurs étapes Cet élément conceptuel vise à réduire le nombre de demandeurs qui présentent des demandes détaillées et le temps consacré à l'évaluation des demandes à chaque étape.
   Évaluation axée sur les demandes Cet élément conceptuel vise à assigner les demandes aux évaluateurs de façon à garantir que chaque demande est évaluée par des personnes possédant l'expertise nécessaire.
   Application des connaissances intégrée Cet élément conceptuel vise à reconnaître l'importance des utilisateurs des connaissances et favoriserait la recherche appliquée concertée.
   Critères structurés d'évaluation Cet élément conceptuel vise à fournir des critères d'évaluation bien définis et des renseignements pertinents sur les demandes afin de favoriser des évaluations par les pairs justes, fiables et cohérentes.
   Processus de présélection à distance (virtuel) Cet élément conceptuel vise à utiliser la technologie Internet pour l'assignation des tâches d'évaluation axée sur les demandes.
   Collège des évaluateurs Cet élément conceptuel vise à faciliter l'accès à l'expertise requise et à offrir la structure nécessaire pour la conception de mécanismes de recrutement, de formation et de récompense des évaluateurs.

6. Quels sont les points forts de la conception envisagée?

7. Quelles sont les lacunes de la conception auxquelles les IRSC devraient remédier pour garantir la réussite de sa mise en oeuvre?

8. Quels obstacles prévoyez-vous en tant que chercheur ou pair évaluateur lors de l'adoption de ces changements?

9. Autres commentaires :

Annexe II : Correspondance reçue des chercheurs, des administrateurs d'établissement et d'autres intervenants, par établissement ou organisme de santé

Du 8 février au 1er mai 2012

• Association canadienne d'administrateurs de recherche universitaire (ACARU)
• Association canadienne de gastroentérologie
• Association canadienne de physiothérapie
• Association canadienne des écoles de sciences infirmières
• Association canadienne des hygiénistes dentaires
• Association des facultés de médecine du Canada
• Bloorview Research Institute
• B-Temia
• Canadian Centres for Research in Health Professions Education
• Centre de recherche du CHUQ
• Centre de recherche sur la santé des Autochtones
• Centre de toxicomanie et de santé mentale
• Centre Sunnybrook des sciences de la santé
• Council of Academic Hospitals of Ontario (CAHO)
• Fédération canadienne des sciences humaines (FCSH)
• Fondation canadienne de la recherche en diététique
• Fondation canadienne de recherche sur le syndrome de fragilité du chromosome X
• Fondation canadienne des maladies inflammatoires de l'intestin
• Fondation canadienne pour la recherche et l'éducation en hygiène dentaire
• Fondation canadienne pour la recherche sur l'incontinence
• Fondation de la recherche en santé de la Nouvelle-Écosse
• Fondation de la recherche en santé du Nouveau-Brunswick
• Fondation médicale de recherche sur la dystonie Canada
• Groupe de recherche en urgence pédiatrique du Canada
• Hôpital général juif
• Hôpital Mount Sinai - Institut de recherche Samuel Lunenfeld
• Hospital for Sick Children (SickKids Hospital)
• Institut de réadaptation de Toronto
• Institut de recherche de l'Hôpital d'Ottawa
• Institut de recherche de l'hôpital Toronto Western
• Institut de recherche du Centre hospitalier pour enfants de l'est de l'Ontario
• Institut de recherche Élisabeth-Bruyère
• Institut de recherche en santé Lawson
• Institut de recherche en services de santé
• Institut de recherche sur l'enfant et la famille
• Institut ontarien du cancer
• lnstitut de recherches cliniques de Montréal
• London Health Sciences Centre
• Michael Smith Genome Sciences Centre
• MitoCanada
• Réseau canadien de l'arthrite
• Société canadienne d'endocrinologie et métabolisme
• Société canadienne pour les biosciences moléculaires
• St. Joseph's Health Care London
• Université Athabasca
• Université Carleton
• Université Columbia
• Université Concordia
• Université Cornell
• Université d'Ottawa
• Université Dalhousie
• Université de Calgary
• Université de Guelph
• Université de l'Alberta
• Université de l'Île-du-Prince-Édouard
• Université de la Colombie-Britannique
• Université de la Saskatchewan
• Université de Moncton
• Université de Montréal
• Université de Sherbrooke
• Université de Toronto
• Université de Waterloo
• Université du Manitoba
• Université du Nouveau-Brunswick
• Université du Québec à Trois-Rivières
• Université Laval
• Université McGill
• Université McMaster
• Université Memorial de Terre-Neuve
• Université Mount Allison
• Université Northeastern : Centre for Drug Discovery
• Université Queen's
• Université Ryerson
• Université Simon Fraser
• Université St. Francis Xavier
• Université St. Mary's
• Université Western
• Université Wilfrid Laurier
• Université York
• Wilson Centre for Research in Health Professions Education

Date de modification :

2012-08-14