Lignes directrices pour l’évaluation – initiatives de recherche priorisée

Table des matières

1. Introduction

Les IRSC allouent des fonds à des chercheurs menant de la recherche dans des domaines novateurs et ciblés sur tous les aspects de la santé en fonction de l’évolution des besoins et des priorités des Canadiens, y compris la recherche biomédicale, la recherche clinique, la recherche sur les services et systèmes de santé, ou la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations, ainsi que d’autres types de recherche, au besoin.

Les initiatives de recherche priorisée visent l’avancement et l’application des connaissances en santé dans des domaines de recherche précis qu’ont désignés les IRSC après avoir consulté d’autres ministères, des partenaires et des intervenants en vue d’améliorer les systèmes de santé et les résultats sur la santé dans ces domaines prioritaires.

Le but des présentes lignes directrices est de fournir de l’information sur le processus d’évaluation des initiatives de recherche priorisée.

Pour connaître les règles détaillées qui s’appliquent à tous les aspects des programmes de financement des IRSC, consultez les Politiques de financement des IRSC.

2. Processus d’évaluation

L’intégrité du processus d’évaluation des programmes stratégiques dépend de principes et de politiques bien établis qui visent à :

  • assurer l’équité et l’efficacité de l’évaluation;
  • appuyer les objectifs des IRSC et leurs cibles de financement stratégiques.

2.1 Principes d’évaluation

Les principes d’évaluation des IRSC sont les suivants :

L’évaluation par les pairs est un processus qui permet aux IRSC d’examiner les demandes de financement qui leur sont présentées. Le processus d’évaluation par les pairs des IRSC consiste en l’examen des demandes par un groupe d’évaluateurs, qui possèdent (individuellement ou collectivement) l’expérience ou l’expertise requises, selon les IRSC, pour évaluer la qualité ou l’impact potentiel de la recherche proposée ou des activités liées à la recherche, dans le contexte des objectifs de la possibilité de financement. Le processus d’évaluation par les pairs des IRSC s’appuie sur des évaluateurs universitaires et non universitaires, par exemple des représentants de l’industrie, du gouvernement et de la collectivité.

L’évaluation par les pairs permet aux IRSC d’accomplir leur mandat, qui est d’exceller, selon les normes d’excellence scientifique internationalement reconnues, dans la production de nouvelles connaissances et leur application en vue :

  • d’améliorer la santé de la population canadienne;
  • d’offrir de meilleurs produits et services de santé;
  • de renforcer le système de santé du Canada.

De plus, le processus d’évaluation des IRSC repose sur un certain nombre de politiques et de lignes directrices qui aident à assurer la qualité du système d’évaluation et de la recherche financée dans le cadre de leurs programmes de recherche.

Tous les membres du comité (président, agent scientifique, évaluateurs, etc.) doivent accepter :

2.1.1 Confidentialité

La confidentialité signifie que les renseignements sur une personne ne doivent pas être divulgués, directement ou indirectement, à quiconque sans le consentement exprès de cette personne. Les renseignements fournis par les candidats dans leurs demandes sont protégés par la Loi sur la protection des renseignements personnels et sont mis à la disposition des évaluateurs externes seulement à des fins d’évaluation. L’utilisation de ces renseignements à d’autres fins constitue une infraction à la Loi sur la protection des renseignements personnels et pourrait donner lieu à une enquête des IRSC et/ou à un rapport au Commissariat à la protection de la vie privée fédéral.

Les membres du comité sont instruits par les IRSC de s’abstenir de communiquer aux candidats ou à quiconque à l’extérieur du comité des renseignements liés à l’évaluation d’une demande particulière ou d’offrir leur avis sur les chances de réussite ou d’échec d’un candidat. De leur côté, les candidats ne doivent pas non plus prendre contact avec les membres des comités, y compris le président et l’agent scientifique, pour s’enquérir de leurs demandes (cotes, rang, etc.).

De par la loi, les candidats ont accès à leur dossier et, conséquemment, tous les documents utilisés dans l’évaluation des demandes sont à leur disposition une fois qu’ils ont été avisés des décisions de financement des IRSC pour un concours donné.

Les IRSC ne révéleront pas le nom des évaluateurs aux candidats. Toutefois, la liste des membres des comités d’évaluation est habituellement publiée sur le site Web des IRSC 60 jours après l’approbation du financement dans le cadre d’un concours.

2.1.2 Conflits d’intérêts

Les IRSC font tout en leur pouvoir pour s’assurer que leurs décisions sont justes et objectives en cernant et en gérant les situations de conflit d’intérêts entre un candidat et un évaluateur. Selon la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche (PCIC), un conflit d’intérêts est un conflit entre les obligations et les responsabilités d’un participant à un processus d’évaluation (p. ex. un évaluateur ou un observateur) et ses intérêts privés, professionnels, commerciaux ou publics. Il peut y avoir un conflit d’intérêts réel, apparent ou potentiel lorsque le participant :

  • pourrait recevoir un avantage professionnel ou personnel résultant de la possibilité ou du programme de financement ou d’une demande qui fait l’objet d’une évaluation,
  • entretient une relation professionnelle ou personnelle avec un candidat ou l’établissement du candidat ou
  • a un intérêt financier direct ou indirect dans une possibilité ou un programme de financement ou une demande qui fait l’objet d’une évaluation.

Un conflit d’intérêts peut être considéré comme réel ou apparent lorsqu’un membre du comité, un évaluateur ou un observateur :

  • est parent ou ami proche d’un candidat, ou entretient une relation personnelle avec un candidat;
  • pourrait obtenir ou perdre un avantage financier ou matériel à la suite du financement de la demande;
  • a depuis longtemps des divergences de vues d’ordre scientifique ou personnel avec un candidat;
  • a une affiliation avec l’établissement, l’organisation ou l’entreprise des candidats (y compris avec des hôpitaux de recherche ou des instituts de recherche affiliés);
  • a une affiliation professionnelle étroite avec un candidat si l’une des situations suivantes est survenue au cours des six dernières années :
    • avoir des interactions fréquentes et régulières avec un candidat dans le cadre de fonctions exercées au sein d’un même département, d’un même établissement, d’une même organisation ou d’une même entreprise,
    • avoir été le superviseur ou le stagiaire d’un candidat,
    • avoir collaboré, publié ou partagé des fonds avec un candidat ou prévoir le faire prochainement ou
    • travailler pour l’établissement qui présente une demande; ou
  • estime, pour quelque raison que ce soit, être incapable de réaliser une évaluation impartiale de la demande.

Tous les membres du comité (président, agent scientifique, évaluateurs, etc.) doivent se conformer aux mêmes directives en matière de conflits d’intérêts. Il incombe au personnel des IRSC de trancher la question en cas de doute. Tous les membres du comité doivent lire la PCIC et accepter d’y souscrire avant de regarder le contenu d’une demande.

2.1.3 Équité

Le succès du système d’évaluation par les pairs dépend essentiellement de la volonté et de la capacité de tous les évaluateurs :

  • de faire preuve d’un jugement rigoureux;
  • d’être impartiaux et raisonnables;
  • de comprendre le contexte particulier de chaque demande, tout en en tenant compte de façon équilibrée.

Une évaluation constructive de qualité aide le candidat en soulignant les forces et les faiblesses qu’il pourra corriger.

Si, de l’avis du président ou du personnel des IRSC, l’évaluation contient des commentaires qui pourraient être interprétés de quelque façon comme étant sarcastiques, irrévérencieux, arrogants ou inappropriés ou encore des renseignements inexacts quant aux politiques des IRSC, l’organisme se réserve le droit de retirer tout propos ainsi jugé de l’évaluation.

2.1.4 Transparence

Les IRSC assurent la transparence de l’évaluation au moyen de divers mécanismes. Toutes les demandes présentées aux IRSC sont examinées par des évaluateurs qui procèdent à une évaluation globale de chaque demande. L’évaluation est réalisée à partir des exigences et des critères établis pour chaque concours individuel se trouvant dans la possibilité de financement pertinente. De plus, l’agent scientifique (AS) consigne dans ses notes les délibérations du comité d’évaluation. Les évaluations et les notes de l’AS sont communiquées aux candidats, au besoin.

Au besoin, les IRSC publient sur leur site Web les listes des membres des comités d’examen par les pairs et les listes de toutes les demandes fructueuses par concours dans sa base de données sur les décisions de financement.

2.2 Types d’évaluations

Les IRSC invitent des experts du milieu de la recherche possédant diverses perspectives (p. ex. chercheurs en santé, professionnels de la santé, responsables des politiques, dirigeants communautaires, patients et citoyens, etc.) à se joindre à des comités d’évaluation pour :

  • évaluer les demandes présentées dans le cadre d’une possibilité de financement particulière,
  • évaluer le mérite des demandes en fonction de critères d’évaluation prédéfinis pour que les IRSC puissent les classer en ordre de priorité de financement et
  • formuler des recommandations quant au budget requis pour soutenir la demande.

Les comités d’évaluation par les pairs font des recommandations de financement aux IRSC et aux partenaires qui, ensemble, prennent les décisions finales en matière de financement. Pour les initiatives de recherche priorisée, les IRSC ont généralement recours à deux grands types d’évaluation par les pairs : les réunions des comités (en personne ou par téléconférence) et les évaluations virtuelles. D’autres éléments conceptuels peuvent aussi être utilisés en fonction des besoins du concours.

2.2.1 Réunion des comités

Les réunions des comités se déroulent en personne ou par téléconférence. Les évaluateurs discutent des demandes propres à un concours puis les cotent. Ils attribuent une cote initiale pour lancer la discussion entre les membres puis, après avoir débattu des forces et des faiblesses de la demande, tous les membres du comité et les évaluateurs à qui la demande est assignée en arrivent à une cote consensuelle (exception faite du président et de l’agent scientifique). On demande ensuite aux membres du comité d’attribuer une cote individuelle se situant à +/-0,5 de la cote consensuelle. La moyenne des cotes des membres du comité, ou des cotes combinées de la demande, est convertie en classement final pour la demande. Les IRSC se fondent sur le rang attribué à chaque demande dans le classement pour allouer les fonds.

2.2.2 Évaluation virtuelle

L’évaluation virtuelle inclut un processus d’évaluation électronique chez soi dans le cadre duquel chaque demande est assignée à deux évaluateurs ou plus qui produiront une évaluation et des recommandations à l’aide d’une échelle de cotation.

Dans le cas des évaluations virtuelles, les évaluateurs ne se rencontrent pas en personne pour discuter des demandes.

Pendant l’évaluation virtuelle, le rôle de l’évaluateur est le même que celui décrit précédemment en situation de réunion des comités. Les recommandations de financement sont faites uniquement en fonction des cotes soumises par les évaluateurs et des évaluations écrites.

S’il existe des divergences suffisantes dans les cotes attribuées, les évaluateurs pourront se voir donner la chance de discuter des évaluations et de confirmer les cotes.

2.3 Modèles de sélection

2.3.1 Évaluation de la pertinence

Le processus d’évaluation de la pertinence est utilisé par les responsables stratégiques et/ou les partenaires pour évaluer la concordance d’une demande avec le thème de recherche décrit dans la possibilité de financement (PF). Comme son nom l’indique, le processus est utilisé lorsqu’il est important que les demandes soient pertinentes par rapport aux objectifs de recherche visés par la PF. Le processus d’examen de la pertinence a généralement lieu avant le processus d’évaluation par les pairs. Les demandes jugées pertinentes passeront à la prochaine étape.

2.3.2 Évaluation scientifique

L’évaluation scientifique est le mécanisme standard pour évaluer l’excellence scientifique des propositions soumises à un concours. Elle fait appel à un ensemble précis de critères d’évaluation pour mesurer des aspects clés des propositions par rapport à la portée et aux objectifs principaux de la possibilité de financement. Chaque critère est évalué individuellement, et une cote globale unique est accordée à des fins de comparaison, de classement et de recommandation pour du financement. Même si on peut appliquer une pondération aux critères pour marquer des degrés d’importance, ce n’est pas la pratique habituelle. Seules les cotes qui dépassent le seuil de financement en fonction de la cote globale combinée sont prises en compte pour du financement.

2.3.3 Évaluation du mérite

L’évaluation du mérite est un type d’évaluation qui cote séparément l’impact potentiel et le mérite scientifique. On peut utiliser cette approche pour évaluer les projets de recherche auxquels participent des utilisateurs de connaissances lors de la préparation du plan de recherche, de la réalisation du projet et de l’application des résultats.

En général, la note attribuée pour l’impact potentiel d’une demande dépend de l’importance du projet pour les utilisateurs de connaissances et de la probabilité de retombées considérables et durables sur la santé, les pratiques, les programmes et/ou les politiques dans le contexte de l’étude. On envisagera de financer seulement les demandes qui dépasseront le seuil de financement à la fois pour l’impact potentiel et le mérite scientifique. On calculera la moyenne des deux cotes des demandes finançables selon les deux critères pour déterminer la cote finale et établir le classement.

2.4 Facteurs et critères d’évaluation

Les demandes de subvention présentées aux IRSC utilisent habituellement les cinq critères suivants :

  • Approche de recherche
  • Originalité de la proposition
  • Candidats
  • Environnement de recherche
  • Impact de la recherche

Ces critères peuvent être précisés et définis selon des facteurs particuliers qui sont pris en compte par les évaluateurs pendant l’évaluation. Il convient toutefois de souligner que certains de ces facteurs peuvent ne pas être pertinents pour chaque demande de subvention. Aussi, chaque critère et les facteurs correspondants ne sont pas énumérés dans l’ordre d’importance, et la pondération relative de chaque critère peut varier selon les objectifs de chaque possibilité de financement, tels que définis par les IRSC.

Pour de plus amples renseignements, reportez-vous aux Critères révisés d’examen des demandes de subventions – Guide d’interprétation. Prière de consulter la possibilité de financement pour de l’information complète sur le programme et l’évaluation, car certaines possibilités possèdent leurs propres critères d’évaluation fondés sur des objectifs de recherche et de financement uniques.

Déclaration de San Francisco sur l’évaluation de la recherche

Les IRSC sont signataires de la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), qui « reconnaît la nécessité d’améliorer la façon dont les résultats de la recherche savante sont évalués ». Selon la DORA, les résultats de recherche ne se limitent pas à la publication d’articles dans les revues, mais ils peuvent comprendre un large éventail de contributions et de retombées.

Les évaluateurs doivent mesurer la productivité et les progrès de façon générale en prenant en considération :

  • toute une gamme de contributions du candidat (articles de recherche, rapports, livres, documents d’orientation, ensembles de données, codes, outils, formations et mentorat, engagement communautaire, normes, logiciels, produits commercialisés) et de retombées (incidence sur les politiques et les pratiques, résultats cliniques, retombées sociétales, travaux de recherche en santé significatifs, culturellement sécurisants et fondés sur les distinctions);
  • la situation du candidat (p. ex. historique de congé, stade de carrière, domaines de recherche, acquis expérientiels, cheminement de carrière hors norme, responsabilités familiales, répercussions de la pandémie) et son incidence sur son parcours.

Les indicateurs comme le nombre de publications et de citations ou la valeur et le nombre des subventions de recherche reçues ne devraient pas être examinés hors contexte pour évaluer la productivité et les progrès. Les évaluateurs ne doivent donc pas se servir d’indicateurs bibliométriques, tels que les facteurs d’impact, comme succédané d’appréciation de la qualité et de l’incidence d’un article de recherche. Comme l’indique la DORA, « le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié ».

2.5 Échelle de classement et de cotation

Habituellement, pendant le processus d’évaluation, le comité d’évaluation cote la demande. La cote est ensuite utilisée pour classer les demandes, et les IRSC prennent leurs décisions de financement en fonction de ce classement. Les demandes sont financées jusqu’à épuisement des fonds ou des demandes subventionnables.

Veuillez noter que dans certains concours, il existe des sources de fonds destinées à des domaines de recherche particuliers uniquement. Les demandes visées seront quand même financées dans l’ordre de classement, mais sont considérées comme faisant partie d’un volet ou d’une classe de financement à part.

Pour l’évaluation par les pairs de la recherche priorisée, les IRSC se servent souvent d’une échelle de 0 à 4,9 pour évaluer toutes les demandes (4,9 étant la cote la plus élevée possible). Les cotes correspondent à des descripteurs qualitatifs (voir tableaux ci-dessous) qui visent à guider les évaluateurs dans leur évaluation des demandes. Pour être admissible à des fonds, une demande doit obtenir une cote minimale de 3,5. D’autres échelles de cotation peuvent être utilisées pour appuyer les objectifs d’un concours en particulier.

2.5.1 Échelle de cotation des IRSC pour la majorité des programmes

Descripteur Intervalle Résultat
Exceptionnel 4,5 – 4,9 Subventionnable – fera l’objet de discussions par le comité
Excellent 4,0 – 4,4
Très bon 3,5 – 3,9
Passable 3,0 – 3,4 Non subventionnable – pourrait ou non faire l’objet de discussions par le comité
Médiocre 0,0 – 2,9

2.5.2 Échelle de cotation des IRSC pour l’évaluation du mérite par les pairs

Dans l’évaluation du mérite, des cotes distinctes sont accordées pour l’impact potentiel et le mérite scientifique.

Mérite scientifique Intervalle Impact potentiel Résultat
Exceptionnel 4,5 – 4,9 Extrêmement important Subventionnable
Excellent 4,0 – 4,4 Très important
Très bien 3,5 – 3,9 Important
Passable 3,0 – 3,4 Modéré Non subventionnable
Médiocre 0,0 – 2,9 Limité

* Seules les demandes qui recevront une cote d’au moins 3,5 à la fois pour l’impact potentiel et le mérite scientifique pourront être financées. On calculera la moyenne des deux cotes des demandes qui ont une cote de 3,5 ou plus selon les deux critères pour déterminer la cote finale et établir le classement.

2.5.3 Processus de catégorisation

Le processus de catégorisation sert à guider la discussion sur les demandes méritoires à la réunion du comité (en personne ou par téléconférence).

Le processus de catégorisation s’ajoute à l’échelle de cotation pour aider à départager les demandes entre elles. Dans le cadre du processus, les demandes sont regroupées pour déterminer celles qui feront ou non l’objet de discussions.

2.5.4 Rationalisation des demandes

Les membres du comité ont le choix de discuter ou non d’une demande si la moyenne des cotes initiales est nettement au-dessus ou en dessous de ce que l’on considère une cote ouvrant droit à du financement. Ce processus s’appelle la rationalisation d’une demande vers le haut ou vers le bas. On fait la moyenne des cotes initiales pour obtenir la cote finale. Comme aucune note ne sera prise par l’agent scientifique, aucune note ne sera fournie au candidat.

Étant donné qu’on dispose de fonds limités pour chaque concours ou programme, il est important que les membres du comité centrent leurs discussions sur les demandes les plus concurrentielles pour faire en sorte qu’une liste de classement précise soit produite.

Une demande peut faire l’objet d’une rationalisation si :

  • le processus de catégorisation montre que la demande n’est pas concurrentielle;
  • elle se situe nettement au-dessus du seuil de financement prévu;
  • elle se situe nettement en dessous du seuil de financement prévu;
  • la moyenne des cotes initiales des évaluateurs est inférieure à 3,5;
  • les autres membres du comité ne s’opposent pas à ce que la demande ne soit pas évaluée plus en détail.

3. Comités et réunions d’évaluation

3.1 Sélection des membres des comités d’évaluation des IRSC

Bien que la direction et le personnel de la conception et de l’exécution des programmes des IRSC soit chargés de prendre les décisions finales quant à la composition des comités, ils mènent des consultations intensives auprès des groupes pertinents pour établir un groupe approprié. Les membres du comité sont choisis conformément à la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche.

3.2 Composition des comités

Un comité d’évaluation des IRSC est habituellement formé d’évaluateurs et, parfois, d’un président, d’un agent scientifique et d’un lecteur, selon les besoins du modèle de sélection. Chaque membre est sélectionné en fonction de ses connaissances, de son expertise et de son expérience.

La composition du comité dans son ensemble doit tenir compte d’un ou de plusieurs des aspects suivants :

  • Connaître l’ensemble des secteurs de recherche, des méthodologies pertinentes et de l’expérience dont le comité est chargé.
  • Posséder la capacité d'effectuer des évaluations en anglais et en français de façon à ce que le comité puisse évaluer les demandes dans l’une ou l’autre des deux langues officielles.
  • Assurer une représentation des régions et une représentation des sexes proportionnelles à la composition de l’ensemble de la communauté de recherche en santé du Canada.

3.3 Rôle et responsabilités des membres du comité (réunions en personne ou par téléconférence)

3.3.1 Président de comité

La personne qui remplit les fonctions de président de comité doit suivre un ensemble clair d’instructions générales établies par les IRSC.

Avant la réunion du comité, le président peut :

  1. proposer aux IRSC les noms de membres potentiels lors de la formation du comité d’évaluation et, au besoin, lors de l’assignation des demandes.
  2. travailler de concert avec le personnel des IRSC pour établir un ordre ou un calendrier d’évaluation et pour déterminer à quel moment les demandes feront l’objet d’une rationalisation, s’il y a lieu.
  3. travailler de concert avec le personnel des IRSC pour gérer les conflits d’intérêts des membres de comités d’évaluation.

À la réunion du comité et dans ses fonctions de modérateur, le président doit assurer le fonctionnement harmonieux, efficace et objectif du comité d’évaluation par les pairs, en plus d’instaurer et de maintenir un climat positif, constructif et équitable pour l’évaluation des projets de recherche. Pour ce faire, le président peut :

  1. prononcer un mot d’ouverture.
  2. faire les présentations d’usage et expliquer le déroulement de la réunion aux membres, au besoin.
  3. s’assurer que tous les membres du comité qui sont en conflit d’intérêts par rapport à une demande quittent la salle avant le début des discussions.
  4. nommer un représentant à titre de président ou d’agent scientifique (AS) lorsque l’un ou l’autre quitte la salle en raison d’un conflit d’intérêts par rapport à une demande ou pour toute autre raison. Dans la mesure du possible, la même personne ne doit pas jouer les deux rôles dans le cadre de la même réunion du comité.
  5. jouer un rôle de supervision; il ne participe pas à la cotation des demandes et ne vote pas lors des réunions du comité.
  6. voir à ce que tous les membres du comité participent à l’évaluation de chaque demande.
  7. veiller à ce que l’évaluation par les pairs soit réalisée conformément à la Déclaration de San Francisco sur l’évaluation de la recherche (DORA).
  8. travailler de concert avec l’agent scientifique, au besoin, pour résumer les discussions tenues à propos de chaque demande avant que l’on arrive à un consensus sur la cotation de celles-ci.
  9. s’assurer que la cote est obtenue par consensus.
  10. s’assurer que les membres du comité discutent du budget et de la durée de la subvention et que les commentaires sont ajoutés aux notes de l’AS, au besoin.
  11. s’assurer que les préoccupations particulières d’ordre éthique et les autres exigences des IRSC sont abordées, et que les résultats des discussions sont consignés dans les notes de l’AS.

À la fin de la réunion du comité, le président peut :

  1. proposer que toute demande évaluée de manière incohérente selon les membres fasse l’objet d’une autre discussion.
  2. prévoir du temps pour recevoir la rétroaction des membres du comité en ce qui concerne l’efficacité et le fonctionnement du comité.

3.3.2 Agent scientifique (AS)

La personne qui remplit les fonctions d’agent scientifique (AS) à la réunion d’un comité est chargée d’appuyer le président dans son rôle pendant la réunion du comité d’évaluation et doit suivre un ensemble clair d’instructions générales établies par les IRSC.

Avant la réunion du comité, l’agent scientifique peut :

  1. proposer aux IRSC les noms de membres potentiels lors de la formation du comité d’évaluation et, au besoin, lors de l’assignation des demandes, et notamment trouver des évaluateurs externes pour combler des lacunes précises sur le plan de l’expertise.

À la réunion du comité, l’agent scientifique :

  1. prend des notes officielles (les « notes de l’agent scientifique ») des délibérations du comité portant sur chacune des demandess et veille à ce que les commentaires soient pertinents en ce qui concerne la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) et à ce qu’ils y soient conformes. Ces notes seront envoyées aux candidats avec les rapports des évaluateurs, s’il y a lieu.
  2. relit ses notes pour les faire valider par les membres du comité et pour recueillir d’autres commentaires des membres avant l’obtention d’un consensus et le vote du comité.
  3. relit le résumé des modifications apportées au budget et à la durée de la subvention dans la demande, et s’assure que les considérations particulières en matière d’éthique ou autres sont portées à l’attention des IRSC et sont consignées, le cas échéant.

À la fin de la réunion du comité, l’agent scientifique :

  1. finalise et publie ses notes directement dans RechercheNet ou les envoie au coordonnateur des programmes au plus tard le cinquième jour ouvrable suivant la réunion.

Remarques :

  • L’agent scientifique ne participe pas à la cotation des demandes et ne vote pas lors des réunions du comité.
  • Les notes de l’AS devraient fournir au candidat un aperçu de la discussion que le comité a eu sur sa demande. Leur but est double, à savoir :
    • donner les facteurs déterminants de l’évaluation de la demande par le comité;
    • expliquer comment le budget et la durée ont été établis par le comité (le cas échéant).
  • Les notes des AS doivent être claires et concises, et fournir une rétroaction objective et constructive au candidat. Elles doivent :
    • inclure les forces et les faiblesses de la demande, conformément à la DORA;
    • traiter des questions qui ont eu le plus grand impact sur l’évaluation, en fonction des critères d’évaluation de la possibilité de financement;
    • traiter des aspects des discussions du comité dont ne font pas mention les rapports écrits des évaluateurs;
    • décrire la façon dont les désaccords entre évaluateurs, exprimés dans les rapports d’évaluation individuels, ont été résolus en expliquant quelle opinion a été favorisée par le comité.
  • Les IRSC n’apporteront aucune correction ni aucun changement aux notes de l’AS sans l’approbation de l’agent scientifique.

3.3.3 Évaluateurs

Les évaluateurs sont les membres du comité chargés d’évaluer une demande ou plus. Les demandes sont assignées à un minimum de deux évaluateurs pour être évaluées. Ces derniers cotent les demandes et soumettent un rapport écrit approfondi qui sera fourni au candidat. Au besoin, ils présentent leur évaluation à la réunion du comité, où ils dirigent les échanges et participent au vote. Ils participent aussi aux délibérations relatives aux demandes devant le comité et à leur cotation quand ils ne sont pas en conflit d’intérêts. À noter que les évaluateurs peuvent aussi se voir confier d’autres demandes comme « lecteurs ».

Avant la réunion du comité, les évaluateurs doivent :

  1. évaluer les demandes qui leur ont été assignées en prenant soin de fournir une évaluation critique de la demande ainsi que des commentaires constructifs fondés sur les objectifs et les critères donnés dans la possibilité de financement :
    • considérer tous les facteurs et les forces ou les faiblesses des demandes par rapport à chaque critère, conformément à la DORA.
    • l’accent peut être mis sur des critères particuliers dans les détails de la possibilité de financement afin d’atteindre les objectifs du programme de financement;
    • centrer leurs commentaires sur les facteurs les plus pertinents par rapport à leur cote;
    • fournir des commentaires sur le budget demandé et une recommandation officielle, y compris les raisons précises et détaillées de toute réduction du budget ou de la durée recommandée, s’il y a lieu et
    • fournir des commentaires portant sur des points à signaler, au besoin. Ces facteurs ne doivent pas influencer la cote ni les recommandations budgétaires, à moins qu’ils n’aient une incidence certaine sur la valeur scientifique de la proposition de recherche.
  2. attribuer une cote initiale (cette cote peut être modifiée).

Remarque : Le rapport écrit et l’évaluation initiale doivent être soumis dans RechercheNet (habituellement une semaine avant la réunion du comité et au plus tard le jour avant la réunion).

Une fois leur évaluation finale soumise, les évaluateurs peuvent consulter les évaluations des autres évaluateurs. Toutefois, ils ne peuvent plus modifier leur évaluation avant la réunion. Après la réunion, les évaluateurs disposent d’une semaine pour télécharger leurs changements dans RechercheNet.

3.3.4 Lecteurs

Les évaluateurs peuvent aussi se voir confier des demandes comme lecteurs. À ce titre, ils doivent seulement lire les demandes et n’ont pas à présenter de rapport écrit. Ils participent officiellement aux délibérations du comité et aident ce dernier à s’entendre sur une cote.

On pourra leur demander de fournir une cote initiale si les cotes des évaluateurs divergent largement. Cette information ne sera pas consignée; elle ne servira qu’à alimenter la discussion lors de la réunion du comité.

Bien que les lecteurs n’aient pas à fournir d’évaluation écrite, on recommande qu’ils préparent des notes et soient prêts à discuter des demandes avec les autres évaluateurs à la réunion du comité.

3.4 Déroulement de la réunion du comité

Voici les étapes suivies généralement pendant la réunion une fois que tous les membres en situation de conflits d’intérêts ont quitté la salle ou la téléconférence. D’autres modèles peuvent servir à appuyer la structure du concours.

  1. Les évaluateurs révèlent leur cote initiale et, s’il y a lieu, leur évaluation personnelle de la qualité générale de la demande qui sert à déterminer si la demande fera l’objet d’une rationalisation.
  2. Le premier évaluateur donne un bref aperçu de la proposition suivi de l’analyse des forces et des faiblesses de la proposition basée sur les critères d’évaluation propres à la possibilité de financement. Il commente également toute question à signaler.
  3. Les autres évaluateurs s’attardent ensuite sur les points où ils sont en accord et en désaccord et discutent des points qui n’ont pas été abordés par le premier évaluateur.
  4. Après que le lecteur a communiqué toute information supplémentaire et que tous les membres du comité ont terminé la discussion portant sur la demande, l’agent scientifique lit ses notes et demande des précisions/une validation.
  5. Le président cherche à obtenir une cote consensuelle des évaluateurs qui peuvent modifier leurs cotes initiales s’ils jugent qu’il y a lieu de le faire. S’il est impossible d’arriver à un consensus, le président déclare une cote consensuelle. Habituellement, c’est le résultat de la valeur moyenne des cotes respectives révisées après discussion (arrondie, si nécessaire, à une décimale près).
  6. Tous les membres du comité, exception faite du président et de l’agent scientifique, attribuent par vote secret une cote qui ne s’éloigne pas de plus de ±0,5 de la cote consensuelle. Les évaluateurs internes ne sont pas liés par la cote consensuelle. La cote finale attribuée à la demande correspond à la moyenne des cotes données par vote secret.
Date de modification :