Mise en œuvre des recommandations du milieu de la recherche pour le concours de subventions Projet des IRSC
Mise à jour le 24 janvier 2017
Comme suite à la réunion de travail du 13 juillet portant sur les processus d’évaluation par les pairs des IRSC, l’organisation a établi un groupe de travail sur l’évaluation par les pairs sous la direction du Dr Paul Kubes. Au cours de l’été, le groupe s’est réuni à plusieurs reprises afin d’établir une liste de recommandations qui renforceront l’évaluation par les pairs pour le concours de subventions Projet. Les IRSC se sont engagés à tenir compte de ces propositions et à faire le point sur les progrès durant la mise en œuvre.
Les IRSC sont heureux d’annoncer que l’adoption et la mise en œuvre de ces recommandations vont bon train, et que les détails du processus d’évaluation de l’étape 2 ont été ajoutés au Guide d’évaluation par les pairs pour le concours de subventions Projet. Le tableau ci-dessous illustre nos progrès.
Nous fournirons des mises à jour sur nos progrès au fur et à mesure que se déroule le concours de l’automne 2016. Celles-ci seront largement diffusées par l’entremise des médias sociaux et des bulletins. Comme toujours, nous invitons les candidats à communiquer avec le centre de contact pour toute question au sujet du concours.
| Recommandations des participants à la réunion de travail du 13 juillet et du groupe de travail sur l’évaluation par les pairs | Mesures prises par les IRSC pour mettre en œuvre les recommandations |
|---|---|
| Demande | |
Les candidats pourront présenter un maximum de deux demandes par concours de subventions Projet en tant que candidats principaux désignés (CPD). |
Mise en œuvre. Les critères d’admissibilité révisés sont décrits dans la possibilité de financement du concours de subventions Projet. |
Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui.
|
Mise en œuvre. La nouvelle limite de pages est décrite dans les instructions sur la présentation d’une demande de subvention Projet. |
Les demandes seront évaluées en fonction des critères suivants : « importance et impact de la recherche » (25 % de la note finale); « approche et méthodes » (50 % de la note finale); « expertise, expérience et ressources » (25 % de la note finale). |
Mise en œuvre. Les critères de sélection révisés sont décrits dans les instructions sur la présentation d’une demande de subvention Projet. |
Le CV commun (CVC) pour les demandes de subventions Projet inclura les articles publiés depuis les sept dernières années et les candidats pourront télécharger un document PDF s’ils ont pris des congés au cours des sept dernières années. |
Mise en œuvre. Les renseignements qui sont permis dans le CV sont décrits dans les instructions sur la présentation d’une demande de subvention Projet. |
Une réfutation d’une page sera aussi incluse dans la structure révisée pour donner au candidat la possibilité d’expliquer comment la demande a été améliorée depuis la dernière demande. |
Mise en œuvre. La réfutation d’une page est décrite dans les instructions sur la présentation d’une demande de subvention Projet. |
| Évaluation à l’étape 1 | |
Les présidents seront désormais jumelés à des agents scientifiques. Ils géreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents. |
Mise en œuvre. Le rôle révisé des présidents de concours et des agents scientifiques est décrit dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
L’affectation des évaluateurs sera approuvée par les présidents et les agents scientifiques. De plus, ils pourront ajouter ou retirer des évaluateurs une fois que ceux-ci auront rempli la nouvelle déclaration sur les conflits d’intérêts et la capacité d’évaluer pour un groupe de demandes. |
Mise en œuvre. Le rôle révisé des présidents de concours et des agents scientifiques est décrit dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
Les candidats peuvent faire des recommandations quant aux types d’expertise requis pour évaluer leur demande. |
Mise en œuvre. Les champs ont été ajoutés dans la demande, et ils sont décrits dans les instructions sur la présentation d’une demande de subvention Projet. |
Chaque demande sera assignée à quatre (4) évaluateurs à l’étape 1. |
Mise en œuvre. L’affectation révisée des évaluateurs est décrite dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
Les candidats peuvent désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne peuvent participer à l’évaluation du bloc de demandes dont leur propre demande fait partie. |
Mise en œuvre. Les candidats au concours ne sont pas exclus du processus d’évaluation, conformément aux critères concernant les évaluateurs pour le concours de subventions Projet. Les membres des comités d’évaluation par les pairs respectent la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche. |
La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1. |
Mise en œuvre. La discussion en ligne asynchrone a été retirée du processus du concours. |
Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet. |
Mise en œuvre. Le nouveau système de notation numérique est décrit dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
| Étape 2 : discussion en personne | |
Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa. |
Mise en œuvre. Le pourcentage approximatif des demandes qui passeront à l’étape 2 est inclus dans la possibilité de financement et le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
Le groupe de travail a recommandé que les évaluations des demandes qui ne sont pas passées à l’étape 2 soient examinées par les présidents et les agents scientifiques pour garantir une évaluation adéquate. |
Mise en œuvre. Le rôle des présidents de concours et des agents scientifiques est décrit dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée.
|
Mise en œuvre. Un aperçu de la façon dont les demandes sont sélectionnées pour passer à l’étape 2 est inclus dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. Conformément à la recommandation, les IRSC surveilleront le processus d’évaluation afin de guider les futures améliorations à apporter aux stratégies de classement. |
Les présidents travailleront avec les IRSC pour former des comités dynamiques, en fonction de la teneur des demandes qui passent à l’étape 2. |
Mise en œuvre. Conformément au Guide d’évaluation par les pairs pour le concours de subventions Projet, les présidents de concours et les agents scientifiques se verront attribuer un bloc de demandes dans leur domaine d’expertise général. Les blocs de demandes à un concours seront établis en fonction du nombre et du type de demandes soumises au concours et pourront varier d’un concours à l’autre. On s’attend à ce que les blocs soient similaires à l’étape 1 et à l’étape 2. |
Les demandes qui passent à l’étape 2 seront évaluées par deux des quatre évaluateurs de l’étape 1 lors de réunions en personne, qui rassemblent à Ottawa les comités associés à un bloc de demandes. Ces évaluateurs devront présenter leur propre évaluation et celle des deux autres évaluateurs de l’étape 1. |
Mise en œuvre. Les demandes qui passent à l’étape 2 seront évaluées par deux des quatre évaluateurs qui y étaient affectés à l’étape 1. Les détails sont dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
Afin d’accroître la responsabilisation, le nom des évaluateurs apparaîtra sur leurs évaluations jusqu’à l’étape de l’évaluation finale. |
Mise en œuvre. Voir les détails dans le Guide d’évaluation par les pairs pour le concours de subventions Projet. |
Le groupe a recommandé le classement des demandes par blocs et non le classement au‑delà d’un même comité pour l’étape 2. |
Mise en œuvre. Le classement des demandes (et les décisions de financement) se fera à l’échelle des blocs de demandes, conformément au Guide d’évaluation par les pairs pour le concours de subventions Projet. |
| Recommandations supplémentaires | |
Les titulaires de subventions des IRSC seront fortement encouragés à faire des évaluations s’ils y sont invités. Le groupe de travail croit qu’il est important que les récipiendaires de subventions contribuent au processus. Les présidents du collège poursuivront cette discussion. |
Mise en œuvre. Le recrutement des évaluateurs qui satisfont aux critères pour le concours de subventions Projet est commencé. Les titulaires de subventions des IRSC sont fortement encouragés à faire des évaluations s’ils y sont invités. |
Tenir une rencontre en personne de tous les présidents et agents scientifiques à l’automne. Le groupe de travail a accepté les critères de sélection proposés pour choisir les présidents. Il pense aussi qu’il est approprié que les présidents aident à choisir les agents scientifiques, mais recommande que les IRSC rassemblent tout le monde. Les IRSC évaluent la faisabilité de tenir cette rencontre pour le concours de 2016. |
Mise en œuvre. Les IRSC organiseront une réunion en personne avec tous les présidents du processus d’évaluation par les pairs en novembre 2016. Les présidents de concours aideront à recruter des agents scientifiques en fonction de l’expertise requise, conformément au Guide d’évaluation par les pairs pour le concours de subventions Projet. |
Rendre la formation sur l’évaluation par les pairs obligatoire pour tous les évaluateurs. La formation – qui comprend un module sur les préjugés inconscients – devrait être une exigence pour tous les évaluateurs, y compris les chercheurs chevronnés, les présidents et les agents scientifiques. |
Tous les évaluateurs seront invités à suivre une formation et à participer à des séances d’information sur le processus d’évaluation du concours de subventions Projet, notamment un module sur les préjugés inconscients. |
Inviter les chercheurs en début de carrière à observer les rencontres d’évaluation par les pairs en personne de l’étape 2. Les présidents du collège des évaluateurs ont fait du mentorat des chercheurs en début de carrière une priorité. Ils travailleront donc avec les IRSC pour trouver des occasions de mentorat – dont l’observation du processus d’évaluation par les pairs – et discuteront de la possibilité d’utiliser le concours de subventions Projet à cette fin, que ce soit dans le cadre du concours de cet automne ou plus tard. |
Nouveau Mise en œuvre. Les IRSC ont annoncé le lancement d’un programme pilote d'observateurs pour les chercheurs en début de carrière (CDC), afin de leur permettre de participer au processus d'évaluation par les pairs du concours de subventions Projet de l'automne 2016. Une liste de critères a été établie pour les évaluateurs du concours de subventions Projet. Ces critères s’appliquent aux chercheurs à tous les stades de carrière, et le recrutement comprendra des chercheurs en début de carrière afin de leur donner l’occasion d’acquérir l’expérience requise. Les IRSC, en consultation avec les présidents du collège des évaluateurs, élaborent d’autres stratégies de mentorat. De plus amples renseignements à ce sujet seront communiqués à une date ultérieure. |
Considérer une multitude de mécanismes qui pourraient garantir l’équité entre les candidats à différents stades de carrière et les candidats de sexes différents. Le groupe de travail sur l’évaluation par les pairs a fortement recommandé aux IRSC de poursuivre cette conversation avec son conseil scientifique. Tous étaient d’accord pour dire que ce sujet important nécessiterait une analyse et une consultation plus approfondies, et ce, pour tous les programmes de financement des IRSC. |
Les discussions sont toujours en cours. |
Le groupe de travail a unanimement approuvé la proposition d’équilibrer le taux de financement des chercheurs en début de carrière pour le programme de subventions Projet. Équilibrer le taux de financement veut dire s’assurer que le taux de financement des chercheurs en début de carrière à un concours correspond au taux de financement général pour le concours. Le groupe de travail a recommandé que les 30 millions de dollars supplémentaires obtenus dans le dernier budget servent à cela, comme ce fut le cas pour les fonds supplémentaires utilisés pour le premier concours de subventions Projet. |
Les discussions sont toujours en cours. Toutefois, on a annoncé en avril 2016 que les 30 millions de dollars supplémentaires seront entièrement consacrés aux concours actuels et futurs de subventions Projet, en mettant l’accent sur les chercheurs en début de carrière. |
Diffuser les données appropriées relatives au concours de subventions Projet de l’automne 2016, après l’annonce des résultats. Le groupe de travail a conseillé aux IRSC de diffuser publiquement les données relatives au concours non seulement pour faire preuve de transparence, mais aussi pour que les IRSC puissent utiliser ces données dans leur prise de décisions importantes. |
Les IRSC feront part des données des concours de subventions Projet, conformément aux lois sur la protection des renseignements personnels. (Remarque : Les données de chaque concours sont publiées après l’annonce des résultats.) |
Les IRSC évalueront les changements mis en œuvre et communiqueront les analyses au fur et à mesure (p. ex. données sur l’algorithme de jumelage du profil de l’évaluateur et sa validation). Il sera déterminant pour assurer la mise au point, l’amélioration et la transparence de l’évaluation par les pairs que les IRSC rendent publiques ces données avec le plus de précision possible, tout en protégeant les renseignements personnels et la confidentialité. |
Les IRSC et leur conseil scientifique suivront de près le concours et collaboreront avec les organes consultatifs nécessaires pour apporter les changements qui s’imposent. Les IRSC feront des comptes rendus à ce sujet. |
| Recommandations pour les prochains concours de subventions Projet | |
Adapter les exigences du CVC pour les cocandidats en milieu non universitaire et les cocandidats d’établissements universitaires étrangers. Le groupe de travail a proposé que ces candidats puissent télécharger d’autres documents, plutôt que d’utiliser le CVC. |
Un plan sera créé pour régler cette question en vue des prochains concours. |
Intégrer entre les étapes 1 et 2 un mécanisme par lequel les candidats pourront réagir aux commentaires des évaluateurs. Pour les demandes passant à l’étape 2, le groupe de travail a proposé de donner aux candidats la possibilité de présenter une réponse d’une page aux commentaires des évaluateurs; celle-ci pourrait ensuite être utilisée dans le cadre des délibérations de l’étape 2. |
Cette recommandation sera étudiée plus en profondeur en vue des prochains concours. |
- Date de modification :