Deuxième mise à jour du Dr Paul Kubes, président du groupe de travail sur l’évaluation par les pairs des IRSC

16 août 2016

D’entrée de jeu, j’aimerais remercier les membres de la communauté des IRSC pour leur patience et leurs suggestions. Je me réjouis de la diversité des points de vue qui ont été exprimés; soyez assurés que vos commentaires ont compté pour beaucoup dans les délibérations du groupe de travail. Je me dois d’ailleurs de remercier les membres du groupe, notamment ceux des IRSC, qui ont dû revoir leurs plans pour cet été afin de consacrer du temps à ce travail important. Nous voulons tous bien faire les choses, mais nous savons que le temps presse, surtout maintenant que nous pouvons confirmer les dates des concours de subventions Projet et Fondation de l’automne 2016.

Le groupe de travail sur l’évaluation par les pairs s’est réuni en personne le 5 aout à Ottawa, une réunion qui s’est avérée des plus productives. Comme je le soulignais dans ma première mise à jour, les membres de notre groupe ne représentent aucun domaine de recherche ni établissement en particulier. Il s’agit de personnes qui, après la réunion du 13 juillet, ont accepté de faire don de leur temps pour représenter le milieu des IRSC dans son ensemble. Le milieu de la recherche traverse une période très difficile, de faibles taux de réussite étant enregistrés pour tous les thèmes. Ne nous méprenons pas : nous savons que nos travaux ne changeront ni les niveaux de financement ni les taux de réussite – ceux‑ci resteront les mêmes, peu importe l’issue de nos discussions. Ce à quoi nous aspirons tous, c’est à un système où chaque demande est assignée aux bons pairs évaluateurs et où sont produites des évaluations éclairées, constructives et équitables.

Si nos échanges ont été très fructueux, nous avons encore plusieurs éléments à déterminer avant que je puisse vous décrire en détail le fonctionnement des différentes étapes d’évaluation pour le concours de subventions Projet de l’automne. Cela dit, nous avons déjà quelques recommandations à vous présenter; vous les trouverez dans un tableau convivial distinct. Je tiens à signaler que le groupe de travail est parvenu à un consensus pour presque toutes ces recommandations en vue d’un processus d’évaluation par les pairs optimal. Je vous invite à consulter le tableau, mais à garder à l’esprit qu’il ne s’agit pas de la version définitive.

Le tableau contient une foule de renseignements, mais voici quelques points sur lesquels je souhaite attirer votre attention :

  • Le CV commun (CVC) pour les demandes de subventions Projet inclura les articles publiés depuis les sept dernières années ET les candidats pourront y télécharger un document PDF distinct s’ils ont été en congé (parental, médical, etc.) durant cette période. Dans ma première mise à jour, j’ai mentionné que le groupe de travail recommandait d’augmenter le nombre d’années du dossier de publications du CVC. Si le milieu a accueilli favorablement le passage de cinq à sept ans, il a toutefois ajouté qu’il fallait aller encore plus loin et faire en sorte que les chercheurs ayant pris des congés ne soient pas pénalisés. Il est impossible d’ajouter des renseignements sur les congés au CVC dans sa forme actuelle, mais les candidats pourront télécharger un document PDF à cette fin. Ils pourront y indiquer des renseignements pour une période équivalente aux congés pris dans les sept dernières années. Par exemple, un candidat qui a pris un congé parental d’un an pourra télécharger un document PDF détaillant un an de publications au-delà de la limite de sept ans.
  • Le groupe de travail a approuvé les critères proposés pour la sélection des présidents et des agents scientifiques ainsi que ceux pour la présélection des évaluateurs. Les présidents doivent avoir siégé régulièrement aux comités des IRSC et avoir reçu du financement d’au moins un des trois organismes au cours des cinq dernières années. De plus, une liste de candidats à la présidence sera validée par les présidents du collège. Le groupe de travail a estimé qu’il serait aussi approprié que les présidents jouent un rôle dans la sélection des agents scientifiques. Pour le cycle actuel, les évaluateurs devront avoir été titulaires, à titre de chercheur principal, d’au moins une subvention fédérale octroyée au terme d’une évaluation par les pairs. Le groupe de travail a reconnu que cette exigence pourrait avoir pour effet d’exclure certains chercheurs en début de carrière; il a cependant évoqué une possibilité de mentorat, recommandant que ces chercheurs agissent comme observateurs lors des réunions en personne des comités. Les listes d’évaluateurs potentiels seront validées par les présidents et les agents scientifiques concernés.
  • Nous avons convenu qu’environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, mais il reste encore quelques détails à régler en ce qui a trait au processus d’évaluation par les pairs. Il est important de mentionner que le passage à l’étape 2 dépendra des résultats fournis par les évaluateurs chevronnés qualifiés. Nous sommes conscients du malaise que suscite au sein de la communauté le fait que les demandes ne fassent pas toutes l’objet de discussions en personne, mais en raison du volume considérable de demandes attendues, nous avons conclu qu’il serait impossible de présenter toutes les demandes devant des comités réunis en personne. Sans compter que, même si la totalité des demandes était assignée à ces comités, de 50 à 60 % d’entre elles seraient écartées à l’étape de triage, sans discussion ni notes de l’agent scientifique. C’est pourquoi nous sommes d’accord avec la décision prise lors de la réunion de travail du 13 juillet : environ 40 % des demandes seront évaluées au cours de réunions en personne à Ottawa, notamment celles les mieux notées et celles dont les notes divergeaient considérablement. Il est important que les demandes jugées comme étant les plus prometteuses puissent faire l’objet d’une discussion détaillée pour garantir le financement des meilleurs projets. L’évaluation des autres demandes sera examinée attentivement par les présidents et les agents scientifiques. Les particularités concernant la façon de choisir les demandes faisant partie des premiers 40 % sont encore à l’étude.

Nous poursuivrons les discussions dans les prochaines semaines. Selon moi, le groupe de travail est en bonne voie de proposer un système d’évaluation par les pairs considérablement meilleur que celui utilisé lors du premier concours de subventions Projet, tout en apportant des changements positifs à l’évaluation par les pairs.

Un exemple de changement recommandé par le groupe de travail : intégrer entre les étapes 1 et 2 un mécanisme par lequel les candidats pourront réagir aux commentaires des évaluateurs. Pour les demandes passant à l’étape 2, le groupe de travail a proposé de donner aux candidats la possibilité de présenter une réponse d’une page aux commentaires des évaluateurs; celle-ci pourrait ensuite être utilisée dans le cadre des délibérations de l’étape 2. Ce mécanisme ne pourra pas être instauré à temps pour le concours d’automne, mais nous étudierons la possibilité de l’intégrer à celui du printemps 2017.

Si vous avez des préoccupations majeures ou des suggestions constructives concernant les recommandations présentées dans le tableau, n’hésitez pas à m’écrire pour m’en faire part. Je vais essayer de répondre à tous les courriels. Sachez que j’ai apporté à la réunion du 5 aout tous les messages que vous m’aviez envoyés et que j’ai résumé aux autres membres du groupe le contenu qui nous serait utile. Encore une fois, je vous remercie de vos commentaires, que nous avons tous accueillis avec joie.

Dr Paul Kubes
Président du groupe de travail sur l’évaluation par les pairs des IRSC

Date de modification :