Recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet des IRSC
14 septembre 2016
Résultat de la réunion de travail du 13 juillet | Recommandation du groupe de travail | Justification |
---|---|---|
Demandes | ||
Les candidats seront autorisés à présenter un maximum de deux demandes à chaque concours de subventions Projet. |
|
Cette décision vise à alléger le fardeau pour les évaluateurs (bien que la plupart des candidats n’aient présenté qu’une ou deux demandes, certains CPD en ont présenté plus, dont un qui en a présenté sept lors du dernier concours de subventions Projet). Cependant, nous savons que certains chercheurs peuvent avoir besoin de renouveler plus d’une subvention; nous avons donc trouvé qu’une limite de deux demandes par concours était raisonnable. |
Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui. |
|
Nous avons reçu beaucoup de rétroaction sur ce point : certains candidats ne voulaient aucun changement à la structure de la demande, car ils se croyaient sur le point d’obtenir du financement, tandis que d’autres voulaient jusqu’à 12 pages. Par ailleurs, d’autres pensaient qu’une demande de 12 pages représentait un changement trop radical, car le délai pour préparer une toute nouvelle demande n’est pas optimal. Il est aussi important de noter que beaucoup d’évaluateurs appréciaient les demandes courtes, mais croyaient néanmoins avoir besoin de plus d’information. Dans l’ensemble, une demande de 10 pages tient compte des besoins des évaluateurs et des candidats. Il est impossible d’ajouter des renseignements sur les congés au CVC dans sa forme actuelle, mais les candidats pourront télécharger un document PDF (nombre de pages illimité) comme supplément. Ils pourront y indiquer des renseignements pour une période équivalente aux congés pris dans les sept dernières années. (p. ex. congé parental, de deuil, médical ou administratif). Ainsi, un candidat qui a pris un congé de maternité ou parental d’un an au cours des sept dernières années pourra télécharger un document PDF détaillant un an de financement et de publications au-delà de la limite de sept ans. La rédaction d’une réfutation est un exercice intellectuel important, et le groupe a jugé bon de l’intégrer au processus du concours. |
Étape 1 | ||
Les présidents seront désormais jumelés à des agents scientifiques. Ils gèreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents. |
|
Le groupe de travail tient à ce que cette intervention humaine ait lieu tôt dans le processus pour garantir que chaque demande est assignée aux bons experts. En plus de menus déroulants de mots clés, le groupe de travail a recommandé que les candidats aient la possibilité d’utiliser une boite de texte « Autre » dans RechercheNet pour faire des recommandations quant aux types d’expertise nécessaires pour évaluer leur proposition et souligner des nuances propres à leur milieu de recherche, au besoin. Le groupe croit qu’il est important que les présidents et les agents scientifiques reçoivent ces renseignements dans le cadre du processus de jumelage de l’expertise afin de mieux évaluer la pertinence des jumelages entre les demandes et les évaluateurs. Remarque : Des directives seront ajoutées dans RechercheNet. |
Chaque demande fera l’objet de quatre ou cinq évaluations à la première étape. |
|
Les membres du groupe de travail ont beaucoup discuté et débattu du bienfondé d’avoir quatre évaluateurs plutôt que cinq, et ont même envisagé de faire descendre ce nombre à trois. Le groupe a toutefois conclu que trois évaluateurs ne suffiraient pas, étant donné la possibilité que l’un d’entre eux ne soumette pas son évaluation, auquel cas la demande ne recevrait que deux évaluations. L’assignation de quatre évaluateurs offre un équilibre entre la charge de travail des évaluateurs et la prise de décisions de haute qualité. Le groupe croit qu’il s’agit d’un nombre gérable – surtout si on tient compte des nouvelles mesures de supervision mises en place pour garantir une évaluation de qualité. |
Les candidats peuvent désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne peuvent participer à l’évaluation du bloc de demandes dont leur propre demande fait partie. |
|
Cette mesure permettra d’agrandir le bassin de pairs évaluateurs sans compromettre la qualité et l’équité. |
La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1. |
|
La discussion en ligne asynchrone a été retirée du processus du concours. |
Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet. |
|
Il a été convenu que le système alphabétique causait des problèmes, mais l’ancienne échelle de 0 à 4,9 avait aussi ses faiblesses. Le groupe de travail est arrivé à la conclusion qu’une échelle de 0 à 100 augmenterait la transparence et clarifierait le processus pour les intervenants, y compris le public et le milieu de la recherche. Il est également important que le public et la source de financement gouvernementale comprennent qu’il arrive que des candidats ayant des notes très élevées ne reçoivent pas de financement parce que les fonds sont limités. Une note de 4,3, par exemple, signifiait peu pour le public ou les fonctionnaires. Un certain nombre d’évaluateurs nous ont dit que le format d’évaluation structuré du dernier concours de subventions Projet les empêchait de fournir des commentaires cohérents. Les évaluateurs devront encore aborder les forces et les faiblesses de chaque demande, mais ils n’auront plus à le faire séparément, ce qui leur permettra de discuter plus librement de chaque demande. Les membres du groupe de travail ont convenu que la rédaction de résumés était importante pour les évaluateurs (qui démontrent ainsi qu’ils ont lu et compris la demande). |
Étape 2 : discussion en personne | ||
Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa. |
|
Nous sommes conscients du malaise que suscite au sein de la communauté le fait que les demandes ne fassent pas toutes l’objet de discussions en personne, mais en raison du volume considérable de demandes attendues, nous avons conclu qu’il serait impossible pour les comités réunis en personne de discuter de toutes les demandes. |
Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée. |
|
Il est important que les demandes jugées comme étant les plus prometteuses puissent faire l’objet d’une discussion détaillée lors d’une rencontre en personne pour garantir que les meilleurs projets sont financés. Le groupe de travail trouvait important de s’assurer que les subventions passent à l’étape suivante, qu’elles fassent partie des demandes les mieux classées dans un ou dans l’ensemble des blocs. Cela permettra aux IRSC d’évaluer laquelle des règles de passage à l’étape suivante conviendra le mieux pour décider des demandes dont on recommandera ultimement le financement. Nous recommandons que les IRSC analysent la capacité de prédiction du classement entre les blocs et dans les blocs sur le classement final ou le statut final. |
Les présidents travailleront avec les IRSC pour former des comités dynamiques, en fonction de la teneur des demandes qui passent à l’étape 2. |
|
Le groupe de travail a convenu que la mise sur pied de comités en fonction de chaque concours assurerait la flexibilité du modèle d’évaluation. Ses membres étaient à l’aise avec un modèle prévoyant la création d’environ 20 à 30 comités à l’étape 2, selon le volume de demandes de chaque concours. |
Les demandes qui passent à la réunion en personne de l’étape 2 seront évaluées par trois membres du comité. Un système de classement pour l’ensemble des comités réunis en personne sera établi afin de garantir que les demandes de la plus haute qualité continuent d’être financées. |
|
Afin de réduire au minimum le parti pris, le choix des deux évaluateurs par demande qui participent à l’étape 2 sera fait en fonction de l’expertise recherchée et non du résultat de l’évaluation de la demande à l’étape 1. En d’autres termes, le processus de sélection sera indépendant de la note attribuée à la demande par l’évaluateur. Nous croyons qu’il sera important d’informer les évaluateurs, dès qu’on leur propose leur rôle, qu’ils pourraient être choisis pour participer aux réunions en personne. De plus, les noms des évaluateurs à l’étape 1 et leur évaluation seront accessibles durant les réunions en personne. Selon nous, cette approche favorisera la responsabilisation de l’évaluateur au cours des deux étapes du processus. Le groupe de travail reconnait que certains membres du milieu de la recherche s’inquiètent du fait que les demandes risquent de ne pas être vues par suffisamment d’évaluateurs à la réunion et qu’il pourrait être désavantageux de faire participer seulement deux évaluateurs à l’étape 2. Toutefois, on s’attend à ce que les évaluateurs invités à l’étape suivante représentent tous les évaluateurs, et que le président et l’AS soient aussi appelés à jouer un rôle dans le processus. C’est pourquoi nous recommandons qu’après le cycle de subventions de l’automne, les IRSC analysent les décisions finales de financement par rapport au classement des quatre évaluateurs initiaux et des deux évaluateurs à l’étape des discussions en personne. La majorité des membres étaient d’avis que la façon la plus juste de procéder, compte tenu du financement disponible limité, était d’accorder la même proportion de subventions dans chaque bloc. À la suite des commentaires formulés par le conseil scientifique des IRSC, le groupe a aussi tenu compte du fait que les réunions en personne engendrent des dépenses et que d’inviter des évaluateurs seulement pour une ou deux demandes n’était pas prudent. |
Présidents, agents scientifiques et évaluateurs | ||
|
||
Recommandations supplémentaires | ||
|
- Date de modification :