Message du vice-président associé, Programmes de recherche – Opérations
Concours de subventions Projet du printemps 2020 : rétroaction
Comme vous le savez, les IRSC ont tenu en ligne, sur M S Teams, les rencontres des comités d'évaluation par les pairs pour le concours de subventions Projet du printemps 2020. Le concours s'est bien déroulé grâce au remarquable travail des présidents de comité, des agents scientifiques, des évaluateurs et du personnel des IRSC. C'était la première fois que les IRSC tenaient le concours de subventions Projet à distance (de façon reproduisant les conditions des rencontres en personne), et il est important de tirer des leçons de cette expérience pour le concours de l'automne 2020 et probablement aussi pour le concours du printemps 2021, dont l'évaluation se déroulera sans doute sous cette forme. Nous avons cherché à recréer autant que possible les conditions des rencontres de comité en personne, mais nous sommes conscients que certains de leurs avantages ne peuvent être reproduits.
Au terme des rencontres, les IRSC ont sondé les 1 229 évaluateurs, présidents de comité et agents scientifiques ayant participé au concours de subventions Projet du printemps 2020 afin d'avoir leur point de vue sur l'évaluation en mode virtuel. De ce nombre, 714 (58,1 %) ont répondu à l'appel, faisant part de leur niveau de satisfaction par rapport au concours ainsi que de leurs réflexions sur les différents processus.
Voici les résultats obtenus :
Quel est votre niveau de satisfaction par rapport au concours de subventions Projet du printemps 2020?
|
Très satisfait (%) |
Satisfait (%) |
Insatisfait (%) |
Très insatisfait (%) |
Sans objet (%) |
---|---|---|---|---|---|
Expérience générale |
|||||
Expérience comme pair évaluateur |
33,3 |
55,6 |
4,1 |
0,7 |
6,3 |
Clarté des instructions pour l'évaluation |
50,3 |
43,8 |
1,7 |
1,0 |
3,2 |
Préparation/formation (dans l'ensemble) |
43,7 |
50,7 |
2,9 |
0,7 |
2,0 |
Communications des IRSC |
55,2 |
40,1 |
3,6 |
1,0 |
0,1 |
Réponses du personnel des IRSC aux questions** |
72,7 |
22,8 |
1,8 |
0,8 |
1,8 |
Transparence du processus ayant mené aux décisions de financement |
34,2 |
51,0 |
7,8 |
1,4 |
5,6 |
Indemnités pour le soutien des personnes à charge et les frais connexes (le cas échéant) engagés en raison de votre participation au processus d'évaluation par les pairs des IRSC |
8,8 |
15,7 |
3,1 |
2,4 |
70,0 |
Satisfaction quant à la manière dont les réunions ont été présidées |
63,0 |
28,0 |
4,2 |
1,0 |
3,8 |
Qualité des résumés des agents scientifiques présentés à la réunion |
64,3 |
29,0 |
2,4 |
0,8 |
3,5 |
Gestion globale des conflits d'intérêts chez les évaluateurs |
65,6 |
28,9 |
1,8 |
1,4 |
2,4 |
Attention du comité aux questions d'équité, de diversité et d'inclusion dans l'évaluation des demandes* |
37,5 |
44,3 |
8,5 |
2,2 |
7,4 |
Expérience avec MS Teams |
|||||
Fonctionnalité de MS Teams à l'appui du processus virtuel d'évaluation par les pairs (dans l'ensemble) |
26,5 |
54,6 |
12,8 |
5,2 |
1,0 |
Clarté de la justification d'utiliser MS Teams plutôt qu'une autre plateforme |
24,9 |
45,8 |
17,8 |
6,6 |
4,9 |
Préparation/formation/matériel fourni par les IRSC pour l'utilisation de MS Teams* |
33,1 |
55,2 |
8,5 |
2,0 |
1,3 |
Capacité à discuter des demandes* |
39,5 |
44,1 |
11,9 |
2,9 |
1,5 |
Gestion des conflits d'intérêts dans MS Teams (p. ex. utilisation de la « salle d'attente ») |
50,1 |
38,8 |
3,8 |
1,8 |
5,5 |
Vote avec l'outil de notation électronique de RechercheNet à la réunion d'évaluation par les pairs* |
59,4 |
29,0 |
2,0 |
0,7 |
9,0 |
Durée des réunions |
33,6 |
51,1 |
11,1 |
2,0 |
2,2 |
Longueur des pauses |
23,1 |
41,7 |
24,8 |
5,6 |
4,8 |
* Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 pour cent.
La plupart des répondants se sont dits satisfaits du processus d'évaluation par les pairs dans le contexte de la pandémie de COVID-19. La vaste majorité (N = 683; 95,7 %) a exprimé la volonté de répéter l'expérience des évaluations virtuelles.
Les commentaires d'ordre qualitatif reçus soulignent le besoin de changements importants.
Les résultats en bref :
- On a exprimé une satisfaction globale (N = 666; 93,3 %) à l'égard de la qualité des résumés des agents scientifiques (notes des AS) fournis lors des rencontres, mais certains répondants ont noté que la qualité des notes n'était pas égale d'un comité à l'autre.
- Environ 10 % des répondants se sont dits insatisfaits du niveau d'attention que le comité a porté aux questions d'équité, de diversité et d'inclusion (EDI) dans l'évaluation des demandes. Certains évaluateurs, qui ne se souvenaient d'aucune mention des questions d'EDI aux réunions, ont suggéré que les IRSC mettent davantage l'accent sur celles-ci et uniformisent leur prise en compte.
- Les répondants se sont dits satisfaits du vote avec le tout nouvel outil de notation électronique de RechercheNet (N = 631 [88,4 %]; 9 % ont répondu « Sans objet »). Parmi ceux qui ont commenté l'utilisation de l'outil, beaucoup ont recommandé que les IRSC poursuivent son utilisation, ce qui est déjà prévu.
- Les commentaires variaient en ce qui a trait à la fréquence des pauses, mais, en général, on souhaitait que celles-ci soient prolongées. C'est particulièrement vrai pour les pauses du dîner, vu que les pauses de 15 minutes, déjà courtes, sont souvent raccourcies et ne permettent pas d'atténuer la fatigue causée par les écrans.
- De nombreux répondants ont eu l'impression, malgré les efforts des IRSC, que les rencontres se déroulaient de manière précipitée et ils déploraient les lacunes des évaluations virtuelles sur le plan de la communication interpersonnelle et des possibilités de réseautage. Des évaluateurs, particulièrement ceux devant s'acquitter de responsabilités familiales, ont dit apprécier la souplesse offerte par les évaluations à distance, leur évitant de se rendre à Ottawa.
Que vont faire les IRSC de cette rétroaction?
Merci à tous ceux qui se sont exprimés en répondant à ce sondage ou par d'autres moyens. Nous estimons que le fait de prendre connaissance de vos commentaires (et d'agir en conséquence) est indispensable à l'atteinte de notre objectif, soit d'être une organisation apprenante.
Dans cet esprit, les IRSC ont apporté quelques améliorations d'ordre technique aux rencontres d'évaluation pour le concours de subventions Projet de l'automne 2020, lesquelles entreront en vigueur cette semaine. Par ailleurs, il y aura davantage de souplesse pour ce qui est de l'heure du début des rencontres, et les pauses seront plus longues.
D'autres changements seront apportés pour corriger des points soulevés plus haut et pour améliorer d'autres aspects du Programme de subventions Projet, en commençant par le concours du printemps 2021. Nous reviendrons sur ces changements dans un prochain message.
Concours de subventions Projet du printemps 2021
Enfin, les IRSC souhaitent aussi répondre aux préoccupations du milieu concernant les effets qu'aura l'admissibilité des titulaires d'une subvention Fondation au concours de subventions Projet du printemps 2021 sur les taux de réussite et sur le profil démographique des candidats et candidates retenus. Sachez que les directeurs et directrices scientifiques ainsi que le personnel des IRSC se sont rencontrés souvent, au cours des derniers mois, afin d'examiner différents scénarios pour garantir à tous ceux et celles qui présentent leur candidature un accès équitable aux fonds du Programme de subventions Projet. Nous nous engageons à fournir plus de précisions à notre communauté dans les prochaines semaines, et tiendrons plusieurs webinaires « Demandez-nous n'importe quoi » à ce sujet.
Entretemps, n'hésitez pas à donner votre avis aux IRSC en communiquant avec le Centre de contact ou votre délégué universitaire. Le sondage n'était pas votre dernière occasion de transmettre à l'organisation vos commentaires, idées et suggestions en lien avec le concours de subventions Projet ou d'autres programmes, politiques ou processus.
Sincères salutations.
Adrian Mota
Vice-président associé, Programmes de recherche – Opérations
- Date de modification :