Concours pilote de subventions de Synthèse des connaissances de l'automne 2013 : Rapport final

Janvier 2015

Table des matières

Résumé
Introduction
Aperçu du concours
Méthodes
Résumé des résultats
Annexe 1 : Données démographiques des sondages
Annexe 2 : Résultats détaillés du sondage

Résumé

Les IRSC ont élaboré une nouvelle série de programmes ouverts et de nouveaux processus d'évaluation par les pairs qui comprennent un certain nombre d'éléments conceptuels novateurs. Afin de s'assurer que les nouveaux éléments sont appropriés et bien mis en œuvre, les IRSC les mettent à l'essai en utilisant des concours ouverts actuels, notamment le programme de Synthèse des connaissances. Les participants au projet pilote de Synthèse des connaissances de l'automne 2013 (administrateurs de recherche, candidats et évaluateurs) ont été sondés au terme de ce projet pilote afin de recueillir leurs commentaires concernant les nouveaux processus et éléments conceptuels. Les réponses ont été compilées et sont résumées ci-dessous.

Efficacité du processus de demande structurée

Les candidats et les administrateurs de recherche ont trouvé le formulaire de demande structurée assez facile à utiliser; cependant, ceux qui soumettaient à nouveau d'anciennes demandes ont eu de la difficulté à adapter leur demande au nouveau format. Plus de 50 % des candidats ont trouvé contraignante la limite de caractères dans la demande structurée; toutefois, la majorité des évaluateurs ont trouvé la limite de caractères appropriée, et certains candidats étaient arrivés à inclure des renseignements pertinents dans leur demande plus habilement que d'autres. Les évaluateurs ont trouvé que certaines sections du CV académique des IRSC utilisé pour ce concours n'étaient pas pertinentes, à savoir les Entrevues et relations avec les médias et les Services communautaires. Cette rétroaction sera prise en considération lors de l'élaboration du CV abrégé du volet Projet, qui remplacera désormais le CV académique des IRSC pour les projets pilotes et les concours du volet Projet.

Impact sur la charge de travail des évaluateurs

La majorité des évaluateurs de l'étape 1 ont trouvé la charge de travail acceptable, et les évaluateurs ont passé en moyenne moins de temps à lire et à évaluer une demande pour ce concours pilote que pour le concours de Synthèse des connaissances précédent (printemps 2013).

La majorité des évaluateurs de l'étape 2 ont trouvé que la charge de travail était raisonnable, et que le processus d'évaluation prenait moins de temps et qu'il était plus facile que dans les précédents concours. Les évaluateurs de l'étape 2 ont passé une journée (huit heures) en réunion en personne par rapport à une réunion de comité de trois jours pour les précédents concours.

Clarté des critères et de l'échelle de sélection

Les candidats comme les évaluateurs de l'étape 1 ont eu de la difficulté à faire la distinction entre « Qualité de l'idée » et « Importance de l'idée ». Un peu plus de 50 % des candidats ont convenu que les critères de sélection devraient avoir une pondération égale. Les autres candidats avaient tendance à considérer que la section Approche devrait compter plus que la qualité et l'importance de l'idée. Les évaluateurs de l'étape 1 ont trouvé que les descripteurs de l'échelle de sélection étaient clairs et utiles, et que l'échelle de sélection était suffisamment large pour que des différences significatives entre les demandes soient mises en évidence. La majorité des évaluateurs de l'étape 1 ont déclaré avoir utilisé l'ensemble des critères de sélection (A à E) pour l'évaluation des demandes; toutefois, moins de 25 % des évaluateurs de l'étape 2 étaient du même avis. Une analyse rapide du pourcentage des cotes de A à E qui ont été attribuées a montré que plus de 70 % des cotes étaient des A ou des B. Cela a compliqué le classement des demandes ayant sensiblement la même cote pour les évaluateurs de l'étape 2. Beaucoup de candidats et d'évaluateurs de l'étape 1 ont trouvé que les critères de sélection permettaient aux candidats de communiquer efficacement leur approche d'application des connaissances intégrée (ACI). Environ deux tiers des candidats ont trouvé qu'ils pouvaient communiquer leur approche d'application des connaissances intégrée aussi bien que lors des précédents concours.

Efficacité du processus d'évaluation structuré

Étape 1 – La majorité des évaluateurs étaient satisfaits de la feuille de travail de l'évaluateur, mais certains auraient aimé avoir plus d'espace pour écrire des commentaires, particulièrement dans la section Approche. Un peu plus de la moitié des évaluateurs ont lu les évaluations préliminaires faites par leurs pairs pour la même demande; toutefois, cette lecture n'a pas souvent influencé les évaluateurs au moment de faire leurs propres évaluations. Seulement le quart des évaluateurs ont pris part à une discussion en ligne. La principale raison donnée par ceux qui n'ont pas participé était que leurs évaluations n'avaient pas été terminées à temps. Environ 50 % des évaluateurs de l'étape 2 ont indiqué que les évaluateurs de l'étape 1 n'ont pas fourni assez de commentaires pour justifier les cotes attribuées, et que cela compliquait l'évaluation des demandes qui leur étaient assignées.

Étape 2 – Tous les évaluateurs ont consulté les demandes et les documents d'évaluation de l'étape 1, et ont indiqué qu'ils ressentaient le besoin d'utiliser les deux. Des évaluateurs se sont sentis mal à l'aise de devoir accepter un certain nombre de demandes alors qu'ils ne croyaient pas qu'elles devaient être financées (ou vice versa). D'autres pensaient au contraire que c'était approprié. La majorité des évaluateurs ont lu les commentaires et les décisions (d'accepter ou non) des autres évaluateurs; cela ne les a cependant pas souvent influencés au moment de faire leurs propres évaluations. La majorité des évaluateurs ont indiqué que la réunion de comité en personne était nécessaire, et que la discussion devrait principalement porter sur les demandes qui sont près du seuil de financement. Les évaluateurs ont trouvé les instructions données à la réunion utiles, et ont trouvé l'outil de vote convivial.

Expérience de RechercheNet

Les évaluateurs des étapes 1 et 2 ont trouvé RechercheNet convivial, et ont pu utiliser efficacement les nouveaux éléments intégrés à RechercheNet pour supporter les nouveaux éléments conceptuels. Des instructions supplémentaires pour les évaluateurs de l'étape 1 dans le guide d'évaluation par les pairs (p. ex. des instructions étape par étape) seraient utiles pour les prochains concours.

Satisfaction globale à l'égard de la structure du volet Projet

Dans l'ensemble, les évaluateurs des étapes 1 et 2 étaient satisfaits des nouveaux processus d'évaluation. La satisfaction des candidats sur de nombreux points dépendait généralement de leur taux de réussite au concours; ceux qui ont reçu du financement étaient les plus satisfaits, suivis de ceux qui n'ont pas reçu de financement, mais qui ont réussi à l'étape 1, et les candidats les moins satisfaits étaient ceux qui n'ont pas été retenus à l'étape 1.

Limites et orientations futures

Il faut aussi prendre en considération certaines limites de l'étude, en particulier la taille de l'échantillon. Le taux de réponse au sondage était élevé, mais le petit nombre de candidats (n = 75), d'administrateurs de recherche (n = 45) et d'évaluateurs (étape 1 : n = 49; étape 2 : n = 18) limite la fiabilité et la validité de l'analyse finale. À long terme, un échantillon beaucoup plus grand sera examiné dans les nouvelles études.

Dans l'ensemble, les résultats de l'étude révèlent qu'un bon nombre des éléments conceptuels élaborés pour le volet Projet et le volet Fondation ont été bien reçus par les administrateurs de recherche, les candidats et les évaluateurs du concours de Synthèse des connaissances de l'automne 2013. Plusieurs points à améliorer ont été notés par les participants à l'étude. Bon nombre de ces suggestions ont d'ailleurs déjà été prises en compte pour les études pilotes subséquentes.

Introduction

Le succès de la transition vers la nouvelle série de programmes ouverts et le nouveau processus d'évaluation par les pairs repose surtout sur la capacité des IRSC de mettre à l'essai efficacement et effisciemment la fonctionnalité des éléments conceptuels de l'évaluation par les pairs avant leur mise en œuvre complète. Ainsi, les IRSC mettront à l'essai les nouveaux éléments conceptuels (décrits dans le tableau 1 de la section Méthodes ci-dessous) afin de vérifier qu'ils fonctionnent bien, qu'ils permettent de bien présenter les aspects importants des demandes existantes (p. ex. application des connaissances intégrée), que le nouveau processus d'évaluation par les pairs est fiable et juste, et que les nouveaux processus de demande et d'évaluation réduisent à la fois le fardeau imposé aux candidat set aux évaluateurs. Les participants aux concours pilotes (administrateurs de recherche, candidats et évaluateurs) seront sondés à la fin de chacune des étapes des processus de demande et d'évaluation pour chaque concours.

Les résultats des sondages réalisés pour le concours de Synthèse des connaissances de 2013 sont décrits dans le présent rapport. À mesure que les projets pilotes seront terminés, les IRSC prévoient rendre les conclusions accessibles au milieu de la recherche afin de contribuer à l'ensemble de la littérature sur l'évaluation par les pairs et la conception de programmes.

La mise à l'essai des éléments conceptuels de l'évaluation par les pairs permettra aux IRSC d'ajuster et de peaufiner les systèmes et les processus afin de faciliter la tâche aux candidats et aux évaluateurs. Afin de déterminer les aspects à améliorer, les IRSC sondent les candidats, les établissements et les évaluateurs pour obtenir leurs commentaires.

Remarque : Il importe de noter que, durant les concours pilotes, les IRSC s'assureront que la qualité du processus d'évaluation par les pairs n'est pas compromise et que chaque demande fait l'objet d'une évaluation objective, transparente et de haute qualité.

Remarque : Les IRSC utilisent aussi des données issues de ce concours pilote pour analyser le comportement des évaluateurs, notamment en observant le nombre de fois où ils ont modifié leurs évaluations après avoir vu celles de leurs pairs, ont participé à une discussion en ligne asynchrone ou ont modifié le classement des demandes leur ayant été attribuées. Ces analyses sont effectuées séparément, et les résultats seront communiqués ultérieurement.

Aperçu du concours

Le programme de Synthèse des connaissances est un programme ouvert doté d'un élément d'application intégrée des connaissances. Le programme est conçu pour accélérer l'utilisation et l'application des connaissances synthétisées en matière de prise de décision : 1) en soutenant les partenariats entre les chercheurs et les utilisateurs des connaissances afin de produire des examens de la portée et des synthèses qui répondent aux besoins en information des utilisateurs des connaissances dans tous les domaines de la santé et 2) en étendant les avantages de la synthèse des connaissances à de nouvelles questions importantes pour les utilisateurs des connaissances et à des domaines de recherche qui ne font habituellement pas l'objet de synthèses.

Le programme de Synthèse des connaissances a été retenu pour ce pilote étant donné qu'il s'agit d'un programme de subventions de fonctionnement dont de nombreux éléments sont comparables à ceux du Programme ouvert de subventions de fonctionnement (POSF). De plus, il offre un environnement plus contrôlé, étant donné que le nombre de demandes et d'évaluateurs est plus restreint que dans le cas du POSF. Enfin, les demandes peuvent porter sur n'importe lequel des quatre thèmes de recherche des IRSC, soit la recherche biomédicale, la recherche clinique, la recherche sur les services et les politiques de santé, et la recherche sur la santé publique et la santé des populations. Pour ce concours, 79 demandes ont été évaluées par 49 évaluateurs à l'étape 1; les 39 meilleures demandes sont passées à l'étape 2, où elles ont été évaluées par 18 évaluateurs.

Méthodes

Renseignements sur le concours pilote

Dans ce premier concours pilote, un certain nombre d'éléments conceptuels du programme sont demeurés inchangés.Les éléments conceptuels mis à l'essai, présentés dans le tableau 1, sont classés dans l'une ou l'autre des deux grandes catégories suivantes :

objectifs et critères d'admissibilité du programme
processus d'assignation des demandes aux évaluateurs

**Tableau 1. Éléments conceptuels du volet Projet mis à l'essai dans ce concours pilote de Synthèse des connaissances**
Élément conceptuel	Objectifs	Description
Demande et évaluation structurées (nouveaux critères de sélection)	Harmoniser les données des demandes et les critères de sélection. Réduire le fardeau qui incombe aux candidats et aux évaluateurs. Vérifier si les subventions d'application des connaissances intégrée (ACi) peuvent être évaluées efficacement au moyen des critères de sélection proposés pour le volet Projet.	La demande au volet Projet a été structurée de sorte qu'elle corresponde aux critères de sélection. Les candidats ont répondu à chacun des critères de sélection dans une section précise de la demande ayant une limite de caractères. Pour chaque critère de sélection, les évaluateurs ont attribué une cote etfait une évaluation écrite pour ultimement classer les demandes qui leur avaient été attribuées.
Augmentation du nombre d'évaluateurs par demande (5 évaluateurs/ demande, tant à l'étape 1 qu'à l'étape 2)	Évaluer la possibilité d'attribuer de 10 à 20 demandes à chaque évaluateur, et d'affecter5 évaluateurs à chaque demande. Valider le processus de classement des demandes auprès d'évaluateurs à qui un petit nombre de demandes a été attribué.	Deux chercheurs et deux utilisateurs des connaissances ont été affectés à chaque demande. Le cinquième évaluateur a été affecté de façon aléatoire en fonction de son expertise.
Évaluation en plusieurs étapes	Valider le processus proposé. Surveiller tous les éléments d'évaluation du concept proposé et recueillir des données à leur sujet.	Étape 1 : Les évaluateurs ont effectué des évaluations préliminaires, ont discuté en ligne du mérite des demandes et ont classé les demandes qui leur avaient été attribuées. Étape 2 : Un comité multidisciplinaire formé de différents évaluateurs à l'étape 1 s'est réuni en personne pour recommander une liste de demandes admissibles au financement en regroupant les diverses évaluations de l'étape 1.
Évaluation à distance et discussion en ligne	Valider le processus proposé. Surveiller tous les éléments d'évaluation du concept proposé et recueillir des données à leur sujet.	Les évaluateurs ont d'abord livré leurs évaluations préliminaires; ils ont ensuite eu accès aux cotes, aux évaluations écrites et au classement des autres évaluateurs. Les évaluateurs ont discuté des demandes et des évaluations au moyen d'un outil de discussion en ligne asynchrone. À la fin de la période de discussion, les évaluateurs pouvaient modifier leurs évaluations.
Nouvelle échelle de cotation et nouveau système de classement	Déterminer si la nouvelle échelle de cotation et le nouveau système de classement rendent les décisions plus cohérentes. Déterminer si la cotation est un bon outil pour orienter le classement. Valider le processus proposé. Surveiller tous les éléments d'évaluation du concept proposé et recueillir des données à leur sujet.	Une échelle de sélection alphabétique en cinq points (ABCDE) a été utilisée pour évaluer chaque sous-critère. Une fois les évaluations terminées, les évaluateurs devaient confirmer ou modifier leur classement définitif.
Réunion en personne	Valider et mettre à l'essai les hypothèses de conception du processus proposé pour la réunion en personne à l'étape 2. Valider les demandes appartenant à la « zone verte » et à la « zone grise ».	Les membres d'un comité multidisciplinaire d'évaluateurs, différents des évaluateurs à l'étape 1, reçoivent chacun un ensemble de 10 à 20 demandes. Le comité reçoit une liste de classement de la moitié supérieure des demandes évaluées à l'étape 1. Avant la réunion, les évaluateurs doivent classer dans la catégorie « Oui » ou « Non »chacune des demandes leur ayant été attribuées. Les membres du comité discutent des demandes se trouvant près du seuil de financement pour formuler les recommandations finales quant aux demandes qui seront financées.

Remarque : La qualité des évaluations individuelles n'a pas été évaluée dans ce projet pilote.

Méthode de sondage

Les sondages visaient à évaluer la perception et l'expérience des participants relativement au processus d'évaluation par les pairs et aux éléments conceptuels mis à l'essai. Ils ont été conçus à l'aide du logiciel en ligne Fluid Surveys; quatre sondages correspondant à chacune des étapes du concours pilote ont été créés. Aux fins de la présente analyse, ils ont été divisés en quatre étapes :

Soumission des demandes
- Sondage auprès des candidats
- Sondage auprès des administrateurs de recherche
Étape 1 de l'évaluation
- Sondage auprès des évaluateurs à l'étape 1
Étape 2 de l'évaluation
- Sondage auprès des évaluateurs à l'étape 2
Réception des résultats du concours
- Sondage auprès des candidats

Les candidats et les administrateurs de recherche ont été sondés après la présentation des demandes aux IRSC. Ce premier sondage portait sur la perception et l'expérience des candidats à l'égard du nouveau processus de demande structurée, des nouveaux critères de sélection (les critères de sélection permettent-ils de présenter efficacement les éléments d'application des connaissances intégrée?) et du formulaire de demande structurée (les limites de caractères, notamment).

Les évaluateurs à l'étape 1 ont été sondés à la suite de la présentation de leurs évaluations aux IRSC. Ce sondage portait sur la perception et l'expérience des évaluateurs à l'égard du processus d'évaluation structurée à l'étape 1, de la charge de travail des évaluateurs, du formulaire de demande structurée (notamment la valeur des pièces jointes admissibles), de nouveaux critères de sélection (les éléments d'application des connaissances intégrée peuvent-ils être capturés efficacement à l'aide des critères de sélection?) et de différents éléments du processus d'évaluation à l'étape 1 (échelle de sélection, feuille de sélection, processus de cotation et de classement et discussion en ligne).

Les évaluateurs à l'étape 2 ont été sondés à la suite de la réunion en personne du comité. Ce sondage portait sur la perception et l'expérience des évaluateurs à l'égard de l'étape 2 du processus d'évaluation, de la charge de travail des évaluateurs, de la qualité des évaluations à l'étape 1, des activités préalables à la réunion (lecture des commentaires des évaluateurs et processus de catégorisation, notamment)et de divers aspects de la réunion en personne (validation de la liste de demandes, processus de vote et utilisation du seuil de financement).

Les candidats ont été sondés à nouveau après réception des résultats du concours. Ce dernier sondage portait sur leur perception et leur expérience quant au processus d'évaluation structurée (étape 1 et étape 2), la qualité des évaluations reçues, et leur satisfaction globale à l'égard du processus d'évaluation.

Les données présentées dans ce rapport comprennent les réponses de l'ensemble des sondages, terminés ou non.

Limites

Il est important de prendre note des limites de ce concours pilote.

Généralisation : Le programme de Synthèse des connaissances est un programme de subventions de fonctionnement; il existe toutefois certaines différences notables dans sa conception comparativement à celle des autres programmes ouverts de subventions (p. ex. le POSF). Notamment, le programme nécessite une approche axée sur les utilisateurs des connaissances et l'application des connaissances intégrée. En outre, la majorité des demandes reçues dans le cadre de ce programme correspondent aux thèmes 3 et 4. Ces divers facteurs pourraient limiter la généralisation des résultats.

Projet pilote non-aveugle : Les réponses aux sondages pourraient être influencées par le fait que les participants savaient qu'ils participaient à une expérience et que certains d'entre eux faisaient une demande de financement aux IRSC.

Taille de l'échantillon : Malgré le taux de réponse élevé aux sondages, et supérieur aux objectifs, le faible nombre de candidats, d'administrateurs de recherche et d'évaluateurs limitera l'analyse statistique possible. Avec le temps, un échantillon beaucoup plus vaste pourra être utilisé. Entre-temps, la petite taille de l'échantillon devrait être prise en compte en interprétant les résultats présentés.

Quoi qu'il en soit, les résultats du premier sondage sont positifs dans le contexte de ce concours. Les répondants ont indiqué un certain nombre d'aspects à améliorer, et plusieurs des améliorations suggérées ont été apportées dès les projets pilotes suivants.

Résumé des résultats

Les résultats de cette étude indiquent que dans l'ensemble, la majorité des candidats et des évaluateurs considèrent que les nouveaux processus de demande et d'évaluation par les pairsmis à l'essai sont équivalents aux processus actuels et/ou aussi satisfaisants. De plus, selon eux, de nombreuses modifications et mises à jour peuvent être apportées aux éléments conceptuels pour améliorer l'expérience des participants aux futurs concours pilotes en ce qui concerne le processus de demande ou d'évaluation.

Les résultats de ce concours pilote sont résumés dans les prochaines sections, qui traitent des aspects suivants :

l'efficacité du processus de demande structurée;
l'impact sur la charge de travail des évaluateurs;
la clarté des critères et de l'échelle de sélection;
l'efficacité du processus d'évaluation structurée;
l'expérience de RechercheNet;
la satisfaction globale à l'égard de la structure du volet Projet.

La description des participants (données démographiques sur les participants au sondage) figure à l'annexe 1. Les résultats détaillés du sondage sont présentés à l'annexe 2.

1. Efficacité du processus de demande structurée

La présente section porte sur l'expérience des candidats et des administrateurs de recherche quant au nouveau processus de demande structurée et aux éléments conceptuels du volet Projet.

Impression globale du nouveau processus de demande structurée

Globalement, une faible majorité de candidats ont trouvé le formulaire de demande structurée facile à utiliser. Selon une faible majorité de candidats et d'administrateurs de recherche, le formulaire de demande structurée est intuitif et facile à utiliser, et le processus de demande structurée est relativement satisfaisant (voir figure 1).

Les candidats et les administrateurs de recherche ont fait des commentaires sur le formulaire de demande structurée; bon nombre d'entre eux ont indiqué qu'il était facile à utiliser. Parmi les problèmes soulevés par les candidats, la demande structurée limiterait l'expression des idées et gênerait le fil narratifjugé essentiel par les candidats dans les propositions. Les limites quant au formatage dans RechercheNet seraient aussi un problème (voir tableau 1).

On a demandé aux répondants qui avaient déjà présenté une demande dans le cadre d'un concours de Synthèse des connaissances de comparer leur expérience avec le nouveau processus de demande structurée à leurs expériences passées (voir figure 2). Selon la majorité des répondants, la demande structurée représentait environ le même travail, mais les avis concernant la facilité d'utilisation étaient partagés. En effet, environ un tiers des candidats ont indiqué que le formulaire de demande structurée était plus facile à utiliser que le formulaire précédent, un autre tiers a indiqué que l'expérience demeurait la même, et le dernier tiers considérait que le nouveau formulaire était plus difficile à utiliser. Dans l'ensemble, les candidats ont trouvé le processus de présentation aussi satisfaisant que celui des concours précédents, voire meilleur, tandis que la majorité des administrateurs de recherche ont indiqué ne voir aucune différence par rapport aux concours précédents (voir figure 2).

Chez les candidats qui présentaient à nouveau une demande déjà présentée dans le cadre d'unconcours précédent de Synthèse des connaissances, le fait de devoir adapter la demande pour la faire cadrer dans les limites du formulaire de demande structurée constituait un problème important. La section « Approche » était particulièrement problématique, étant donné que l'espace accordé pour donner les mêmes renseignements concernant la méthodologie avait été considérablement réduit. La section « Budget » posait aussi problème : selon certains candidats, l'espace fourni était insuffisant pour justifier adéquatement les dépenses (voir tableau 2).

Limites de caractères dans le formulaire de demande structurée

Des limites de caractères ont été fixées dans chaque section du formulaire de demande structurée. On a demandé aux candidats d'indiquer si ces limites permettaient de répondre adéquatement à tous les critères de sélection. Plus de 50 % ont dit ne pas avoir assez d'espace pour donner tous les renseignements pertinents (voir figure 3A). Les réponses des candidats variaient grandement concernant le nombre limite de pages idéal; cependant, le total des réponses indiquées pour chacune des sections donnait en moyenne environ 11 pages, soit la même longueur que le formulaire précédent (voir figure 3B).

Au début, il y a eu confusion quant aux limites de caractères : de nombreux candidats ignoraient que celles-ci comprenaient les espaces, ce qui a engendré beaucoup de frustration. Les candidats se sont vus forcés de supprimer des caractères au moment d'insérer leur texte dans le formulaire de demande structurée dans RechercheNet. Dans l'ensemble, les candidats ont dit qu'ils s'accommoderaient des limites imposées dans la demande structurée, si les évaluateurs acceptaient eux aussi moins de détails dans la demande (voir tableau 3).

La grande majorité des évaluateurs à l'étape 1 étaient d'avis que les limites de caractères fixées dans le formulaire de demande structurée permettaient aux candidats de fournir tous les renseignements pertinents à la demande de subvention (voir figure 4). Il convient toutefois de souligner que dans leurs commentaires aux candidats, certains évaluateurs ont mentionné que leur demande n'était pas suffisamment détaillée. Il se pourrait donc que certains candidats ne soient pas arrivés à inclure des renseignements pertinents dans leur demande aussi habilement que d'autres, ou encore que les limites ne leur aient pas permis de fournir tous les détails auxquels s'attendaient les évaluateurs. Cette différence sera évaluée lors de prochains concours pilotes.

Utilité des pièces jointes admissiblespour lesévaluateurs à l'étape 1

Dans le nouveau formulaire de demande structurée, les candidats ne pouvaient joindre que certains éléments (figures, tableaux, références, CV, lettres de collaboration et lettres d'appui d'utilisateurs des connaissances ou de partenaires). Dans l'ensemble, toutes les pièces jointes admissible sont été jugées très utiles ou moyennement utiles par les évaluateurs (voir figure 5A). Certains évaluateurs étaient d'avis que les IRSC ne devraient imposer aucune limite quant au type de pièces jointes admissibles; d'autres ont indiqué que certaines pièces jointes concernant la méthodologie devraient être admissibles (stratégies de recherche, recherches pilotes, protocole d'évaluation, etc.) étant donné qu'il est difficile d'évaluer une demande de subvention de Synthèse des connaissances sans avoir accès à ces renseignements. Enfin, certains évaluateurs ont proposé de restreindre le nombre de lettres d'appui et d'accepter les plus pertinentes ou les plus éloquentes seulement pour réduire leur charge de travail (voir tableau 4).

Utilité du CV académique et du CV d'utilisateur des connaissances des IRSC

Les évaluateurs à l'étape 1 ont trouvé certains aspects du CV utiles lors de leurs évaluations, soitles sections sur les antécédents de financement, les publications, l'application des connaissances et de la technologie, les collaborations internationales et la présentation. La majorité des évaluateurs jugeaient appropriées les limites fixées dans le CV (voir figure 5B). Certain sont indiqué que le format uniforme des CV était utile, mais que la présentation gagnerait à être améliorée (voir tableau 5).

Difficultés éprouvées dans la demande structurée

Les candidats ont eu l'occasion d'informer les IRSC de problèmes non techniques survenus durant le processus de demande structurée. Seul le quart des candidats ont dit avoir eu des difficultés en remplissant leur demande (voir figure 6).

La plupart des difficultés avaient trait aux limites de caractères jugées trop contraignantes, en particulier par les candidats qui ignoraient que ces limites comprenaient les espaces (voir tableau 5). En outre, les candidats étaient d'avis qu'il devrait être possible d'intégrer des images dans le formulaire de demande structurée dans RechercheNet. De plus, ils ont mentionné certains problèmes de formatage dans le formulaire de demande structurée et le fichier PDF généré (absence de couleurs, disparition aléatoire d'espaces, soulignement trop foncé, etc.).

2. Impact sur la charge de travail des évaluateurs

Dans cette section, il sera question de l'expérience des évaluateurs concernant la charge de travail à l'étape 1 et à l'étape 2.

Charge de travail des évaluateurs à l'étape 1

Dans l'ensemble, la majorité des évaluateurs à l'étape 1ont indiqué que leur charge de travail était gérable ou difficile à gérer (voir figure 7A). Les évaluateurs devaient estimer le temps consacré à diverses activités d'évaluation; ces chiffres ont ensuite été comparés à ceux recueillis auprès des évaluateurs à la suite du concours de Synthèse des connaissances du printemps 2013 (voir figure 7B et tableau 6). Comparativement à ces derniers, les évaluateurs à l'étape 1 ont à la fois mis moins de temps à lire (1,53+/-0,14 heure pour les évaluateurs à l'étape 1, comparativement à 2,21+/-0,25 heures pour les évaluateurs du printemps 2013) et à évaluer par écrit une seule demande (0,95+/-0,12 heure pour les évaluateurs à l'étape 1 comparativement à 1,66+/-0,23 heure pour les évaluateurs du printemps 2013). Cette diminution du temps consacré à certaines activités d'évaluation est encourageante; elle sera suivie continuellement durant les concours pilotes du volet Projet. Aucun calcul n'a été fait pour étudier les différences significatives quant au temps nécessaire pour procéder à l'évaluation des demandes, et aucune comparaison n'a été faite quant à la charge de travail des évaluateurs et au nombre de demandes attribuées, étant donné que l'utilité et la comparabilité de ces données préliminaires sont encore limitées.

Parmi les évaluateurs qui avaient déjà évalué des demandes lors d'un concours de Synthèse des connaissances, un peu plus de 50 % ont indiqué que la charge de travail était moins élevée durant le concours pilote, et seulement 25 % considéraient qu'il y avait plus de travail (voir figure 7C). Comparativement à une expérience précédente d'évaluation, les évaluateurs ont trouvé que la saisie de l'information relative à l'évaluation dans Recherche Net et la recherche en ligne de renseignements supplémentaires sur les demandes représentaient environ le même temps de travail. En outre, cette cohorte d'évaluateurs trouvait qu'en moyenne, la lecture et l'évaluation par écrit des demandes étaient moins exigeantes.

Charge de travail des évaluateurs à l'étape 2

La majorité des évaluateurs à l'étape 2ont indiqué que leur charge de travail était légère ou gérable (voir figure 8A). Parmi les évaluateurs qui avaient évalué des demandes lors d'un concours précédent de Synthèse des connaissances, plus de 80 % ont indiqué que la charge de travail dans le concours pilote était moindre comparativement à un concours précédent (voir figure 8B). En la comparant à des expériences antérieures d'évaluation, les évaluateurs ont trouvé que l'étape 2 du processus d'évaluation était plus facile ou aussi facile que celle de concours précédents (voir figure 8C). De plus, comparativement aux concours précédents de Synthèse des connaissances, les évaluateurs ont trouvé les demandes plus concises et plus assimilables (voir tableaux 7 et 8).

En tenant seulement compte de la réunion en personne du comité, le temps consacré aux réunions comparativement aux concours précédents de Synthèse des connaissances était significativement moins long. C'est donc dire que les évaluateurs à l'étape 2 ont passé beaucoup moins de temps à discuter des demandes lors de la réunion en personne du comité que les évaluateurs qui ont participé au concours de Synthèse des connaissances du printemps 2013 (voir figure 8D). Cette diminution pourrait s'expliquer par la nouvelle étape 2 du processus d'évaluation, qui permet d'aborder à la réunion seulement les demandes se trouvant près du seuil de financement.

Les évaluateurs à l'étape 2 ont formulé de nombreuses suggestions sur l'étape 2 du processus d'évaluation, dont certaines pourraient contribuer à réduire davantage le fardeau des évaluateurs si elles étaient mises en œuvre. Les évaluateurs à l'étape 2 hésitaient à effectuer leur évaluation sans se référer à la demande, d'autant plus qu'ils ne connaissaient pas le parcours professionnel des évaluateurs à l'étape 1. Ils ont indiqué qu'ils pourraient se sentir moins obligés de consulter systématiquement les documents relatifs à la demande s'ils connaissaient l'identité des évaluateurs à l'étape 1. En fait, connaître le nom et le parcours de l'évaluateur à l'étape 1 pourrait atténuer la deuxième raison pour laquelle les évaluateurs à l'étape 2se sentaient contraints de consulter les documents relatifs à la demande, soit la qualité des évaluations à l'étape 1. En effet, de nombreux évaluateurs à l'étape 2ont indiqué que les commentaires reçus des évaluateurs à l'étape 1ne suffisaient souvent pas à justifier la cote attribuée (A-E) ou n'étaient pas vraiment utiles. Dans ces cas, la décision responsable des évaluateurs à l'étape 2consistait à réévaluer les documents relatifs à la demande, ce qui a prolongé leur temps d'évaluation. La qualité des évaluations écrites à l'étape 1 pourrait être améliorée si l'on indiquait aux évaluateurs à l'étape 1que la consignation des forces et des faiblesses liées à chaque critère de sélection vise principalement à justifier les cotes attribuées, et que ces justifications servent non seulement aux candidats, mais aussi aux évaluateurs à l'étape 2, qui ont pour tâche de consolider les cinq évaluations de chaque demande et de prendre une décision relative au financement en fonction de ces évaluations (voir tableaux 7, 8 et 19).

3. Clarté des critères et de l'échelle de sélection

Dans cette section, il sera question de l'expérience des évaluateurs relativement aux critères et à l'échelle de sélection des évaluateurs à l'étape 1 et à l'étape 2.

Critères de sélection

Les nouveaux critères de sélection comportent la difficulté suivante : la distinction entre les critères « Qualité de l'idée » et « Importance de l'idée » ne serait pas claire pour les candidats. Dans le sondage, on a demandé aux candidats et aux évaluateurs à l'étape 1 si la distinction entre les deux critères de sélection était évidente pour eux au moment de préparer ou d'évaluer les demandes. Environ la moitié des candidats sondés ont indiqué que la distinction n'était pas claire (voir figure 9). Les évaluateurs à l'étape 1 ont également eu du mal à faire la différence entre la qualité et l'importance de l'idée, et selon eux, il était évident qu'il en était de même pour les candidats, étant donné que l'information fournie aux évaluateurs dans les deux sections était semblable et répétitive. La principale suggestion formulée tant par les candidats que les évaluateurs consiste à combiner les deux critères. Certains évaluateur sont mentionné que le guide d'interprétation des critères était utile pour percevoir la distinction entre la qualité et l'importance de l'idée; d'autres ont toutefois indiqué que malgré l'utilité du document, les termes et formulations qu'on y trouve ne sont pas intuitifs, étant donné que les chevauchements sont nombreux dans les descriptions des deux critères (voir tableau 9).

Actuellement, les critères de sélection sont pondérés de façon égale (25 % par critère). Les évaluateurs à l'étape 1 ne s'entendaient pas pour dire si la pondération des critères de sélection devrait être égale. Lorsqu'on leur a demandé quelle serait la pondération idéale, la majorité des évaluateurs en désaccord avec la pondération actuelle ont fait valoir qu'il faudrait accorder une plus grande pondération à la section « Approche », aux dépens des sections « Qualité de l'idée » et « Importance de l'idée », alléguant surtout que si un projet n'est pas solide sur le plan méthodologique, l'idée derrière ce projet, aussi importante et intéressante soit-elle, ne sera pas convaincante, puisque le projet ne parviendra pas à répondre à la question (voir figure 10 et tableau 10).

Échelle de sélection

La majorité des évaluateurs à l'étape 1ont indiqué que les descripteurs de l'échelle de sélection (A-E) étaient compréhensibles et utiles. De plus, selon eux, l'échelle de sélection était suffisamment large pour que des différences significatives soient mises en évidence entre les demandes (voir figure 11).

On a demandé aux évaluateurs à l'étape 1 s'ils avaient eu recours à toute l'étendue de l'échelle de sélection (A-E). En majorité, ils ont indiqué l'avoir fait. Or, lorsqu'on a demandé aux évaluateurs à l'étape 2 si les évaluateurs à l'étape 1 avaient eu recours à toute l'étendue de l'échelle de sélection, moins de 25 % ont indiqué que c'était le cas (voir figure 12A). Il importe de noter que sur un total de 79 demandes, on a attribué les 39 meilleures aux évaluateurs à l'étape 2, ce qui a sans doute influé sur les réponses à cette question. Pour déterminer de façon empirique si toute l'étendue de l'échelle de sélection a été utilisée, nous avons fait le compte des cotes attribuées (A-E), puis calculé le pourcentage de chacune. La majorité des cotes attribuées (73,45 %) étaient dans le haut de l'échelle: soit 36,01% de A et 37,44 % de B (en moyenne dans l'ensemble des critères de sélection) (voir figure 12B).

L'usage des lettres A à E aurait un peu trop rappelé les cotes attribuées à l'école; les évaluateurs à l'étape 1ont d'ailleurs eu du mal à attribuer beaucoup de cotes inférieures à B. En effet, certains d'entre eux ont indiqué avoir eu de la difficulté à recourir à la moitié inférieure de l'échelle, soit parce que les demandes ne répondaient pas aux critères des cotes C, D ou E, soit parce que les critères ne permettaient pas de rendre compte de différences plus subtiles entre les demandes (il existe cinq critères : les évaluateurs considèrent donc que des écarts de 20 % les séparent, ce qui est trop grand pour tenir compte de différences plus subtiles). En revanche, selon certains évaluateurs, l'échelle pourrait être raccourcie d'une ou deux lettres, par exemple ABC ou ABCD. D'autres ont indiqué qu'il était difficile de faire la distinction entre les différentes lettres, puisqu'elles ne faisaient pas référence aux critères de sélection. Dans le cas présent, il se pourrait que les évaluateurs aient avantage à ce qu'on leur présente des exemples de situations dans lesquelles les différentes cotes devraient être attribuées (voir tableau 11).

L'attribution de cotes pour chaque critère de sélection vise notamment à orienter le processus de classement. C'est pourquoi il est important que les évaluateurs à l'étape 1soient en mesure de comparer efficacement la qualité des différentes demandes. Dans d'autres commentaires, les évaluateurs à l'étape 1 et à l'étape 2 ont suggéré qu'il pourrait être avantageux de subdiviser le haut de l'échelle (p. ex. entre les cotes A et B). Ils ont aussi proposé de changer les lettres, et même d'éviter complètement d'utiliser des cotes alphabétiques .Les IRSC prendront ces suggestions en considération en prévision des concours à venir (voir tableau 11).

Application des connaissances intégrée

Un élément important de ce concours pilote consistait à s'assurer que le nouveau processus de demande structurée et les nouveaux critères de sélection permettraient de présenter adéquatement les éléments essentiels d'une approche d'application des connaissances intégrée.

Une faible majorité de candidats ont indiqué que, globalement, les critères de sélection leur avaient permis de présenter adéquatement dans la demande structurée leur approche d'application des connaissances intégrée (voir figure 14A). Environ le tiers des candidats qui avaient déjà présenté une demande dans le cadre d'un concours de Synthèse des connaissances ont indiqué que les critères de sélection et la demande structurée compliquaient l'inclusion de l'approche d'application des connaissances intégrée; toutefois, selon les deux tiers d'entre eux, l'inclusion de l'approche dans leurs demandes structurées était semblable, voire plus facile (voir figure 14B).

Les candidats ont fait part de certaines préoccupations concernant l'application des connaissances (AC) : en effet, l'endroit où présenter les renseignements à ce sujet n'était pas clair, et il manquait d'espace dans les différentes sections de la demande structurée pour présenter l'approche d'AC. De nombreux candidats ont suggéré qu'une section distincte sur l'approche d'AC intégrée soit créée dans la demande structurée. Il importe aussi de souligner que certains candidats ont eu l'impression que l'AC était devenue moins importante pour les IRSC, étant donné que les renseignements concernant l'approche d'AC étaient dissimulés dans le formulaire de demande structurée (voir tableau 12).

La majorité des évaluateurs étaient d'avis que l'information fournie par les candidats suffisait à évaluer l'approche d'AC intégrée et que les critères de sélection permettaient aux évaluateurs d'évaluer adéquatement cette dernière (voir figure 15A). La majorité des évaluateurs qui avaient déjà évalué des demandes dans le cadre d'un concours de Synthèse des connaissances ont indiqué que la feuille de sélection, les critères de sélection et l'information fournie par les candidats dans la demande structurée n'avaient eu aucune incidence sur l'évaluation de l'approche d'AC intégrée et la formulation de commentaires aux candidats à ce sujet, ou avaient simplifié le processus (voir figure 15B). Certains évaluateurs auraient aimé qu'une section distincte soit réservée à l'AC, étant donné que cette information pouvait être présentée dans plusieurs sections de la demande ou des critères de sélection, ce qui leur a compliqué la tâche (voir tableau 13).

4. Efficacité du processus d'évaluation structurée

Dans cette section, il sera question de l'expérience des évaluateurs à l'étape 1 et à l'étape 2 quant au nouveau processus d'évaluation structurée et aux éléments conceptuels du volet Projet.

Étape 1 de l'évaluation

Feuille de sélection

Pour chacune des sections de la demande, les évaluateurs à l'étape 1 devaient attribuer une cote, indiquer les forces et les faiblesses, et justifier la cote attribuée à l'aide de la feuille de sélection dans RechercheNet. Les évaluateurs à l'étape 1 ont, dans l'ensemble, trouvé la feuille de sélection conviviale (voir figure 16A). Les IRSC ont fixé une limite de caractères dans celle-ci (1 750 caractères pour les forces et 1 750 caractères pour les faiblesses dans chaque section). La majorité des évaluateurs ont indiqué que cette limite était suffisante pour faire aux candidats des commentaires adéquats (voir figure 16B); cependant, selon les autres, jusqu'à trois pages devraient être allouées pour rédiger les commentaires relatifs à la section « Approche », jugée particulièrement problématique (voir figure 16C et tableau 14). En fait, certains évaluateurs ont dû se servir d'autres sections où ils n'avaient pas atteint la limite de caractères (p. ex. la section « Budget ») pour compléter les commentaires sur la section « Approche ». Certains évaluateurs ont trouvé difficile et répétitif de devoir indiquer les forces et les faiblesses liées à chaque critère; ils auraient préféré donner une justification pour chaque cote, puis une appréciation globale des forces et des faiblesses de la demande dans son ensemble. De plus, selon certains évaluateurs, leurs commentaires ne devraient faire l'objet d'aucune limite de caractères. D'autres, plus nuancés, ont proposé le recours à une limite globale de caractères pour l'ensemble des sections (plutôt qu'une limite par section), étant donné qu'il se pourrait qu'une section nécessite plus de commentaires qu'une autre (voir tableau 15).

Lecture des évaluations préliminaires

Étant donné que les évaluateurs à l'étape 1 ne se rencontrent pas en personne, les IRSC ont mis en place un processus leur permettant de lire les évaluations préliminaires des autres évaluateurs travaillant sur la même demande. Ce sont moins de 50 % des évaluateurs qui l'ont fait (voir figure 17A) et, souvent, le fait de lire les évaluations préliminaires ne les a pas influencés dans leurs propres évaluations (voir figure 17B). La majorité des évaluateurs ont indiqué ne pas avoir lu les évaluations préliminaires parce qu'ils n'avaient pas eu le temps de le faire ou parce qu'elles n'avaient pas été soumises à temps aux IRSC (voir tableau 16). D'autres évaluateurs ont indiqué ne pas vouloir être influencés par leurs pairs ou encore ne pas savoir comment accéder à ces évaluations préliminaires. Les évaluateurs qui ont lu les évaluations préliminaires d'autres évaluateurs y ont consacré jusqu'à deux heures.

Discussion en ligne

Étant donné qu'il n'y a aucune réunion en personne pour les évaluateurs à l'étape 1, les IRSC ont mis en place un outil de discussion en ligne asynchrone permettant aux évaluateurs de communiquer avec leurs pairs évaluant la même demande. Ce sont environ 25 % des évaluateurs qui ont pris part à une discussion en ligne (voir figure 18A). Les principales raisons évoquées par les évaluateurs n'ayant pas pris part aux discussions sont les suivantes : les évaluations n'avaient pas été terminées à temps, ils n'avaient pas le temps, aucune discussion n'avait été initiée, ou encore il n'y avait aucun sujet de discussion à aborder (voir figure 18B et tableau 17).

Sur les dix évaluateurs qui ont pris part à une discussion en ligne, sept les ont engagées (voir figure 19A). De ce nombre, trois discussions ont été amorcées pour discuter d'écarts entre les cotes, trois autres pour vérifier la qualité d'évaluations, et la dernière, à des fins de précision du contenu (voir figure 19B). Les évaluateurs à l'étape 1 ont indiqué qu'un président virtuel ou les évaluateurs (à leur discrétion) devaient amorcer la discussion en ligne (voir figure 19C), et que des critères précis devraient être utilisés pour décider quand une discussion en ligne doit avoir lieu (voir figure 19D). La plupart des évaluateurs croient qu'une discussion en ligne doit être créée lorsqu'il y a des écarts importants entre les cotes ou les commentaires (voir tableau 18).

Selon les évaluateurs qui ont pris part à une discussion en ligne, leur contribution n'avait eu aucune incidence sur l'évaluation des autres évaluateurs; or, plus de 50 % ont indiqué que leurs discussions en ligne avec d'autres évaluateurs avaient souvent ou occasionnellement influé sur leurs propres évaluations (voir figure 20).

Évaluations de l'étape 1 (par les évaluateurs à l'étape 2)

À l'étape 2 du processus d'évaluation, les évaluateurs doivent lire les cotes attribuées et les commentaires formulés par les évaluateurs à l'étape 1, puis consolider ces cinq évaluations. Pour ce faire, il est primordial que les documents liés à l'étape 1 de l'évaluation soient de grande qualité.

Durant ce concours, 100 % des évaluateurs ont consulté les demandes et les évaluations de l'étape 1 de chacune des demandes leur étant attribuées (voir figure 22A). Moins de 50 % des évaluateurs ont trouvé que les évaluateurs à l'étape 1 avaient fourni des justifications claires pour appuyer les cotes qu'ils avaient attribuées (voir figure 21). Cette statistique est préoccupante, étant donné que les évaluateurs à l'étape 2 se sentiront obligés de continuer à examiner les demandes en plus des évaluations de l'étape 1 tant que leur qualité ne se sera pas considérablement améliorée. C'est probablement pourquoi selon plus de 50 % des évaluateurs à l'étape 2, il est essentiel de lire tant la demande que les évaluations de l'étape 1 pour évaluer adéquatement une demande (voir figure 22B). La majorité des critiques formulées par les évaluateurs à l'étape 2 portaient sur les justifications insuffisantes des évaluateurs à l'étape 1 quant aux cotes qu'ils avaient attribuées (comme s'ils ignoraient que d'autres évaluateurs se baseraient sur leurs commentaires pour faire des recommandations relatives au financement) et le fait que les évaluateurs à l'étape 1 n'ont pas recouru à toute l'étendue de l'échelle de sélection, ce qui a compliqué l'interprétation de différences subtiles entre les demandes (voir tableau 19).

Étape 2 de l'évaluation

Examendes évaluations de l'étape 1

Lors du concours de Synthèse des connaissances de l'automne 2013, chaque évaluateur à l'étape 2 a reçu 12 ou 13 demandes à évaluer. Comme il a été mentionné précédemment, chacun devait lire les évaluations de l'étape 1 pour faire des recommandations relatives au financement. En outre, chacun avait accès aux documents relatifs à la demande et pouvait consulter les demandes au besoin. Résultat intéressant issu du concours pilote : les évaluateurs à l'étape 2 étaient très réticents à prendre des décisions concernant les demandes qu'on leur avait attribuées sans consulter eux-mêmes les demandes. En effet, l'ensemble des évaluateurs à l'étape 2 a consulté les demandes en plus des évaluations de l'étape 1 (voir figure 22A). De surcroît, plus de 50 % des évaluateurs à l'étape 2 croyaient qu'ils devaient lire les documents relatifs à la demande et les évaluations de l'étape 1 (voir figure 22B).

Il est concevable que les évaluateurs à l'étape 2 ne se sentent pas à l'aise de se fier uniquement aux évaluations de l'étape 1 pour prendre leurs décisions. Par ailleurs, ces évaluateurs ont dit qu'il en serait autrement s'ils savaient en quoi consistent la formation et l'expérience des évaluateurs (voir tableau 19). La communication de cette information et le recours à d'autres méthodes visant à faciliter la transition vers le nouveau processus d'évaluation pour les évaluateurs à l'étape 2 seront envisagés dans le cadre de futurs concours pilotes.

Afin d'assurer le bon déroulement du nouveau processus, les évaluations à l'étape 1 doivent toujours être d'une grande qualité. Pour ce faire, les évaluateurs à l'étape 1 doivent clairement justifier les cotes qu'ils attribuent, faire référence aux parties pertinentes de la demande et indiquer s'ils sont réticents à évaluer certains aspects d'une demande en raison de connaissances insuffisantes. Ainsi, les évaluateurs à l'étape 2 pourront prendre des décisions éclairées quant à la qualité globale de chaque demande. Comme il est mentionné dans la section précédente, de nombreux évaluateurs à l'étape 2 ont trouvé que les commentaires de leurs pairs à l'étape 1 étaient très peu nombreux ou ne suffisaient pas pour justifier les cotes attribuées. En outre, comme l'échelle de sélection n'a pas été utilisée dans toute son étendue par les évaluateurs à l'étape 1, de nombreuses demandes ont obtenu la cote A ou B, ce qui fait qu'il était très difficile de différencier les demandes de grande qualité et de qualité moyenne (voir tableau 19). Il a déjà été question des méthodes qui permettraient à la fois d'améliorer la qualité des commentaires des évaluateurs à l'étape 1 et d'encourager ces derniers à recourir à toute l'étendue de l'échelle de sélection; comme nous pouvons le constater, ces méthodes sont essentielles à l'efficacité de l'étape 2 du processus d'évaluation.

Processus de catégorisation

L'opinion des évaluateurs à l'étape 2 sur le nombre prédéterminé dedemandes acceptées ou refusées (oui/non) du processus de catégorisation était également divisée (voir figure 23). Selon certains évaluateurs, il est trop tôt pour déterminer le nombre approprié; toutefois, de nombreux évaluateurs ont suggéré qu'il serait plus pertinent de leur imposer une étendue à respecter (oui/non) plutôt qu'un nombre absolu (voir tableau 20). Il est important de noter que le nombre de demandes acceptées ou refusées (oui/non) imposé aux évaluateurs est limité en fonction des fonds disponibles pour le concours.

Commentaires des évaluateurs préalables à la réunion

Les commentaires préalables à la réunion qui sont soumis aux IRSC sont mis à la disposition des autres évaluateurs à l'étape 2 afin qu'ils puissent les lire pour se préparer à la réunion en personne. La majorité des évaluateurs les ont lus (voir figure 24A); par contre, la plupart ont indiqué que de lire les commentaires et/ou de voir les décisions de catégorisation prises par les autres évaluateurs n'avait pas souvent influencé leurs propres évaluations (voir figure 24B). La principale raison invoquée par ceux qui n'ont pas lu les commentaires préalables à la réunion est qu'ils ignoraient qu'ils y avaient accès. En moyenne, les évaluateurs ont passé d'une à deux heures à lire les commentaires des autres évaluateurs (voir figure 24C). De plus, selon l'ensemble des évaluateurs, la limite de caractères fixée pour les commentaires préalables à la réunion était adéquate (voir figure 24D).

Réunion en personne

Selon la majorité des évaluateurs à l'étape 2, la réunion en personne est nécessaire dans le cadre du nouveau processus d'évaluation (voir figure 25); certains ont toutefois indiqué qu'à long terme, elle ne le serait peut-être plus (voir tableau 21). Certains évaluateurs se sentaient tiraillés : bien qu'ils comprennent l'utilité de la réunion en personne, ils ont du mal à justifier les investissements en temps et en argent nécessaires pour une réunion d'une journée. Dans l'ensemble, les évaluateurs se sont dits très satisfaits des instructions fournies lors de la réunion et de la façon dont les conflits y avaient été gérés (voir figure 25).

Lors de la réunion en personne, les évaluateurs à l'étape 2 reçoivent des demandes qui ont été classées dans l'un des trois groupes suivants à l'issue du processus de catégorisation : groupe A (demandes à financer sans faire l'objet d'une discussion à la réunion), groupe B (demandes dont il faut discuter à la réunion) et groupe C (demandes qui ne seront pas financées et ne seront pas abordées à la réunion). La première tâche des évaluateurs à la réunion consistait à vérifier si les demandes avaient été classées dans le bon groupe et à faire des changements au besoin. La majorité des évaluateurs ont convenu qu'il était approprié d'axer les discussions à la réunion sur les demandes du groupe B (voir figure 26), étant donné que cette approche donnait plus de temps pour discuter des demandes fortement susceptibles d'être financées; toutefois, certains ont aussi indiqué que le nombre de demandes du groupe B devrait être plus élevé (voir tableau 22). Les évaluateurs ont aussi convenu que le processus de transfert des demandes d'un groupe à l'autre était clair et efficace (voir figure 26). Certains ont suggéré le recours à une forme de calibrage quelconque avant de procéder au transfert de demandes (voir tableau 22).

À l'aide d'un outil de vote, les évaluateurs ont indiqué s'ils croyaient que les demandes devraient être classées dans un groupe différent. Tous les évaluateurs ont convenu que l'outil de vote était convivial et efficace, et la majorité a trouvé que les indications sur l'outil de vote étaient claires (voir figure 27). Certains évaluateurs ont mentionné avoir trouvé l'essai de l'outil très utile.

Pour aider les évaluateurs à orienter leurs discussions, un seuil de financement a été ajouté à la liste de demandes. La majorité des évaluateurs (plus de 80 %) s'entendaient pour dire que le seuil de financement les avait effectivement aidés à orienter leurs discussions (voir figure 28).

5. Expérience de RechercheNet

Dans cette section, il sera question de l'expérience de RechercheNet des évaluateurs à l'étape 1 et à l'étape 2.

Étape 1 du processus d'évaluation et utilisation de RechercheNet

Dans l'ensemble, les évaluateurs à l'étape 1 ont trouvé RechercheNet convivial et facile à utiliser (voir figure 29) : les processus de classement et de reclassement étaient clairs et faciles à utiliser dans RechercheNet, tout comme le processus servant à départager les demandes ex æquo. Des évaluateurs ont signalé que, dans RechercheNet, l'ajout d'une fonctionnalité d'enregistrement automatique et l'affichage de l'échelle de sélection au haut et au bas des formulaires qu'ils remplissent seraient fort utiles. En outre, selon de nombreux évaluateurs, les liens vers les ressources devraient être plus faciles à repérer et se trouver en un seul et même endroit. Il a été suggéré de présenter les liens vers toutes les ressources dans une barre latérale qui serait affichée sur toutes les pages (voir tableau 23).

Selon les évaluateurs, les instructions dansRechercheNet étaient claires, et il y avait suffisamment de renseignements pour qu'ils soient en mesure de signaler les conflits avec exactitude (voir figure 29). Certains ont suggéré que les instructions soient affichées sur plusieurs pages à titre de rappel durant le processus d'évaluation. En outre, plusieurs évaluateurs ont mentionné qu'il n'était pas évident d'après les instructions données qu'il fallait indiquer les forces et les faiblesses liées à chaque critère de sélection (voir tableau 23).

Étape 2 du processus d'évaluation et utilisation de RechercheNet

Dans l'ensemble, les évaluateurs à l'étape 2 ont trouvé que RechercheNet était convivial; ils ont de plus mentionné que leur processus d'évaluation à l'aide de ce système avait été efficace (voir figure 30). Le processus de catégorisation des demandes dans RechercheNet était clair et simple à suivre. Les évaluateurs ont mentionné qu'ils auraient aimé pouvoir télécharger les documents relatifs à l'évaluation et à la demande au même endroit. De plus, ils étaient nombreux à dire qu'il devrait être possible de consulter plusieurs écrans à la fois dans RechercheNet afin d'éviter de devoir constamment naviguer d'une page à l'autre. Les évaluateurs auraient aussi aimé pouvoir consulter la liste de candidats par ordre décroissant de cote plutôt qu'en ordre alphabétique. En outre, afin de réduire le fardeau des évaluateurs à l'étape 2, il a été suggéré que les commentaires des évaluateurs à l'étape 1 soient réunis de sorte que tous les commentaires relatifs à la qualité de l'idée, par exemple, se trouvent au même endroit dans le document (voir tableau 24).

Selon les évaluateurs, les instructions dansRechercheNet étaient claires, et il y avait suffisamment de renseignements dans RechercheNet pour qu'ils soient en mesure de signaler les conflits avec exactitude (voir figure 30). Certains ont souligné que les limites de caractères imposées aux évaluateurs à l'étape 2 n'étaient pas précisées dans les instructions. Certains ont aussi demandé que les instructions relatives à la catégorisation (et plus particulièrement les quotas de demandes à accepter [oui] et à refuser [non]) soient indiquées dans RechercheNet à titre de rappel. En outre, certains évaluateurs croyaient qu'il est important de connaître le processus d'évaluation à l'étape 1 et de savoir comment les IRSC ont décidé des demandes qui passeraient à l'étape 2 (voir tableau 24).

6. Satisfaction globale à l'égard de la structure du volet Projet

Dans cette section, il sera question de la satisfaction globale des candidats et des évaluateurs (étape 1 et étape 2) à l'égard du nouveau processus et des éléments conceptuels du volet Projet.

Satisfaction des évaluateurs à l'égard de l'étape 1 du processus d'évaluation

La majorité des évaluateurs à l'étape 1 se sont dits satisfaits du nouveau processus d'évaluation structurée (voir figure 31). Ils ont néanmoins indiqué qu'il serait possible d'améliorer le processus si les IRSC veillaient à ce que les évaluateurs soumettent leurs évaluations dans des délais raisonnables. De plus, certains étaient d'avis que les instructions devraient être améliorées, et que les IRSC pourraient y arriver en donnant des instructions étape par étape aux évaluateurs à l'étape 1. Certains évaluateurs ont aussi suggéré qu'il soit possible de consulter simultanément plusieurs demandes dans RechercheNet, une fonctionnalité qui leur serait extrêmement utile (voir tableau 25).

Satisfaction des évaluateurs à l'égard de l'étape 2 du processus d'évaluation

Plus de 90 % des évaluateurs à l'étape 2 se sont dits satisfaits de l'étape 2 du processus d'évaluation (voir figure 32). De nombreux évaluateurs ont dit avoir aimé participer au nouveau processus d'évaluation; ils l'ont trouvé bien pensé, juste, et plus efficace que le processus actuel d'évaluation par les pairs : dans l'ensemble, une amélioration par rapport au processus actuel (voir tableau 26). Certains évaluateurs ont suggéré que les documents relatifs à la demande et les documents des évaluateurs à l'étape 1 puissent être consultés à l'endroit où ils saisissent les renseignements à l'étape 2. Certains évaluateurs à l'étape 2 ne comprenaient pas tout à fait les critères d'évaluation qu'ils devaient respecter et ont souligné qu'il serait important de leur fournir un document à ce sujet. De nombreux commentaires portaient sur les évaluations à l'étape 1, précisant notamment qu'il aurait été utile de connaître la formation et l'expérience des évaluateurs à l'étape 1, et que la qualité des commentaires des évaluateurs à l'étape 1 devait être améliorée de façon significative (voir tableau 26).

Satisfaction des candidats à l'égard du processus d'évaluation

Les réponses des candidats ont été classées en trois groupes : les candidats qui ont été retenus (retenus), les candidats dont les demandes sont passées à l'étape 2 mais n'ont pas été retenues (non retenus après l'étape 2), et les candidats non retenus à la suite de l'étape 1 (non retenus).

Selon la majorité des candidats non retenus après l'étape 2 et des candidats retenus, les évaluations de leur demande étaient cohérentes : les cotes attribuées et les justifications à l'appui correspondaient (voir figure 33A). Plus de 50 % des candidats dont les demandes ne sont pas passées à l'étape 2 ont mentionné que les évaluations reçues n'étaient pas cohérentes (voir figure 33A). Certains candidats ont même dit s'interroger sur la validité du nouveau processus d'évaluation par les pairs, compte tenu de la grande variabilité observée d'un évaluateur à l'autre. Plusieurs candidats ont indiqué dans leurs commentaires que les cotes ne correspondaient pas aux justifications, ou que lorsqu'elles y correspondaient, qu'elles ne correspondaient pas au classement (voir tableau 27).

Certains candidats trouvaient que les commentaires reçus des évaluateurs n'étaient pas constructifs et étaient même trop négatifs ou critiques, si bien que certains se sont demandé si les évaluateurs à l'étape 1 savaient que leurs commentaires leur seraient transmis (voir figure 33B et tableau 28). La majorité des candidats ont indiqué que le processus d'évaluation structurée était bénéfique, car une cote et des commentaires justificatifs sont fournis pour chaque critère de sélection (voir figure 33C). Toutefois, les candidats ont soutenu que certains évaluateurs ont donné très peu de commentaires justifiant de leurs cotes, et il était difficile pour les candidats de savoir quelles suggestions ils devraient suivre parmi celles formulées, étant donné que certains évaluateurs avaient des points de vue divergents (voir tableau 29).

La majorité des candidats retenus étaient d'avis que le processus d'évaluation structurée était juste et transparent (voir figure 33D). Près de la moitié des candidats non retenus après l'étape 2 ont indiqué que le processus d'évaluation était juste et transparent; le tiers n'était ni en accord, ni en désaccord. Un peu plus du tiers des candidats non retenus ont dit ne pas croire que le processus d'évaluation était juste ou transparent; cependant, plus de 50 % des candidats non retenus étaient d'avis que le processus d'évaluation était juste ou étaient neutres à ce sujet. Les candidats aimeraient vraiment savoir comment les cinq évaluations sont pondérées et comment les IRSC gèrent les évaluations divergentes des autres (voir tableau 30).

Les candidats ont indiqué leur degré de satisfaction relativement à divers aspects du processus d'évaluation et à l'expérience globale d'évaluation (voir figure 34). Ceux qui ont été retenus ont indiqué un degré de satisfaction élevé quant à la cohérence des commentaires dans l'évaluation par les pairs. Sans surprise, ce degré de satisfaction est moins élevé chez les candidats dont les demandes sont passées à l'étape 2, mais qui n'ont pas été retenus, et encore moins chez les candidats qui n'ont pas été retenus à l'issue de l'étape 1 (voir figure 34A). Tant les candidats non retenus après l'étape 2 que les candidats retenus se sont dits très satisfaits de la qualité des commentaires reçus dans le cadre de l'évaluation par les pairs. Seulement la moitié des candidats qui n'ont pas été retenus se sont dits satisfaits de la qualité des commentaires reçus (voir figure 34C).

Environ 50 % seulement de l'ensemble des candidats se sont dits satisfaits de la clarté des critères de sélection (voir figure 34B). Fait intéressant, le degré de satisfaction à l'égard de la clarté du système de sélection dépendait grandement du groupe de candidats. Environ 75 % des candidats retenus se sont dits satisfaits de la clarté du système de cotation, tandis que ce pourcentage a chuté à 50 % seulement chez les candidats non retenus après l'étape 2, et à moins de 25 % chez les candidats non retenus (voir figure 34D). De même, le degré de confiance des candidats à l'égard du processus d'évaluation est aussi fonction du groupe de candidats. Les candidats qui ont été retenus étaient ceux qui avaient la plus grande confiance dans le processus, les candidats n'ayant pas été retenus, ceux qui avaient le moins confiance dans le processus. Les candidats non retenus après l'étape 2 se trouvaient entre les deux (voir figure 34E).

Globalement, tant les candidats retenus que les candidats non retenus après l'étape 2 se sont dits satisfaits du nouveau processus d'évaluation structurée (voir figure 35). Le degré de satisfaction à l'égard du processus d'évaluation chez les candidats qui n'ont pas été retenus à l'issue de l'étape 1 était partagé : environ 50 % des candidats non retenus se sont dits généralement satisfaits du processus d'évaluation, et environ 50 %, insatisfaits. Les candidats ont proposé des façons d'améliorer l'expérience d'évaluation de leur point de vue (voir tableau 31). Comme de nombreux évaluateurs s'inquiétaient du manque de cohérence entre les différentes évaluations d'une même demande, les candidats ont suggéré le recours à un processus d'arbitrage pour les demandes dont les évaluations divergent, ou encore que les IRSC soient plus transparents quant à la façon dont les cotes et les classements des évaluateurs sont intégrés à la suite de l'étape 1. En outre, les candidats souhaitaient mieux comprendre le processus d'évaluation. Par exemple, ils avaient certaines interrogations quant aux demandes passées à l'étape 2 qui n'ont pas fait l'objet de discussions et n'ont pas été financées (demandes du groupe C) et les raisons expliquant cette situation. Les candidats étaient aussi d'avis qu'ils devraient être informés de la raison pour laquelle leur demande n'est pas passée à l'étape 2. En ce qui concerne les candidats souhaitant présenter une demande à nouveau, ils étaient d'avis qu'ils devraient savoir si les évaluateurs seraient les mêmes lors du prochain concours. Il est aussi important pour les candidats que les IRSC indiquent plus précisément quels renseignements doivent être présentés dans chaque section de la demande structurée, de sorte que les candidats et les évaluateurs interprètent les sections de la même façon.

Documents et activités d'apprentissage préparés pour le projet pilote de synthèse des connaissances

Les IRSC ont créé divers documents pour aider les participants au concours pilote de l'automne 2013 (candidats, administrateurs de recherche, évaluateurs à l'étape 1 et évaluateurs à l'étape 2) à effectuer leurs tâches. Tout au long des sondages, des commentaires ont été recueillis sur l'utilisation et l'utilité de ces documents. Les répondants ont utilisé des documents différents en fonction de leur rôle dans le concours, mais la majorité de ceux qui les ont utilisés les a trouvés utiles (voir figures 36 et 37). Ils ont toutefois souligné que les documents devraient être moins nombreux et qu'ils devraient tous se trouver au même endroit (voir tableaux 32 et 33).

Conclusions et facteurs à prendre en considération pour les prochains concours pilotes

Le concours de Synthèse des connaissances de l'automne 2013 a servi de premier concours pilote complet du volet Projet. L'échantillon était très petit et étalé vers les chercheurs des thèmes 3 et 4; néanmoins, il s'agissait d'un bon premier test de nouveaux éléments conceptuels du volet Projet et du nouveau processus d'évaluation par les pairs. De nombreux aspects positifs de ce concours serviront de point de départ aux prochains concours pilotes.

En raison des limites de ce concours pilote, les résultats doivent être interprétés avec prudence; les réponses positives ne signifient pas nécessairement que la conception est appropriée et vice versa. Les candidats, les administrateurs de recherche et les évaluateurs se familiarisent avec la nouvelle technologie et les nouveaux processus; il pourrait donc s'écouler un certain temps avant que des améliorations puissent être mesurées. Les IRSC sont aussi encore en période d'apprentissage et apportent des améliorations aux nouveaux processus en se fondant sur les commentaires du milieu de la recherche. Les résultats continueront d'être utiles pour améliorer la mise en œuvre des éléments conceptuels ou l'approche de formation. De plus, d'autres projets pilotes seront réalisés dans le cadre d'autres concours.

De nombreuses recommandations sont à l'étude en prévision de futurs concours pilotes. Veuillez noter que les recommandations ne seront pas toutes mises en œuvre lors d'un projet pilote à venir. Il se pourrait que l'application de certaines recommandations soit retardée tant qu'il n'y aura pas plus de données pour appuyer de l'évaluation.

RechercheNet

Une fonction d'enregistrement automatique devrait être mise en place pour que le travail des candidats et des évaluateurs soit enregistré avant la fermeture de leur session après une période d'inactivité.
La possibilité d'ajouter des figures dans la demande structurée devrait être étudiée.

Limites de caractères

L'augmentation de la limite de caractères de chaque section de la demande structurée devrait être envisagée.
La limite de caractères imposée aux évaluateurs devrait être revue.
Il pourrait être plus approprié d'employer des limites de mots; l'utilisation de sigles et de jargon serait réduite.

Critères de sélection

La distinction entre « Qualité de l'idée » et « Importance de l'idée » n'est pas claire. Les IRSC devraient soit réécrire l'interprétation des deux critères de sélection en veillant à éliminer tous les chevauchements, soit envisager de combiner les deux sections en une seule, intitulée « Contexte ».
Les critères de sélection ne devraient pas être pondérés de façon égale. Une plus grande pondération devrait être accordée à la section « Approche », aux dépens des critères « Qualité de l'idée » et/ou « Importance de l'idée ».

Étape 1 – processus d'évaluation structurée

Il faudrait donner des instructions,pour aider à interpréter les opinions divergentes des évaluateurs, aux candidats qui prévoient resoumettre leur demande à un autre concours.
Une fois que ce processus aura été renforcé, il sera important de faire connaître au milieu de la recherche la façon dont le classement des cinq évaluateurs est consolidé (c.-à-d. comment il est déterminé que certaines demandes passent à l'étape 2). Ce sera particulièrement important pour les organismes de financement qui souhaitent adopter le nouveau processus d'évaluation par les pairs des IRSC, étant donné qu'il est difficile de consolider les évaluations et de gérer les évaluations divergentes des autres.
Les évaluateurs à l'étape 1 devraient être informés du fait que les évaluateurs à l'étape 2 se basent sur leurs évaluations pour prendre des décisions relatives au financement et qu'une grande qualité s'impose.
Les IRSC devraient envisager de demander aux évaluateurs à l'étape 2 de formuler des commentaires sur la qualité des évaluations réalisées par leurs pairs à l'étape 1.

Étape 1 – pièces jointes

Il devrait être envisagé d'admettre les pièces jointes concernant la méthodologie autres que les tableaux ou les figures, étant donné que l'espace fourni pour donner tous les renseignements sur la méthodologie est considérablement réduit.

Étape 1 – échelle de sélection

Des solutions de rechange à l'échelle de sélection actuelle (ABCDE) devraient être envisagées, étant donné que les évaluateurs à l'étape 1 ne se sentent pas à l'aise de recourir à toute l'étendue de l'échelle de sélection, ce qui complique la tâche lorsque vient le temps de faire la différence entre les demandes. Voici quelques suggestions :
- Opter pour d'autres lettres (p. ex. LMNOP). Il se peut que les universitaires trouvent que les lettres sont trop semblables aux notes attribuées à l'école et ne se sentent pas à l'aise d'attribuer des C, des D ou des E.
- Subdiviser le haut de l'échelle. S'il y a cinq lettres, c'est dire qu'il y a un écart de 20 % d'une cote à l'autre, et de nombreuses différences sont beaucoup plus subtiles. L'échelle A+/A/A-/B+/B/B-/C a été suggérée par un évaluateur à l'étape 1.

Étape 1 – discussion en ligne

Les IRSC devraient déterminer s'il doit être obligatoire de prendre part à une discussion en ligne et dans quelles circonstances.
Les IRSC devraient consolider le rôle d'animateur/président virtuel et veiller à ce que des personnes soient en mesure de l'assumer lors de concours futurs.
Les IRSC pourraient créer un arbre de décision servant à déterminer quand une discussion en ligne doit avoir lieu, lequel pourrait être utilisé par un président ou un évaluateur.

Étape 2 – catégorisation des demandes

Il ne faudrait pas imposer un nombreabsolu de demandes acceptées ou refusées (oui/non) aux évaluateurs, au risque que des demandes soient classées dans la mauvaise catégorie. On devrait plutôt déterminer une étendue que les évaluateurs pourront utiliser à leur discrétion.

Processus global – documents sur le concours pilote

Un grand nombre de documents et de formations sont mis à la disposition des participants au concours pilote. L'utilité de chacun des documents devrait être évaluée : s'il y en a trop, les participants risquent de ne pas tous les lire et de passer à côté de documents essentiels.
Les liens vers les documents et les leçons créés pour chacun des concours pilotes devraient tous être réunis en un même endroit afin que les participants trouvent toujours ce dont ils ont besoin.

Recommandations en prévision d'analyses

Le plan de recherche créé en vue de la réforme de la série de programmes ouverts des IRSC décrit un éventail d'analyses qui seront menées tout au long de la période de mise en œuvre pour veiller à ce que les modifications apportées aux programmes actuels fonctionnent correctement. Pour ce qui est de l'étude actuelle, nous proposons les analyses supplémentaires suivantes :

Les candidats ont indiqué que les évaluateurs à l'étape 1 manquaient de cohérence dans leurs évaluations (la cote attribuée pour un critère de sélection ne correspondait pas à la justification écrite). Les IRSC se pencheront sur la question; si ce problème demeure important avec un échantillon de plus grande taille, des études approfondies seront réalisées pour trouver les raisons de ces écarts.
Certains candidats et évaluateurs à l'étape 2 ont trouvé les commentaires des évaluateurs à l'étape 1 insuffisants pour justifier les cotes qu'ils avaient attribuées. Les IRSC consulteront les évaluations de l'étape 1 pour déterminer si c'est le cas, et formuleront des recommandations pour en améliorer leur qualité.
Afin d'évaluer la validité du processus en plusieurs étapes, les IRSC enquêteront sur la fréquence et la mesure dans laquelle le classement des demandes a changé après l'étape 1, avant l'étape 2 et à l'issue du processus.

Annexe 1 : Données démographiques des sondages

Participants aux sondages

Administrateurs de recherche

Taux de réponse

Le sondage a été envoyé à 32 administrateurs de recherche. De ce nombre, 16 ont envoyé une réponse, et 15 ont répondu au sondage en entier (taux de réponse de 46,9 %). Tous les répondants résidaient au Canada et ont répondu au sondage en anglais.

Profil démographique des répondants

Les administrateurs se sont classés dans les groupes « administrateur de recherche » (93,4 %) ou « facilitateur de la recherche » (6,6 %).

Expériences antérieures – concours de subventions de Synthèse des connaissances et évaluation par les pairs

Neuf administrateurs de recherche (56,3 %) ont dit avoir déjà présenté une demande dans le cadre d'un concours de subventions de Synthèse des connaissances.

Candidats (après présentation de la demande)

Taux de réponse

Le sondage a été envoyé aux 77 candidats qui ont présenté une demande dans le cadre du concours de Synthèse des connaissances de l'automne 2013. Sur les 60 candidats qui ont répondu au sondage, 53 ont répondu à toutes les questions (taux de réponse de 68,8 %). Tous les répondants sauf un résidaient au Canada (98,3 %), et 91,7 % ont répondu au sondage en anglais.

Profil démographique des répondants

Les candidats se sont classés dans les groupes « chercheur en début de carrière » (35,6 %), « chercheur en milieu de carrière » (25,4 %), « chercheur chevronné » (35,6 %) ou « autre » (3,4 % : un utilisateur des connaissances et un cocandidat). Les candidats ont indiqué que leur poste actuel était « professeur » (28,8 %), « professeur agrégé » (18,6 %), « professeur adjoint » (28,8 %), « scientifique » (10,2 %), « chercheur » (6,8 %) ou « autre » (6,8 % : un clinicien, un scientifique chevronné, un boursier postdoctoral et un administrateur de recherche).

La plupart des candidats ont indiqué que leur principal domaine de recherche est la « recherche sur les services et les systèmes de santé » (44,1 %), suivie de la « recherche clinique » (32,2 %), de la « recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations » (22 %) et de la « recherche biomédicale » (1,7 %).

Expériences antérieures – concours de subventions de Synthèse des connaissances et évaluation par les pairs

Trente-quatre candidats (57,6 %) ont indiqué avoir déjà présenté une demande dans le cadre d'un concours de subventions de Synthèse des connaissances. Dans le concours actuel, 67,6 % des candidats ont présenté une nouvelle demande, tandis que 32,4 % ont présenté une demande révisée.

Trente-deux candidats (54,2 %) ont déjà été pairs évaluateurs pour les IRSC et ont fait partie du comité des subventions de Synthèse des connaissances (14 %), d'un comité de subventions (48,8 %), d'un comité de bourses (16,3 %) ou d'un autre comité (20,9 % : quatre ont fait partie du comité des subventions de Planification et dissémination, un du comité des subventions de nouveaux chercheurs, un du comité des subventions pour l'application des connaissances, et un du comité des bourses postdoctorales Banting; un candidat a répondu « sans objet »).

Évaluateurs à l'étape 1

Taux de réponse

Le sondage a été envoyé aux 49 évaluateurs qui ont participé à l'étape 1 de l'évaluation. Sur les 40 évaluateurs qui ont répondu au sondage, 36 ont répondu à toutes les questions (taux de réponse de 81,6 %). À l'exception de deux répondants, tous résidaient au Canada (95 %); 92,5 % ont répondu au sondage en anglais.

Profil démographique des répondants

Les évaluateurs se sont classés dans les groupes « chercheur en début de carrière » (20 %), « chercheur en milieu de carrière » (30 %), « chercheur chevronné » (22,5 %), « utilisateur des connaissances » (22,5 %) ou « autre » (5 % : un clinicien-chercheur et un administrateur de recherche). Les évaluateurs ont indiqué que leur poste actuel était « professeur » (17,5 %), « professeur agrégé » (7,5 %), « professeur adjoint » (32,5 %), « chercheur » (10 %), « clinicien » (2,5 %), « scientifique chevronné » (2,5 %), « scientifique » (2,5 %) ou « autre » (25 % : quatre administrateurs, quatre cadres de direction, un bibliothécaire de recherche, et un bailleur de fonds dans le domaine de la santé).

La plupart des répondants ont indiqué que leur principal domaine de recherche est la « recherche sur les services et les systèmes de santé » (41 %), suivie de la « recherche clinique » (25,6 %), de la « recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations » (25,6 %) et de la « recherche biomédicale » (7,7 %).

Expérience antérieure – évaluation par les pairs

Trente-sept évaluateurs (92,5 %) ont indiqué avoir déjà utilisé RechercheNet. Par ailleurs, 80 % des répondants avaient agi à titre de pairs évaluateurs pour les IRSC avant ce concours et avaient fait partie d'un comité de subventions (78,4 %), d'un comité de bourses (13,5 %), ou d'un autre comité (8,1 % : un comité permanent de l'éthique des IRSC, un comité des subventions d'équipe, et un comité des subventions pour l'application des connaissances). Un peu moins de la moitié (47,5 %) des répondants avaient déjà évalué des demandes présentées dans le cadre d'un concours de subventions de Synthèse des connaissances.

Évaluateurs à l'étape 2

Taux de réponse

Le sondage a été envoyé aux 18 évaluateurs qui ont participé à l'étape 2 de l'évaluation. Sur les 17 évaluateurs qui ont répondu au sondage, 16 ont répondu à toutes les questions (taux de réponse de 88,9 %). Tous les répondants résidaient au Canada, et 94,1 % d'entre eux ont répondu au sondage en anglais.

Profil démographique des répondants

Deux des évaluateurs ont agi à titre de « président/agent scientifique », et 15 à titre de « membre du comité de l'étape d'évaluation finale ». Les évaluateurs se sont classés dans les groupes « chercheur en milieu de carrière » (20 %), « chercheur chevronné » (20 %), « utilisateur des connaissances » (53,3 %) ou « clinicien-chercheur » (6,7 %). Les évaluateurs ont indiqué que leur poste actuel était « professeur » (20 %), « professeur adjoint » (20 %), « chercheur » (13,3 %), « scientifique » (6,7 %), « utilisateur des connaissances » (33,3 %) ou « autre » (6,7 % : un directeur général).

La plupart des répondants au sondage ont indiqué que leur principal domaine de recherche était la « recherche sur les services et les systèmes de santé » (50 %), suivie de la « recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations » (28,6 %) et de la « recherche clinique » (21,4 %). Aucun évaluateur n'a indiqué la « recherche biomédicale » comme principal domaine de recherche.

Expérience antérieure – évaluation par les pairs

Les 15 évaluateurs ont indiqué avoir agi à titre de pair évaluateur pour les IRSC lors de concours antérieurs et avoir déjà utilisé RechercheNet. Ils ont indiqué avoir fait partie d'un comité d'évaluation par les pairs des demandes de subvention (65 %), d'un comité d'évaluation du mérite des demandes de subvention (5 %), d'un comité de bourses (10 %) ou d'un autre comité (20 % : deux ont fait partie d'un comité des subventions pour l'application des connaissances, un d'un conseil d'administration-conseil consultatif d'institut, et un autre du comité de bourses d'un autre organisme). La grande majorité (80 %) des répondants au sondage avaient déjà évalué des demandes présentées dans le cadre d'un concours de subventions de Synthèse des connaissances.

Candidats (après obtention des résultats du concours)

Taux de réponse

Le sondage a été envoyé aux 77 candidats qui ont présenté une demande dans le cadre du concours de Synthèse des connaissances de l'automne 2013. Sur les 37 candidats qui ont répondu au sondage, 31 ont répondu à toutes les questions (taux de réponse de 49,3 %). La majorité des répondants (85,3 %) avaient aussi répondu au premier sondage auprès des candidats.

Profil démographique des répondants

La majorité des répondants (91,9 %) résidaient au Canada; trois se trouvaient respectivement en Australie, en Allemagne et aux États-Unis. La majorité (91,9 %) des participants ont répondu au sondage en anglais.

Les candidats se sont classés dans les groupes « chercheur en début de carrière » (42,9 %), « chercheur en milieu de carrière » (25,7 %), « chercheur chevronné » (28,6 %) ou « évaluateur » (2,8 %). Les candidats ont indiqué que leur poste actuel était « professeur » (20,6 %), « professeur agrégé » (26,5 %), « professeur adjoint » (32,4 %), « chercheur scientifique » (14,7 %), « administrateur de recherche » (2,9 %) ou « chercheur-boursier » (2,9 %).

La plupart des répondants au sondage ont indiqué que leur principal domaine de recherche était la « recherche sur les services et les systèmes de santé » (35,3 %) ou la « recherche clinique » (35,3 %), suivies de près par la « recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations » (23,5 %) et la « recherche biomédicale » (5,9 %).

Expériences antérieures – concours de subventions de Synthèse des connaissances et évaluation par les pairs

La majorité des candidats (73,5 %) ont indiqué avoir déjà présenté une demande dans le cadre d'un concours de subventions de Synthèse des connaissances. Dans le concours actuel, 58,3 % des candidats ont présenté une nouvelle demande, tandis que 41,7 % ont présenté une demande révisée.

Plus de la moitié des candidats (57,6 %) avaient agi à titre de pairs évaluateurs pour les IRSC et siégé à divers comités : comité des subventions de Synthèse des connaissances (4,5 %), comité d'évaluation par les pairs des demandes de subvention (54,6 %), comité de bourses (22,7 %) ou autre (18,2 % : comité d'évaluation des subventions de réunion et planification, comité des subventions pour l'application des connaissances, comité d'évaluation des subventions pour projets spéciaux et comité d'évaluation des essais contrôlés randomisés).

Concours précédents de Synthèse des connaissances

Les données recueillies lors des concours de Synthèse des connaissances de l'automne 2011, du printemps 2012, de l'automne 2012 et du printemps 2013 ont été utilisées à des fins de comparaison dans diverses sections.

Annexe 2 : Résultats détaillés du sondage

Processus de demande structurée

Figure 1-A. Comment avez-vous trouvé l'utilisation du formulaire de demande structurée?

Figure 1-A : description détaillée

Figure 1-B. Le formulaire de demande structurée était intuitif et facile à utiliser.

Figure 1-B : description détaillée

Figure 1-C. Degré de satisfaction à l'égard du processus de demande structurée :

Figure 1-C : description détaillée

Figure 1 : Impressions des candidats et des administrateurs de recherche à l'égard du processus de demande structurée. Les candidats au concours sur la Synthèse des connaissances de l'automne 2013 (n = 60 répondants) et les administrateurs de recherche (n = 15 répondants) ayant participé au processus de demande ont été sondés à la suite de la présentation des demandes. Les candidats (n = 54) devaient indiquer comment ils avaient trouvé l'utilisation du formulaire de demande structurée (A). On a demandé aux candidats (n = 54) et aux administrateurs de recherche (n = 13) s'ils avaient trouvé le formulaire de demande structurée intuitif (B) et d'indiquer leur degré de satisfaction à l'égard du processus de demande (C).

**Tableau 1.** Commentaires représentatifs de candidats sur le formulaire de demande structurée
Commentaires sur le formulaire de demande structurée
De nombreux candidats ont souligné que le formulaire de demande structurée était intuitif, facile à utiliser et simple d'un point de vue technique. Certains ont mentionné que, d'après leur expérience, le processus de demande avait été amélioré. De nombreux candidats sont d'avis que les chercheurs s'habitueront à ce nouveau formulaire. Certains candidats ont indiqué que la demande structurée limitait l'expression des idées et gênait le fil narratif. Le formatage doit être amélioré afin que le document soit plus attrayant (le PDF généré posait problème pour plusieurs candidats). Il y avait trop de documents informatifs disséminés à trop d'endroits différents. Un guide d'interprétation des critères de sélection rédigé à l'intention des candidats (et non seulement des pairs évaluateurs) serait utile. Le processus de sélection était bien expliqué (les figures et diagrammes étaient utiles). Malgré l'information présentée sur les critères de sélection, les renseignements devant être fournis dans chaque section étaient mal définis. Certains candidats croient que l'importance accordée aux critères de sélection (demande structurée) facilitera le processus d'évaluation pour les pairs évaluateurs. Certaines sections du PDF généré étaient vides, les renseignements n'ayant pas été demandés dans le formulaire (p. ex. le résumé non scientifique). Cette situation a préoccupé de nombreux candidats.

Figure 2-A. Comparativement au dernier concours, remplir le formulaire de demande structurée a été :

Figure 2-A : description détaillée

Figure 2-B. Comparativement au dernier concours, soumettre le formulaire de demande structurée a représenté :

Figure 2-B : description détaillée

Figure 2-C. Comparativement à votre participation passée à un concours de subventions sur la Synthèse des connaissances, votre expérience de l'utilisation du formulaire de demande structurée a été :

Figure 2-C : description détaillée

Figure 2. Utilisation du processus de demande structurée comparativement au processus précédent de présentation de demandes au concours de Synthèse des connaissances. Les candidats au concours de Synthèse des connaissances de l'automne 2013 (n = 60 répondants) et les administrateurs de recherche (n = 15 répondants) ayant participé au processus de demande ont été sondés à la suite de la présentation des demandes. On a demandé aux candidats (n = 32) de décrire la facilité d'utilisation du processus (A) et d'indiquer le montant de travail nécessaire pour présenter une demande comparativement au concours précédent de Synthèse des connaissances (B). Les candidats (n = 29) et les administrateurs de recherche (n = 9) ont été invités à indiquer leur degré de satisfaction à l'égard du processus de demande structurée (C).

**Tableau 2.** Commentaires représentatifs de candidats comparant leur expérience de présentation d'une demande au concours pilote à une expérience antérieure dans le cadre d'un concours de Synthèse des connaissances
Formulaire de demande structurée et processus habituel de présentation d'une demande
De nombreux candidats ont eu du mal à adapter leur demande pour arriver à respecter les limites de caractères. De nombreux candidats ont eu du mal à réécrire la section sur les méthodes, qui a été considérablement raccourcie. De plus, la quantité de détails nécessaires était mal définie. Il est difficile de faire entrer l'ensemble de l'information de base à l'appui de la justification dans la section « Qualité de l'idée ». Cette section devrait être plus longue. Il a été suggéré de limiter le nombre de pages plutôt que le nombre de caractères lié à chaque critère de sélection. Dans le cas de budgets qui comprennent de nombreux petits postes budgétaires, il est difficile de respecter les limites de caractères actuelles puisque chacun des postes doit être justifié.

Figure 3-A. La limite de caractères permettait de répondre adéquatement à chacun des critères de sélection.

Figure 3-A : description détaillée

Figure 3-B. Nombre limite de pages idéal selon les candidats :

Figure 3-B : description détaillée

Figure 3. Limites de caractères fixées dans le formulaire de demande structurée. Les candidats au concours de Synthèse des connaissances de l'automne 2013 (n = 60 répondants) ont été sondés à la suite de la présentation de leur demande. Les candidats (n = 54) devaient indiquer si le nombre limite de caractèrespermettait de répondre adéquatement à tous les critères de sélection dans le formulaire de demande structurée (A), et donner un nombre limite idéal si la limite actuelle ne suffisait pas (B).

**Tableau 3.** Commentaires représentatifs de candidats sur les limites de caractères fixées dans le formulaire de demande structurée
Commentaires de candidats sur les limites de caractères
De nombreux candidats ont indiqué que l'espace fourni était insuffisant pour expliquer le contexte du projet dans les sections « Qualité de l'idée » et « Importance de l'idée »; l'espace permettait seulement de donner une justification de base sans renseignements à l'appui. La section « Expertise, expérience, ressources » était trop courte pour les grandes équipes. L'espace fourni ne permettait pas de préciser l'échéancier. Il serait plus approprié d'imposer des limites de mots que des limites de caractères, étant donné qu'elles permettraient aux candidats d'employer des appellations au long au lieu d'abréviations. De nombreux candidats ont mentionné qu'aucune des sections ne prévoyait assez d'espace pour donner tous les renseignements demandés dans le guide d'interprétation des critères de sélection. Certains candidats ont interprété de façon semblable les critères de sélection liés à la « qualité et à l'importance de l'idée », et ont présenté des renseignements répétitifs dans ces deux sections. Certains disent être satisfaits des limites de caractères fixées, dans la mesure où les évaluateurs sauraient se contenter des détails présentés dans les demandes (p. ex. moins de détails sur les méthodes). Il faut préciser la quantité de détails nécessaires dans chaque section. Il faut indiquer clairement que les limites comprennent les espaces. L'imposition d'une limite de caractères dans chaque section met tout le monde sur un pied d'égalité.

Figure 4-A. Comment qualifieriez-vous la limite de caractères?

Figure 4-A : description détaillée

Figure 4-B. La limite de caractère a permis aux candidats d'inclure suffisamment de renseignements.

Figure 4-B : description détaillée

Figure 4. Réactions des évaluateurs à l'étape 1 à l'égard de la demande structurée – limites de caractères. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants ont indiqué si les renseignements fournis par les candidats dans la demande structurée étaient suffisants pour évaluer adéquatement chaque critère de sélection (n = 40) (A) et quels sections qui n'ont pas suffisamment d'espace (n = 3) (B).

Figure 5-A. Valeur des pièces jointes admissibles :

Figure 5-A : description détaillée

Figure 5-B.

Figure 5-B : description détaillée

Figure 5. Réactions des évaluateurs à l'étape 1 à l'égard de la demande structurée – pièces jointes admissibles. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants ont évalué l'utilité (élevée, moyenne, faible, aucune) des pièces jointes admissibles évaluées dans la demande (n = 40) (A) et de certaines sections des CV des candidats (n = 34) (B).

**Tableau 4.** Commentaires représentatifs d'évaluateurs concernant des suggestions de nouveaux types de documents qui seraient utiles pour évaluer des demandes de subventions de Synthèse des connaissances
Suggestions de types de documents utiles à joindre aux demandes
Il serait utile de fixer un nombre maximal de lettres d'appui à joindre. Études antérieures supplémentaires ou justificatives. De nombreux évaluateurs ont mentionné que des exemples de stratégie de recherche, de recherches pilotes ou de protocole d'évaluation, pour ne nommer que ceux-là, devraient être admissibles. Certains évaluateurs ont indiqué que les IRSC ne devraient pas restreindre le nombre ni le type de pièces jointes; d'autres croyaient au contraire que ces limites étaient utiles et permettaient de limiter la longueur des demandes et de garantir une évaluation équitable. Le type de pièces jointes admissibles n'était pas clairement indiqué; en effet, des pièces jointes ont dû être retirées de plusieurs demandes.

Figure 6. Les candidats ont rencontré des difficultés lorsqu'ils ont rempli le formulaire de demande structurée.

Figure 6 : description détaillée

Figure 6. Problèmes non techniques éprouvés en remplissant le formulaire de demande structurée. Les candidats au concours de Synthèse des connaissances de l'automne 2013 (n = 60 répondants) ont été sondés à la suite de la présentation de leur demande. Les candidats (n = 56) ont indiqué s'ils avaient eu des difficultés à remplir le formulaire de demande structurée en répondant « oui » ou « non ».

**Tableau 5.** Commentaires représentatifs de candidats concernant les problèmes non techniques éprouvés en remplissant le formulaire de demande structurée
Problèmes survenus en remplissant le formulaire de demande structurée
De nombreux problèmes de copier-coller dans les boîtes de texte à partir de Microsoft Word (formatage, nombre de caractères, caractères spéciaux). Problèmes avec le fichier PDF généré (soulignement trop foncé, espaces disparues entre des mots, absence de couleurs). L'ajout de figures devrait être permis, et celles-ci devraient être prises en compte dans la limite de caractères. Les règles concernant les pièces jointes étaient mal définies, et particulièrement en ce qui concerne les documents devant ou pouvant être fournis par les candidats. Les titres de sections et les renseignements présentés n'étaient pas assez précis (besoin de lignes directrices plus claires).

Charge de travail des évaluateurs

Figure 7-A. La charge de travail confiée aux évaluateurs à l'étape 1 a été :

Figure 7-A : description détaillée

Figure 7-B. Comparativement à un concours de Synthèse des connaissances antérieur, la charge de travail pour les activités d'évaluation suivantes a été :

Figure 7-B : description détaillée

Figure C.

	Concours de Synthèse des connaissances du printemps 2013 (Moyenne +/- erreur type)	Concours de Synthèse des connaissances de l'automne 2013 (Moyenne +/- erreur type)
Lecture d'une seule demande	2.21 +/- 0.25 heures	1.53 +/- 0.14 heures
Rédaction d'une seule évaluation	1.66 +/- 0.23 heures	0.95 +/- 0.12 heures

Figure 7. Charge de travail des évaluateurs à l'étape 1. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les évaluateurs ont indiqué leur perception de leur charge de travail (n=40) (A). Ceux qui avaient déjà évalué des demandes dans le cadre d'un concours de Synthèse des connaissances (n = 19) ont indiqué leur perception de leur charge de travail à ce concours par rapport au concours précédent (B). Les répondants (n = 40) ont indiqué le temps consacré aux diverses activités d'évaluation; une comparaison a été faite avec les données recueillies durant le concours de Synthèse des connaissances du printemps 2013 (C).

**Tableau 6.** Commentaires représentatifs d'évaluateurs indiquant le temps consacré à diverses activités d'évaluation à l'étape 1
Temps consacré par les évaluateurs à des activités d'évaluation à l'étape 1
Lecture d'une seule demande Le temps nécessaire a diminué à mesure que les évaluateurs se familiarisaient avec la tâche. Les évaluateurs ont apprécié pouvoir accéder à la demande dans plusieurs fenêtres deRechercheNet. Recherche en ligne d'autres renseignements liés aux demandes Certains évaluateurs ont trouvé cette tâche laborieuse et aimeraient pouvoir accéder aux sites de PubMed ou de la Collaboration Cochrane (par des liens) directement à partir de RechercheNet. Rédaction des évaluations d'une seule demande Certains évaluateurs ont combiné le temps consacré à la lecture des demandes et à la rédaction de leurs évaluations; le temps consacré à cette tâche peut donc sembler plus long qu'il ne l'est en réalité. Certains évaluateurs ont indiqué que le temps consacré à la rédaction des évaluations a diminué à mesure qu'ils se familiarisaient avec le processus. Entrée de l'information relative à l'évaluation dans la feuille de sélection Cette activité a souvent été faite en même temps que la rédaction des évaluations. La tâche a pris de moins en moins de temps à mesure que les évaluateurs se familiarisaient avec le processus. Lecture d'autres évaluations et participation aux discussions en ligne La plupart des évaluateurs ont indiqué qu'il y a eu peu de discussions en ligne, voire aucune, étant donné que les autres évaluateurs n'avaient pas soumis leurs évaluations à temps. Certains ont laissé entendre qu'une activité planifiée, telle qu'une téléconférence, pourrait donner de meilleurs résultats. De nombreux évaluateurs ont indiqué qu'il serait utile de connaître le parcours professionnel ou le type des autres évaluateurs (chercheurs ou utilisateurs des connaissances) pour orienter les discussions. Classement des demandes attribuées Le processus a bien fonctionné dans RechercheNet. Certains évaluateurs ont indiqué que le processus de classement était simple; d'autres l'ont au contraire trouvé très compliqué.

Figure 8-A. La charge de travail confiée aux évaluateurs à l'étape 2 a été :

Figure 8-A : description détaillée

Figure 8-B. Comparativement à un concours de Synthèse des connaissances antérieur, le processus d'évaluation par les pairs a pris :

Figure 8-B : description détaillée

Figure 8-C. Comparativement à un concours de Synthèse des connaissances antérieur, le processus d'évaluation par les pairs était :

Figure 8-C : description détaillée

Figure 8-D.

	Concours de Synthèse des connaissances du printemps 2013	Concours de Synthèse des connaissances de l'automne 2013
La durée de la réunion en personne à l'étape 2	Environ 30 heures	Environ 8 heures

Figure 8. Charge de travail des évaluateurs à l'étape 2. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à la suite de la réunion à l'étape 2. Les évaluateurs à l'étape 2 (n = 15) ont indiqué leur perception de leur charge de travail (A). Ceux qui avaient déjà évalué des demandes dans le cadre d'un concours de Synthèse des connaissances (n = 12) ont indiqué le temps consacré au processus d'évaluation (B) et la facilité d'utilisation du processus d'évaluation (C) par rapport à une expérience antérieure d'évaluation de demandes de Synthèse des connaissances. La durée de la réunion en personne à l'étape 2 a été comparée à celle de la rencontre du comité lors du concours de Synthèse des connaissances du printemps 2013 (D).

**Tableau 7.** Commentaires représentatifs d'évaluateurs sur le temps consacré aux différentes activités d'évaluation à l'étape 2
Temps consacré aux activités d'évaluation à l'étape 2
Lecture des évaluations de l'étape 1 d'une seule demande Certains des évaluateurs à l'étape 1 ont très peu justifié les cotes qu'ils ont attribuées. Le temps nécessaire varie grandement et est difficile à évaluer. Consultation des demandes de subvention de l'étape 1 pour une seule demande Certains ont consulté les demandes de l'étape 1 de la plupart ou de l'ensemble des demandes évaluées. Certains ont consulté les demandes seulement en présence d'incohérences entre les diverses évaluations à l'étape 1. Certains n'auraient pas consulté les demandes s'ils avaient connu le parcours professionnel des évaluateurs à l'étape 1. Les évaluateurs ont aimé la concision des demandes et ont trouvé ces dernières plus faciles à assimiler. Recherche en ligne d'autres renseignements liés aux demandes Nécessaire, particulièrement si une bonne équipe de recherche n'a pas donné de réponse appropriée dans une section donnée; le temps nécessaire est variable. Catégorisation des demandes (oui/non) et rédaction de commentaires à l'appui de l'évaluation De nombreux évaluateurs ont indiqué avoir passé le plus de temps à rédiger des commentaires et à s'assurer que les évaluations étaient utiles. Certains ont trouvé le processus relativement simple, mais ont pris un peu plus de temps vu qu'il s'agissait d'un nouveau processus. Lecture des commentaires des autres évaluateurs à l'étape 2 à l'aide de la tâche « En réunion » dans RechercheNet Certains ont dit avoir lu ces commentaires durant la réunion. Certains ont dit avoir lu en diagonale quelques commentaires. Certains ont trouvé ces commentaires très utiles pour se préparer à la réunion. Revue du classement de l'étape d'évaluation finale en prévision de la réunion à l'étape 2 Certains ont répété cette étape à de nombreuses reprises. Le processus était rapide.

**Tableau 8.** Commentaires représentatifs d'évaluateurs comparant le processus d'évaluation du concours actuel à celui du concours précédent de Synthèse des connaissances
Comparaison de l'étape 2 de l'évaluation aux concours précédents de Synthèse des connaissances
Selon certains, les évaluateurs à l'étape 2 devraient être tenus de lire les demandes. Certains étaient réticents à l'idée de consulter seulement les commentaires des évaluateurs à l'étape 1 à moins de connaître leur parcours professionnel. De nombreux évaluateurs ont dit que le processus était moins long et que le travail requis était beaucoup plus raisonnable. Le processus d'évaluation était plus clair que par le passé. Les discussions du comité étaient beaucoup plus logiques et pertinentes; le processus était plus rapide étant donné qu'il n'était pas nécessaire de lire les demandes complètes de façon systématique. Le site Web fonctionnait très bien. Certains aspects étaient plus difficiles (p. ex. davantage de renseignements), tandis que d'autres étaient plus faciles (p. ex. tâches plus ciblées).

Critères de sélection

Figure 9-A. La distinction entre la « Qualité de l'idée » et l'« Importance de l'idée » était claire.

Figure 9-A : description détaillée

Figure 9-B. La distinction entre la « Qualité de l'idée » et l'« Importance de l'idée » était claire.

Figure 9-B : description détaillée

Figure 9. Distinction entre la « Qualité de l'idée » et l'« Importance de l'idée ». Les candidats (n = 60 répondants) et les évaluateurs à l'étape 1 (n = 40 répondants) du concours de Synthèse des connaissances de l'automne 2013 ont été sondés à la suite de la présentation des demandes. Les candidats (n = 52) devaient indiquer si la différence entre les critères « Qualité de l'idée » et « Importance de l'idée » était claire en répondant « oui » ou « non ». (A). On a demandé aux évaluateurs à l'étape 1 (n = 37) si la différence entre « Qualité de l'idée » et « Importance de l'idée » était claire (B).

**Tableau 9.** Commentaires représentatifs de candidats et d'évaluateurs à l'étape 1concernant la différence entre « Qualité de l'idée » et « Importance de l'idée »
« Qualité de l'idée » et « Importance de l'idée » Commentaires des candidats
De nombreux évaluateurs ont proposé que la « qualité de l'idée » et l'« importance de l'idée » soient fusionnées et que les instructions demandent aux candidats de tenir compte de ces deux aspects. De nombreux candidats ont indiqué que ces sections devraient être regroupées en une seule intitulée « Contexte ». Les limites de caractères dans ces deux sections étaient insuffisantes. Selon certains, le guide d'interprétation des critères de sélection était utile; d'autres ont trouvé qu'il portait à confusion étant donné que la description de la « qualité de l'idée » pouvait être utilisée pour décrire l'« importance de l'idée » et inversement. Dans le cas de la présentation à nouveau d'une demande, il était difficile pour plusieurs de déterminer à quel endroit devait aller l'information issue de la dernière demande. De nombreux candidats ont dit craindre que les évaluateurs ne soient pas d'accord avec la façon dont ils avaient interprété les deux sections. Il est difficile de déterminer si les critères fournis traitent de tous les aspects nécessaires pour prendre une décision concernant la proposition.
Commentaires des évaluateurs à l'étape 1
Dans l'ensemble, les évaluateurs ont indiqué que la différence n'était pas claire; par contre, selon certains, elle est devenue évidente durant le processus d'évaluation. De nombreux évaluateurs ont indiqué que les candidats ne comprenaient pas bien la différence, étant donné que dans certaines demandes, la qualité et l'importance étaient présentées de façon distincte et claire, tandis que dans d'autres cas, l'information présentée dans les deux catégories était semblable. Selon de nombreux évaluateurs, il y a des chevauchements entre les deux sections, qui pourraient être fusionnées; par ailleurs, de nombreux évaluateurs ont donné les mêmes cotes et les mêmes commentaires dans les deux sections.

Figure 10-A. Les critères de sélection devraient être pondérés de façon égale.

Figure 10-A : description détaillée

Figure 10-B. Pondération idéale des critères de sélection selon les évaluateurs :

Figure 10-B : description détaillée

Figure 10. Critères de sélection. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants ont indiqué si les critères de sélection devaient être pondérés de façon égale (n = 37) (A) et quelle serait la pondération idéale à accorder à chaque critère de sélection (n = 15) (B).

**Tableau 10.** Commentaires d'évaluateurs indiquant la pondération idéale des critères de sélection
Pondération idéale des critères de sélection
Qualité de l'idée (0-40 %) Le plus important, c'est d'exprimer clairement pourquoi et comment une question donnée doit être étudiée, ce qui influe souvent sur l'approche proposée. Que l'idée soit géniale ou non, si l'approche proposée ne permet pas d'atteindre les objectifs, ce critère devient moins important. Il est difficile de faire la différence entre « Qualité de l'idée » et « Importance de l'idée ». Importance de l'idée (10-25 %) Les idées peuvent être très importantes pour un groupe particulier. Même si une idée a une grande qualité, si elle n'est pas importante, elle doit être évaluée en conséquence. Très subjectif (importance de quel point de vue?). Approche (20-50 %) Si un projet n'est pas solide sur le plan méthodologique, il ne peut être convaincant. Expertise, expérience et ressources (15-30 %) Ajouter des liens avec les utilisateurs des connaissances. Accorder une trop grande pondération à ce critère désavantagerait les chercheurs en début de carrière, ceux qui veulent aborder un nouveau domaine de recherche ou ceux qui tentent de joindre des domaines de recherche qui ne disposent peut-être pas de partenaires traditionnels. Une pondération moindre favoriserait l'innovation chez les chercheurs.

Échelle de sélection

Figure 11.

Figure 11 : description détaillée

Figure 11. Caractéristiques de l'échelle de sélection. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants ont indiqué dans quelle mesure ils étaient en accord avec divers énoncés sur l'échelle de sélection (n=37).

Figure 12-A. Les évaluateurs à l'étape 1 ont utilisé toute l'étendue de l'échelle de sélection.

Figure 12-A : description détaillée

Figure 12-B. Utilisation moyenne de chaque cotation de l'échelle de cotation par les évaluateurs à l'étape 1.

	A	B	C	D	E
Qualité de l'idée	41,15 %	35,16 %	16,93 %	4,69 %	2,08 %
Importance de l'idée	35,68 %	39,84 %	17,19 %	5,99 %	1,30 %
Approche	24,74 %	34,90 %	23,44 %	13,80 %	3,13 %
Expertise, expérience, ressources	42,45 %	39,84 %	12,50 %	4,43 %	0,78 %
Moyenne	36,01 %	37,44 %	17,52 %	7,23 %	1,82 %

Figure 12. Utilisation de l'échelle de sélection. Les évaluateurs à l'étape 1 (n = 40 répondants) et à l'étape 2 (n = 17 répondants) du concours de Synthèse des connaissances de l'automne 2013 ont été sondés à la suite de la présentation des évaluations à l'étape 1 ou à l'étape 2. Les répondants ont indiqué s'ils croyaient que les évaluateurs à l'étape 1 avaient eu recours à toute l'étendue de l'échelle de sélection du point de vue des personnes attribuant les cotes (évaluateurs à l'étape 1) et du point de vue des évaluateurs à l'étape 2 (A). Le nombre de chaque cote attribuée (A-E) par lesévaluateurs à l'étape 1 durant le concours de Synthèse des connaissances de l'automne 2013 a été calculé et est présenté en tant que pourcentage de l'ensemble des cotes attribuées (B).

**Tableau 11.** Commentaires d'évaluateurs concernant l'échelle de sélection
Commentaires sur l'échelle de sélection
De nombreux évaluateurs ont dit avoir attribué surtout des A et des B, étant donné que la plupart des demandes répondaient très bien aux critères. Selon certains, trois ou quatre lettres (ABC[D]) pourraient suffire. Certains ont indiqué que l'échelle de cotation ABCDE n'était pas suffisamment précise (écarts de 20 %) pour distinguer les demandes; de nombreuses demandes ont donc été évaluées de façon semblable. Il serait utile d'avoir accès à des exemples montrant quand attribuer les cotes B, C ou D. Il est difficile de faire la distinctionentre A et B ou B et C. Les critères en ce qui a trait au respect des conditions d'admissibilité étaient mal formulés. Il s'agit de l'aspect le plus important de ce nouveau format, puisqu'il permet de réduire les biais.

Figure 13.

Données compilées du concours de synthèse des connaissances (printemps 2013)
	Nombre d'évaluateurs	Nombre d'évaluations	Mérite scientifique (moyen, /4.9)	Impact potentiel (moyen, /4.9)	Note finale (moyenne, /20)
Utilisateurs des connaissances	12	128	3,55	3,7	3,60=14,4/20
Universitaires	14	118	3,73	3,81	3,77=15,1/20
Total/moyenne	26	246	3,64	3,76	3,70=14,8/20
Concours pilote du volet Projet sur la synthèse des connaissances (automne 2013)
Utilisateurs des connaissances	25	171	N/A	N/A	16,24
Universitaires	24	214	N/A	N/A	15,7
Total/moyenne	49	385	N/A	N/A	15,94

Figure 13. Échelle de sélection – cote finale. La moyenne des cotes finales (sur 4,9) de toutes les demandes présentées au concours de Synthèse des connaissances du printemps 2013 a été calculée, puis répartie entre les chercheurs et les utilisateurs des connaissances agissant à titre d'évaluateurs. La cote finale a ensuite été convertie en une note sur 20 pour permettre la comparaison avec le concours pilote de Synthèse des connaissances du volet Projet de l'automne 2013. La moyenne des cotes finales (sur 20) des demandes présentées par les évaluateurs à l'étape 1 a été calculée, puis répartie entre les évaluateurs chercheurs et les évaluateurs utilisateurs des connaissances.

Application des connaissances intégrée (ACI)

Figure 14-A. Les critères de sélection ont donné suffisamment de latitude aux candidats pour bien communiquer leur stratégie d'ACI.

Figure 14-A : description détaillée

Figure 14-B. Comparativement au dernier concours, les candidats ont pu communiquer leur stratégie d'ACI plus facilement.

Figure 14-B : description détaillée

Figure 14. Approche d'application des connaissances intégrée. Les candidats au concours de Synthèse des connaissances de l'automne 2013 (n = 60 répondants) ont été sondés à la suite de la présentation de leur demande. Les candidats (n = 53) ont indiqué si les critères de sélection permettaient d'inclure l'approche d'application des connaissances intégrée (A). Les candidats qui avaient déjà présenté une demande dans le cadre d'un concours de Synthèse des connaissances (n = 26) ont indiqué si le formulaire de demande structurée et les nouveaux critères de sélection ont facilité l'inclusion de l'approche d'application des connaissances intégrée (B).

**Tableau 12.** Commentaires représentatifs de candidats indiquant si la demande structurée et les critères de sélection permettaient d'inclure l'approche d'application des connaissances intégrée (ACI)
Approche d'application des connaissances intégrée dans le formulaire de demande structurée
Selon de nombreux candidats, l'espace prévu dans les quatre sections ne suffisait pas pour présenter adéquatement l'approche d'AC. Certains ont suggéré le recours à une section distincte sur l'AC. Selon certains, l'AC semble avoir perdu de l'importance pour les IRSC, étant donné que cette partie de la demande est intégrée dans une autre section. Certains ont indiqué que l'endroit où mettre les renseignements sur l'AC n'était pas indiqué clairement, et que la quantité de détails nécessaires était mal définie. Certains ont indiqué que leur opinion dépendrait de celle des évaluateurs sur la suffisance ou l'insuffisance de renseignements sur l'AC présentés par les candidats dans l'espace prévu.

Figure 15-A. Évaluations de l'approache d'application des connaissances.

Figure 15-A : description détaillée

Figure 15-B. Comparativement à un concours de Synthèse des connaissances antérieur, les éléments de ce concours pilote ont permis aux évaluateurs de réaliser une évaluation et de fournir une rétroaction concernant la stratégie d'ACI.

Figure 15-B : description détaillée

Figure 15. Approche d'application des connaissances intégrée (ACI). Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants (n = 37) ont indiqué à quel point ils étaient d'accord avec divers énoncés portant sur l'approche d'application des connaissances intégrée (A). Les évaluateurs qui avaient déjà évalué des demandes dans le cadre d'un concours de Synthèse des connaissances (n = 19) ont indiqué dans quelle mesure la feuille de sélection, les critères de sélection et les renseignements présentés dans la demande ont facilité l'évaluation de l'approche d'application des connaissances intégrée proposée par le candidat (B).

**Tableau 13.** Commentaires représentatifs d'évaluateurs expliquant si les critères de sélection leur ont permis de réaliser une évaluation adéquate de l'approche d'application des connaissances intégrée dans la demande structurée
Les critères de sélection ont permis aux évaluateurs d'évaluer l'approche d'ACI
Il serait utile d'avoir accès à un lien plus direct vers l'information sur l'ACI sur le site Web des IRSC. Les qualités de l'évaluation du mérite semblent avoir disparu dans le nouveau processus. Une section distincte sur l'AC conviendrait mieux. C'est le contenu limité, et non les critères de sélection, qui ont influé sur la capacité d'évaluer l'approche d'ACI. Il n'y avait aucun endroit unique où consulter ces renseignements dans la demande structurée, ce qui a compliqué l'évaluation. De nombreux évaluateurs ont indiqué que les candidats les plus intéressants avaient présenté des renseignements précis sur l'approche d'ACI et les avaient ajoutés à l'échéancier; les autres avaient seulement dressé une liste d'approches possibles. La limite de caractères a compliqué la présentation de renseignements adéquats sur l'ACI par les candidats.

Processus d'évaluation structurée – étape 1

Figure 16-A. La feuille de sélection était facile à utiliser.

Figure 16-A : description détaillée

Figure 16-B. La limite de caractères a permis aux évaluateurs de donner une rétroaction suffisante aux candidats.

Figure 16-B : description détaillée

Figure 16-C. La feuille de sélection offrait assez d'espace pour permettre aux évaluateurs de donner une rétroaction utile aux candidats.

Figure 16-C : description détaillée

Figure 16. Feuille de sélection. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants (n = 40) ont indiqué si la feuille de sélection était facile à utiliser (A) et si la limite de caractères (½ page) fixée pour chaque critère de sélection permettait de formuler des commentaires adéquats aux candidats (B). Les évaluateurs qui trouvaient la limite insuffisante (n = 3) ont précisé quelles sections posaient problème (C).

**Tableau 14.** Commentaires représentatifs d'évaluateurs concernant les limites de caractères fixées dans la feuille de sélection
Limite de caractères appropriée dans la feuille de sélection
Le recours à une limite de caractères globale pour l'ensemble des sections (par opposition à une limite pour chaque section) offrirait une plus grande souplesse. Il manque d'espace pour formuler des commentaires sur la méthodologie liée à l'évaluation et l'approche d'AC.
Limites de caractères idéales pour les commentaires des évaluateurs
Qualité de l'idée : les évaluateurs ont indiqué que de 0,5 à 1 page suffirait (n = 2). Importance de l'idée : les réponses des évaluateurs variaient de 0,5 à 3 pages (n = 3). Approche : les réponses des évaluateurs variaient de 1 à 3 pages (n = 5). Expertise, expérience et ressources : les réponses des évaluateurs variaient de 0,5 à 3 pages (n = 4). Budget : les réponses des évaluateurs variaient de 0,5 à 3 pages (n = 4).

**Tableau 15.** Commentaires représentatifs d'évaluateurs concernant la feuille de sélection
Feuille de sélection
La feuille de sélection était simple, efficace, ciblée et directe. L'affichage des critères dans chaque catégorie a aidé les évaluateurs à diriger leur attention sur les éléments recherchés. Il est utile de pouvoir indiquer les forces et les faiblesses sous forme de liste. La capacité d'évaluer chaque critère de sélection et de laisser des commentaires relatifs à chacun a facilité l'évaluation des demandes. Il serait utile d'avoir une option permettant d'indiquer qu'aucune faiblesse n'a été relevée, plutôt que de devoir l'inscrire textuellement. Aucune option ne permettait aux évaluateurs d'indiquer leur incapacité à évaluer le budget. Certains évaluateurs ont trouvé difficileet répétitif de devoir indiquer les forces et les faiblesses liées à chaque critère; selon eux, il serait plus simple de formuler un ensemble de commentaires à l'appui de chaque cote.

Figure 17-A. Les évaluateurs ont lu les évaluations rédigées par leurs pairs à l'étape 1.

Figure 17-A : description détaillée

Figure 17-B. Les évaluateurs ont été influencés par la lecture des évaluations de leurs pairs.

Figure 17-B : description détaillée

Figure 17-C. Temps supplémentaire consacré à la lecture des évaluations des pairs :

Figure 17-C : description détaillée

Figure 17. Lecture des évaluations préliminaires. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants ont indiqué s'ils avaient lu les évaluations préliminaires d'autres évaluateurs qui avaient reçu la même demande (n = 37) (A), à quelle fréquence la lecture d'évaluations préliminaires réalisées par d'autres évaluateurs avait influé sur leur propre évaluation finale du candidat (n = 22) (B) et combien de temps ils avaient passé à lire les évaluations préliminaires d'autres évaluateurs (n = 21) (C).

**Tableau 16.** Commentaires représentatifs d'évaluateurs indiquant pourquoi ils n'ont pas lu les évaluations préliminaires des autres évaluateurs
Raisons pour lesquelles les évaluateurs n'ont pas lu les évaluations préliminaires de leurs pairs
La plupart des évaluateurs : n'avaient pas le temps de le faire, ou les autres évaluateurs n'avaient pas présenté leurs évaluations à temps; ne voulaient pas être influencés par d'autres évaluateurs; ne savaient pas comment consulter les évaluations préliminaires.

Figure 18-A. Les évaluateurs à l'étape 1 ont pris part à une discussion en ligne.

Figure 18-A : description détaillée

Figure 18-B. Raisons pour lesquelles les évaluateurs n'ont pas pris part à une discussion en ligne :

Figure 18-B : description détaillée

Figure 18-C. La période de sept jours était suffisante pour la discussion en ligne.

Figure 18-C : description détaillée

Figure 18. Participation aux discussions en ligne. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants (n = 35) ont indiqué s'ils avaient pris part à une discussion en ligne (A). Les évaluateurs qui n'ont pas pris part à une discussion en ligne (n = 26) ont expliqué pourquoi (B). De plus, les répondants (n = 35) ont indiqué si sept jours suffisaient pour prendre part à une discussion en ligne (C).

**Tableau 17.** Commentaires représentatifs d'évaluateurs indiquant pourquoi ils n'ont pas pris part à une discussion en ligne
Raisons pour lesquelles les évaluateurs n'ont pas pris part à une discussion en ligne
Aucune discussion en ligne n'avait été créée (les évaluateurs n'avaient pas terminé leurs évaluations à temps). De nombreux évaluateurs ont dit ne pas avoir eu le temps d'y participer. Un évaluateur a décidé de ne pas y participer parce que les cotes des autres évaluateurs étaient très différentes.

Figure 19-A. Les évaluateurs à l'étape 1 ont commencé une discussion en ligne.

Figure 19-A : description détaillée

Figure 19-B. Facteurs pris en compte pour déterminer la nécessité d'une discussion en ligne :

Figure 19-B : description détaillée

Figure 19-C. Qui devrait décider quand une discussion en ligne doit avoir lieu?

Figure 19-C : description détaillée

Figure 19-D. Les critères devraient être pris en compte pour déterminer quand une discussion en ligne doit avoir lieu.

Figure 19-D : description détaillée

Figure 19. Engagement d'une discussion en ligne. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants (n = 10) ont indiqué s'ils avaient engagé une discussion en ligne (A); ceux qui l'avaient fait (n = 7) ont précisé les facteurs qu'ils ont utilisés pour déterminer qu'une discussion en ligne était nécessaire (B). Les répondants (n = 35) ont indiqué qui, selon eux, devrait engager une discussion en ligne : les IRSC, un président virtuel ou encore les évaluateurs, à la discrétion de ces derniers (C), et si des critères précis devraient servir à décider quand une discussion en ligne doit avoir lieu (D).

**Tableau 18.** Commentaires représentatifs d'évaluateurs suggérant les critères qui devraient servir à déterminer si une discussion en ligne doit avoir lieu
Critères servant à déterminer si une discussion en ligne doit avoir lieu
Conflits entre les demandes « subventionnables » et « non subventionnables ». La plupart ont indiqué qu'une discussion en ligne doit être engagée lorsque de grands écarts entre les cotes ou les commentaires sont constatés (p. ex. écart de deux côtes ou plus).

Figure 20.

Figure 20 : description détaillée

Figure 20. Incidence de la discussion en ligne. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants (n = 9) ont indiqué à quelle fréquence les discussions en ligne avaient influé sur leurs propres évaluations.

Figure 21. Les évaluateurs à l'étape 1 ont donné une rétroaction claire pour appuyer les cotes attribuées.

Figure 21 : description détaillée

Figure 21. Commentaires des évaluateurs à l'étape 2 aux évaluateurs à l'étape 1. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants (n = 14) ont indiqué si les évaluateurs à l'étape 1 avaient formulé des commentaires clairs pour justifier les cotes qu'ils avaient attribuées pour chaque critère de sélection.

**Tableau 19.** Commentaires représentatifs d'évaluateurs à l'étape 2 concernant les évaluations à l'étape 1
Évaluations à l'étape 1
De nombreux évaluateurs ont indiqué que certaines évaluations à l'étape 1 comportaient très peu de commentaires et que les cotes attribuées n'étaient pas bien étayées, ce qui a compliqué leur travail. De nombreux évaluateurs à l'étape 2 ont souligné que la plupart de leurs pairs à l'étape 1 n'avaient pas recouru au bas de l'échelle dans leurs évaluations. Le fait d'avoir accès aux classements des évaluateurs (p. ex. 1/9) n'a pas été particulièrement utile, étant donné qu'il était impossible de comparer une demande ayant été classée en première position sur neuf demandes à celle ayant été classée en dernière position par le même évaluateur. Il serait peut-être préférable de demander aux évaluateurs à l'étape 1 de noter trois forces et trois faiblesses liées à la demande plutôt que d'imposer des limites de caractères pour ces aspects. De nombreux évaluateurs ont mentionné que la qualité des évaluations était très variable. Les évaluateurs à l'étape 1 n'ont pas reçu suffisamment d'aide ou de conseils quant à la communication avec les évaluateurs à l'étape 2. On devrait les encourager à écrire des remarques telles que « J'ai donné la cote X, mais je n'ai pas vraiment été en mesure d'évaluer cet aspect » lorsqu'il est pertinent de le faire.

Étape 2 de l'évaluation

Figure 22-A. Les demandes et les évaluations de l'étape 1 ont été lues par les évaluateurs à l'étape 2.

Figure 22-A : description détaillée

Figure 22-B. Il est nécessaire de lire les demandes et les évaluations de l'étape 1.

Figure 22-B : description détaillée

Figure 22. Réactions des évaluateurs à l'étape 2 à l'égard des évaluations de l'étape 1. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants ont indiqué s'ils avaient consulté les demandes de subvention en plus des évaluations à l'étape 1 (n = 15) (A) et la mesure dans laquelle ils croyaient que les demandes devaient être lues de concert avec les évaluations de l'étape 1 dans le cadre de l'étape 2 du processus d'évaluation (n = 14) (B).

Figure 23. Le nombre de demandes acceptées et refusées dans le processus de catégorisation était adéquat

Figure 23 : description détaillée

Figure 23. Activités préalables à la réunion de l'étape 2 – processus de catégorisation. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants (n = 14) ont indiqué si le nombre de décisions (oui/non) fixé dans le processus de catégorisation était adéquat.

**Tableau 20.** Commentaires représentatifs d'évaluateurs concernant le nombre de demandes acceptées ou refusées (oui/non) dans le processus de catégorisation à l'étape 2 de l'évaluation
Répartition des décisions (oui/non)
Il ne devrait pas y avoir un nombre précis de demandes à classer dans l'une ou l'autre des catégories. Il serait plus pertinent d'imposer une étendue à respecter plutôt qu'un nombre absolu. L'objectif de créer un classement des demandes de la meilleure à la moins bonne pourrait être atteint sans limiter le nombre de votes (oui/non). Certaines demandes ont été classées dans la catégorie « non », alors qu'elles n'auraient pas dû l'être.

Figure 24-A. Les évaluateurs ont lu les commentaires rédigés par leurs pairs à l'étape 2.

Figure 24-A : description détaillée

Figure 24-B. Les évaluateurs ont été influencés par la lecture des commentaires et des décisions de catégorisation de leurs pairs.

Figure 24-B : description détaillée

Figure 24-C. Temps supplémentaire (total) consacré à la lecture des commentaires des pairs :

Figure 24-C : description détaillée

Figure 24-D. La limite de caractères était adéquate pour les commentaires de l'étape 2.

Figure 24-D : description détaillée

Figure 24. Activités préalables à la réunion de l'étape 2 –consultation des commentaires des autres évaluateurs. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants ont indiqué s'ils avaient lu les commentaires de leurs pairs évaluant la même demande (n = 14) (A), indiqué si la lecture des commentaires des autres évaluateurs et/ou leurs décisions relatives à la catégorisation des demandes avaient influencé leurs propres évaluations (n = 12) (B), indiqué le temps supplémentaire consacré à la lecture des commentaires des autres évaluateurs (n=14) (C), et indiqué si la limite de caractères fixée pour les commentaires des évaluateurs était suffisante (n = 14) (D).

Figure 25.

Figure 25 : description détaillée

Figure 25. Exigences relatives à la réunion en personne. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants (n = 16) ont indiqué s'ils croyaient qu'une réunion en personne était nécessaire à l'étape 2 de l'évaluation, si les instructions relatives à la réunion en personne étaient claires et si les conflits avaient été gérés de façon adéquate à la réunion.

**Tableau 21.** Commentaires représentatifs d'évaluateurs à l'étape 2 indiquant si une réunion en personne est nécessaire pour décider des demandes qui doivent être financées
Une réunion en personne est-elle nécessaire?
De nombreux évaluateurs à l'étape 2 ont mentionné qu'il était très important d'organiser une réunion pour discuter d'enjeux importants et renforcer la crédibilité du processus. La réunion pourrait devoir être prolongée pour que les évaluateurs traitent d'un plus grand nombre de demandes du groupe B (« zone grise »). À l'avenir, les réunions pourraient être organisées à l'aide de WebEx. De nombreux évaluateurs ont indiqué qu'il serait difficile d'organiser une vidéoconférence durant toute une journée, mais qu'une réunion en personne suppose beaucoup de déplacements. Il serait difficile de trouver un mécanisme de vote efficace ne comportant pas de réunion en personne. Les discussions ont été utiles, mais elles pourraient l'être davantage : lorsque des divergences sont repérées dans les évaluations de l'étape 1, des experts du domaine (contenu, méthodologie, AC) devraient se concerter à l'étape 2.

Figure 26.

Figure 26 : description détaillée

Figure 26. Réunion en personne – validation de la liste de demandes. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants ont indiqué dans quelle mesure ils étaient d'accord avec divers énoncés relatifs au transfert de demandes durant la validation de la liste de demandes à la réunion en personne (n = 16).

**Tableau 22.** Commentaires représentatifs d'évaluateurs concernant le processus de réunion en personne
Suggestions d'amélioration au processus de validation de la liste de demandes
Certains évaluateurs ont indiqué que le processus était efficace et bien conçu et qu'il fonctionnait bien. Les instructions fournies à la réunion étaient claires. Il pourrait être indiqué de recourir à une discussion de « calibrage » avant de procéder au transfert de demandes. Il faut décrire plus en détail la justification du transfert de demandes entre les groupes. Il devrait être indiqué dans les instructions que les évaluateurs à l'étape 2 ne sont pas tenus de suivre les recommandations des évaluateurs à l'étape 1 si une raison valable est présentée à la réunion. Le processus a semblé plus juste que par le passé, étant donné que plus de deux évaluateurs avaient évalué chaque demande. La charge de travail des évaluateurs a diminué puisqu'ils n'ont pas discuté des demandes qui seront assurément financées ou non financées.
Groupes A, B et C – concentrer les discussions sur les demandes du groupe B
Cette façon de faire a accru la pertinence des discussions sur les propositions. De nombreux évaluateurs ont indiqué qu'il était plus approprié de procéder ainsi plutôt que de passer du temps à discuter de demandes qui ne sont pas susceptibles d'être financées. Plus de demandes doivent être classées dans le groupe B.

Figure 27.

Figure 27 : description détaillée

Figure 27. Réunion en personne – processus de vote. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants (n = 16) ont indiqué si l'outil de vote était convivial et si les instructions étaient claires.

Figure 28. Le seuil de financement a aidé à orienter la discussion.

Figure 28 : description détaillée

Figure 28. Réunion en personne – seuil de financement. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants (n = 16) ont indiqué si le seuil de financement a été utile durant la réunion en personne.

Expérience de RechercheNet

Figure 29.

Figure 29 : description détaillée

Figure 29. Utilisation de RechercheNet dans le cadre du processus d'évaluation à l'étape 1. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants (n = 40) ont indiqué dans quelle mesure ils étaient d'accord avec divers énoncés concernant RechercheNet ainsi quela clarté et la convivialité des activités d'évaluation à l'étape 1.

**Tableau 23.** Commentaires représentatifs d'évaluateurs concernant les améliorations à apporter à RechercheNet pour les évaluateurs à l'étape 1 dans les concours à venir
Amélioration à apporter à RechercheNet pour les concours à venir
Il serait très utile d'avoir une fonctionnalité d'enregistrement automatique qui assurerait la sauvegarde du travail avant que la session sur RechercheNet soit fermée après une période d'inactivité. Les limites de caractères devraient être précisées dès le départ. Les liens vers les ressources devraient être plus faciles à repérer (toutes les ressources pourraient être présentées dans une barre latérale qui serait affichée sur toutes les pages). L'échelle de sélection devrait être affichée dans le haut et le bas des formulaires.
Amélioration des instructions dans RechercheNet
Le webinaire organisé avant le processus a été très utile, et les instructions données étaient claires. Les instructions présentées dans RechercheNet ont été grandement améliorées. Certains évaluateurs ont suggéré que les instructions soient affichées sur plusieurs pages et que davantage de rappels soient affichés sur les pages pertinentes dans RechercheNet. Selon certains évaluateurs, des instructions étape par étape plus claires sont nécessaires.

Figure 30.

Figure 30 : description détaillée

Figure 30. Utilisation de RechercheNet dans le cadre de l'étape 2 du processus d'évaluation. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à la suite de la présentation de toutes les évaluations des demandes. Les répondants ont indiqué dans quelle mesure ils étaient d'accord avec divers énoncés concernant RechercheNet ainsi que la clarté et la convivialité des activités d'évaluation à l'étape 2.

**Tableau 24. Suggestions représentatives d'évaluateurs concernant les améliorations à apporter à RechercheNet en prévision des concours à venir**
Améliorations à apporter à RechercheNet en prévision des concours à venir
Permettre d'afficher plusieurs écrans ou fenêtres simultanément (pour éviter de devoir naviguer d'un à l'autre comme en ce moment). Internet Explorer 8 n'est pas compatible avec RechercheNet. Les documents relatifs à l'évaluation et à la demande devaient être téléchargés à des endroits différents, ce qui est peu commode. Certains évaluateurs ont mentionné que RechercheNet était facile à utiliser. La bande passante n'était pas suffisante pour permettre à tous de se connecter à RechercheNet durant la réunion. Les commentaires des évaluateurs devraient être réunis (c'est-à-dire que les commentaires de chaque évaluateur relatifs à la qualité de l'idée devraient se trouver au même endroit pour éviter de devoir consulter plusieurs pages à la fois). Il serait préférable d'afficher les demandes en fonction de la cote globale plutôt qu'en ordre alphabétique de nom.
Amélioration aux instructions dans RechercheNet
Les instructions sont relativement directes. Le processus était très simple à suivre, et il était facile de classer les demandes. Certains évaluateurs ont mentionné que la séance d'orientation en ligne (téléconférence) a été très utile. Les instructions et la séance de formation en ligne ont été très utiles. Les instructions pour l'étape 2 devraient comprendre davantage de renseignements de base concernant le travail effectué par les évaluateurs à l'étape 1. Certaines des instructions sur le nombre de votes (oui/non) permis dans le processus de catégorisation portaient à confusion. Un rappel devrait être affiché dans RechercheNet.

Satisfaction globale à l'égard de la structure du volet Projet

Figure 31. Satisfaction globale des évaluateurs à l'égard de l'étape 1 du processus d'évaluation.

Figure 31 : description détaillée

Figure 31. Satisfaction globale à l'égard de l'étape 1 du processus d'évaluations. Les évaluateurs à l'étape 1 du concours de Synthèse des connaissances de l'automne 2013 (n = 40 répondants) ont été sondés à l'issue de la présentation des évaluations à l'étape 1. Les répondants (n = 36) ont indiqué leur degré de satisfaction à l'égard de l'étape 1 du processus d'évaluation.

**Tableau 25.** Commentaires représentatifs d'évaluateurs suggérant des améliorations au processus d'évaluation structurée
Moyens d'améliorer le processus d'évaluation structurée
Le processus est intuitif. Il est difficile de naviguer entre les différents écrans d'évaluation. L'approche de classement et de départage des demandes ex æquo n'était ni claire, ni intuitive d'après l'information affichée à l'écran (il fallait consulter les documents de formation). Pour afficher simultanément les écrans de la demande et de l'évaluation, il fallait les redimensionner, ce qui entraînait souvent une erreur dans RechercheNet, et tout commentaire était supprimé. Veiller à ce que les évaluateurs soumettent leurs cotes, leurs classements et leurs commentaires dans les délais. Ajouter plus de liens directs dans RechercheNet vers des renseignements connexes (vidéos de formation des IRSC, documents nécessaires, PubMed, Collaboration Cochrane, etc.). Afficher l'information relative à chaque critère de sélection dans une fenêtre contextuelle dans RechercheNet. Donner des instructions étape par étape.

Figure 32. Satisfaction globale des évaluateurs à l'égard de l'étape 2 du processus d'évaluation.

Figure 32 : description détaillée

Figure 32. Satisfaction globale à l'égard de l'étape 2 du processus d'évaluation. Les évaluateurs à l'étape 2 du concours de Synthèse des connaissances de l'automne 2013 (n = 17 répondants) ont été sondés à l'issue de la réunion de l'étape 2. Les répondants (n = 16) ont indiqué leur satisfaction à l'égard de l'étape 2 du processus d'évaluation.

**Tableau 26.** Commentaires représentatifs des évaluateurs concernant leur impression globale de l'étape 2 du processus d'évaluation
Satisfaction globale à l'égard de l'étape 2 du processus d'évaluation par les pairs
Les évaluateurs à l'étape 2 ont aimé participer au processus d'évaluation par les pairs. Certains félicitent les IRSC de chercher constamment des manières d'améliorer leurs processus. Il serait utile de pouvoir examiner les commentaires et le classement liés à toutes les demandes. La réunion en personne devrait être obligatoire dans un avenir rapproché. Le processus d'évaluation par les pairs est plus efficace que le processus d'évaluation précédent (exigences, intensité, fatigue, etc.). La préparation et l'organisation du personnel pour ce nouveau processus sont impressionnantes. Le nouveau processus d'évaluation par les pairs est excellent, juste et efficace. Certains se sont demandé si on devait imposer des critères de sélection aux évaluateurs à l'étape 2. Certains évaluateurs ont examiné les évaluations, et certains, les évaluations et les demandes; le processus devrait-il être plus uniforme? Le processus est difficile si un évaluateur à l'étape 1 est également évaluateur à l'étape 2. Il ne devrait pas y avoir un nombre prédéfini (de votes « oui/non ») pour le processus de catégorisation.

Figure 33-A. Les évaluations sont cohérente : les justifications écrites concordent avec les cotes attribuées.

Figure 33-A : description détaillée

Figure 33-B. La rétroaction des évaluateurs aidera les candidats à affiner leurs projets de recherche.

Figure 33-B : description détaillée

Figure 33-C. Le processus d'évaluation structurée est utile (cote et justification écrite fournies pour chaque critère de sélection).

Figure 33-C : description détaillée

Figure 33-D. Le processus d'évaluation était juste et transparent.

Figure 33-D : description détaillée

Figure 33. Utilité du processus d'évaluation structurée. Les candidats au concours de Synthèse des connaissances de l'automne 2013 (n = 33 répondants) ont été sondés après l'obtention des résultats afin de savoir ce qu'ils pensent de la cohérence des évaluations reçues (A), de l'utilité des évaluations (B), de l'utilité du processus d'évaluation structurée (C) et de la justesse du processus d'évaluation (D). Les réponses ont été réparties en trois catégories : candidats retenus (n = 8), candidats évalués lors de la réunion en personne à l'étape 2 mais non retenus (n = 12) et candidats non retenus (n = 13).

**Tableau 27.** Commentaires représentatifs des candidats concernant la cohérence des évaluations reçues
Cohérence des évaluations
De nombreux candidats ont dit s'interroger sur la validité du processus d'évaluation par les pairs, compte tenu de la grande variabilité observée d'un évaluateur à l'autre. Certains ont dit s'interroger sur la grande divergence des résultats pour un même évaluateur (incohérence entre les cotes, les classements et les commentaires). Certains ont indiqué que les évaluateurs n'avaient pas suffisamment étayé de commentaires les cotes attribuées ou que les commentaires n'étaient pas constructifs et étaient même formulés sur un ton très négatif. Certains candidats ont indiqué que les évaluateurs avaient demandé plus de renseignements, mais que les limites de caractères fixées les empêchaient de le faire. Certains ont dit qu'il leur sera difficile d'interpréter les résultats pour savoir comment améliorer leur demande la prochaine fois, parce que les évaluateurs avaient des opinions divergentes (une force pour l'un pouvait être une faiblesse pour l'autre).

**Tableau 28.** Commentaires représentatifs des candidats concernant la justification écrite des évaluations reçues et leur utilité pour peaufiner leur projet de recherche ou formuler une nouvelle demande
Les justifications écrites sont utiles pour peaufiner le projet ou présenter de nouveau une demande
Les commentaires des évaluateurs se contredisaient ou étaient incohérents. Les commentaires des évaluateurs n'étaient pas très utiles (ou n'étaient pas assez détaillés). Certains candidats ont indiqué qu'il leur était difficile de savoir à quels commentaires accorder de l'importance parce que ceux-ci étaient contradictoires. Certains commentaires des évaluateurs étaient utiles, mais d'autres n'étaient pas appropriés.

**Tableau 29.** Commentaires représentatifs des candidats concernant le processus de demande structurée et l'utilité de fournir une cote et une justification pour chaque sous-critère de sélection
Utilité du processus de demande structurée
Une trop grande latitude était permise dans les interprétations de chaque évaluateur. Les candidats auront besoin d'instructions pour concilier les commentaires divergents des évaluateurs. Les évaluateurs pourraient avoir besoin d'une formation pour distinguer les critiques appropriées des critiques inappropriées. Certains répondants ont apprécié le fait que cinq évaluateurs (plutôt que deux) avaient participé à l'évaluation, ce qui permet d'avoir une idée plus précise de la qualité de leur demande.

**Tableau 30.** Commentaires représentatifs des candidats concernant leur perception de la justesse et de la transparence du processus d'évaluation structurée
Justesse du processus d'évaluation
Les candidats et les évaluateurs avaient des opinions différentes sur les renseignements à consigner dans chaque section, en particulier dans la section « Approche ». Le recours à cinq évaluateurs au lieu de deux représente un progrès. Des candidats ayant présenté à nouveau une demande en tenant compte de commentaires antérieurs ont trouvé frustrant de voir des évaluateurs formuler de nouvelles suggestions dans le cadre de ce concours pilote ou manifester leur désaccord avec les évaluateurs du processus précédent. Le processus d'attribution des cotes doit être plus transparent. Certains candidats ne sont pas à l'aise avec le fait que les demandes ne font pas toutes l'objet d'une discussion à l'étape 2. Il serait utile de connaître le classement des demandes. Selon de nombreux commentaires, il serait utile de savoir comment les cinq évaluations sont pondérées les unes par rapport aux autres, et de savoir comment les IRSC abordaient les situations où une évaluation était largement différente des autres.

Figure 34-A. Cohérence des évaluations

Figure 34-A : description détaillée

Figure 34-B. Clarté des critères de sélection

Figure 34-B : description détaillée

Figure 34-C. Qualité des commentaires des évaluateurs

Figure 34-C : description détaillée

Figure 34-D. Clarté du système de cotation

Figure 34-D : description détaillée

Figure 34-E. Confiance envers le nouveau processus d'évaluation

Figure 34-E : description détaillée

Figure 34. Satisfaction des candidats à l'égard du processus d'évaluation structurée. Les candidats au concours de Synthèse des connaissances de l'automne 2013 (n = 33 répondants) ont été sondés après l'obtention des résultats afin de connaître leur degré de satisfaction à l'égard de la cohérence des commentaires issus de l'évaluation par les pairs (A), de la clarté des critères de sélection (B), de la qualité des commentaires de l'évaluation par les pairs (C), de la clarté du système de cotation (D), ainsi que la confiance des candidats dansle processus d'évaluation (E). Les réponses ont été réparties en trois catégories : candidats retenus (n = 8), candidats évalués à la réunion en personne à l'étape 2 mais non retenus (n = 11) et candidats non retenus (n = 13). Les données de l'examen international des IRSC fait par Ipsos Reid en 2011 ont été comparées au degré de satisfaction des participants au concours pilote (A-D). Les données utilisées dans l'étude d'Ipsos Reid ont été recueillies auprès de 2 461 intervenants sondés, dont 2 198 étaient des candidats et/ou des titulaires de subvention.

Figure 35.

Figure 35 : description détaillée

Figure 35. Satisfaction globale à l'égard du processus de sélections. Les candidats au concours de Synthèse des connaissances de l'automne 2013 (n = 33 répondants) ont été sondés après l'obtention des résultats du concours afin de déterminer leur degré de satisfaction globale à l'égard du nouveau processus de sélection. Les réponses ont été réparties en trois catégories : candidats retenus (n = 8), candidats évalués à la réunion en personne à l'étape 2 mais non retenus (n = 11) et candidats non retenus (n = 13).

**Tableau 31.** Commentaires représentatifs des candidats concernant les améliorations pouvant être apportées au processus de sélection en vue des prochains concours
Amélioration du processus d'évaluation pour les candidats
Le système précédent était plus équitable (même s'il était moins transparent). Le recours à cinq évaluateurs accroît les possibilités de divergence des opinions; trois pourraient suffire. Toutes les demandes devraient être évaluées à toutes les étapes. La quantité de détails requis est trop importante pour les limites de caractères. Les évaluateurs devraient évaluer chaque proposition de manière approfondie et uniforme afin que les chercheurs principaux puissent obtenir des commentaires cohérents et utiles. Certains candidats souhaiteraient pouvoir présenter les réponses aux évaluations précédentes afin que les évaluateurs connaissent l'historique de la demande. Les candidats aimeraient être mieux informés sur le sens de chaque cote (lettre), la façon dont les cotes et les classements sont reliés selon chaque évaluateur et les uns par rapport aux autres, ainsi que la manière dont les propositions sont classées. Les candidats aimeraient qu'un type d'arbitrage soit offert en cas de divergence d'opinions entre les évaluateurs (une mauvaise évaluation sur cinq peut déterminer si l'on accède ou non à l'étape 2). Les candidats aimeraient obtenir de l'information supplémentaire explicite sur les renseignements qu'il faut présenter dans chaque section. Les candidats aimeraient savoir pourquoi les demandes n'atteignent pas l'étape finale. Les IRSC devraient retirer les commentaires inappropriés des évaluateurs avant de transmettre les résultats aux candidats. Les IRSC devraient faire savoir plus clairement pourquoi certaines demandes passent à l'étape 2. Il faudrait réduire la quantité de documents informatifs (simplifier l'information à l'intention des candidats).

Figure 36-A. Candidats

Figure 36-A : description détaillée

Figure 36-B. Administrateurs de recherche

Figure 36-B : description détaillée

Figure 36-C. Évaluateurs à l'étape 1

Figure 36-C : description détaillée

Figure 36-D. Évaluateurs à l'étape 2

Figure 36-D : description détaillée

Figure 36. Utilité des documents élaborés pour le concours pilote de Synthèse des connaissances. Des candidats (n = 60 répondants) (A), des administrateurs de recherche (n = 15 répondants) (B), des évaluateurs à l'étape 1 (n = 40 répondants) (C) et des évaluateurs à l'étape 2 (n = 17 répondants) (D) du concours de Synthèse des connaissances de l'automne 2013 ont été sondés après leurs activités respectives. Les répondants ont indiqué, à partir d'une liste, les documents qu'ils avaient utilisés pour participer au concours et s'ils les avaient trouvés utiles.

**Tableau 32.** Commentaires représentatifs des participants au concours pilote concernant les documents élaborés pour le concours pilote de Synthèse des connaissances
Candidats et des administrateurs de recherche
En général La trop grande quantité de documents a créé de la confusion dans le processus. Comme c'est le cas pour la plupart des documents des IRSC, les renseignements sont souvent difficiles à repérer ou à interpréter. Subvention de Synthèse des connaissances : concours de l'automne 2013 Il aurait fallu ajouter plus d'instructions au lieu de faire référence à d'autres documents. Guide d'interprétation des critères de sélection pour le concours de subventions de Synthèse des connaissances de l'automne 2013 Il a permis à de nombreux candidats de comprendre quels renseignements devaient être présentés dans chaque section. Il aurait fallu l'intégrer à la possibilité de financement, parce que certains n'avaient pas ce document. Guide d'évaluation par les pairs des IRSC pour le concours de subventions de Synthèse des connaissances de l'automne 2013 N'explique pas comment les évaluateurs à l'étape 1 sont sélectionnés, et pourquoi ils évaluent autant de demandes de subvention.
Évaluateurs à l'étape 1
Possibilité de financement du concours de l'automne 2013 Précise l'objectif du concours. Contient trop d'information. Guide d'évaluation par les pairs des IRSC pour le concours de subventions de Synthèse des connaissances de 2013 S.O.
Évaluateurs à l'étape 2
Subvention de Synthèse des connaissances : possibilité de financement du concours de l'automne 2013 Ce document aide à se concentrer sur les éléments importants. Document cité pour s'informer sur les changements. Subvention de Synthèse des connaissances : concours de l'automne 2013 – Instructions pour l'étape « Présentation d'une demande » à l'aide de RechercheNet Confusion possible pour « vos évaluations », qui peut vouloir dire les « évaluations qui vous ont été attribuées » ou « vos évaluations des évaluations ». La répétition était utile. Guide d'interprétation des critères de sélection pour le concours de subventions de Synthèse des connaissances de l'automne 2013 Essentiel, utile, clair. Permet de comprendre les termes. La nature de ce document n'est pas claire. Guide d'évaluation par les pairs des IRSC pour le concours de subventions de Synthèse des connaissances de l'automne 2013 Très utile, clair et concis.

Figure 37-A. Candidats

Figure 37-A : description détaillée

Figure 37-B. Administrateurs de recherche

Figure 37-B : description détaillée

Figure 37-C. Évaluateurs à l'étape 1

Figure 37-C : description détaillée

Figure 37-D. Évaluateurs à l'étape 2

Figure 37-D : description détaillée

Figure 37. Utilité des leçons mises au point pour le concours pilote de Synthèse des connaissances. Des candidats (n = 60 répondants) (A), des administrateurs de recherche (n = 15 répondants) (B), des évaluateurs à l'étape 1 (n = 40 répondants) (C) et des évaluateurs à l'étape 2 (n = 17 répondants) (D) du concours de Synthèse des connaissances de l'automne 2013 ont été sondés après leurs activités respectives. Les répondants ont indiqué, à partir d'une liste, les leçons qu'ils avaient suivies pour participer au concours et s'ils les avaient trouvées utiles.

**Tableau 33.** Commentaires représentatifs des participants au concours pilote concernant les leçons élaborées pour le concours pilote de Synthèse des connaissances
Candidats et des administrateurs de recherche
Elles seraient utiles à de nombreuses personnes si elles étaient facilement accessibles (p. ex. liens dans la possibilité de financement ou envoi d'un hyperlien dans un courriel au chercheur principal désigné au début du processus de demande dans RechercheNet). Elles étaient très élémentaires et peu utiles à certains. Il serait utile d'ajouter de l'information sur les pièces jointes (c.-à-d. les documents qu'il faut joindre). Il faut ajouter plus d'information concernant les CV en pièce jointe, car il n'était pas indiqué clairement que les personnes ayant présenté les renseignements dans le CVC n'avaient pas à remplir les CV en pièces jointes prévus dans RechercheNet. Il serait utile pour certaines personnes d'ajouter plus d'exemples et la description de l'échéancier à chaque étape pour le concours en question. Beaucoup ont indiqué qu'il était inutile de répéter l'information des documents papier, et que les leçons progressaient trop lentement. Certains ont trouvé les leçons difficiles à comprendre parce qu'elles avaient été créées à la fois pour les candidats et les évaluateurs.
Évaluateurs à l'étape 1
Les leçons étaient bien conçues. Elles étaient utiles parce qu'elles clarifiaient des éléments du processus d'évaluation. Elles devraient être mieux annoncées. Les webinaires étaient bien conçus. La version française de la leçon était liée à la partie anglaise sur l'interprétation des critères de sélection, mais il n'était pas possible de trouver la version anglaise. La version française était difficile à comprendre pour les personnes dont le français n'est pas la langue maternelle, car elle était écrite de façon trop nuancée.
Évaluateurs à l'étape 2
Elles étaient plutôt bonnes. Les deux étapes devraient être accessibles aux évaluateurs aux deux étapes. Il faudrait ajouter un exemple de processus achevé à l'étape 1 et à l'étape 2. Il y a trop d'information – il faudrait résumer les points principaux seulement. Il faudrait créer de très courtes vidéos explicatives dont la narration est rapide (tenir compte du fait que nous les regardons pendant de courtes pauses). Il faudrait dresser une liste des vidéos et de leur durée (p. ex. « Trouver les évaluations de l'étape 1 pour votre évaluation » [47 secondes]). Je crois que le webinaire était mieux conçu – les vidéos auraient pu être plus courtes. Les webinaires étaient bien conçus. Je ne savais pas qu'elles existaient.

Date de modification :: 2015-02-13