Rapport technique sur la rétroaction dans les sondages sur la qualité de l’évaluation par les pairs

Prairie Research Associates (PRA)

25 novembre 2016

Table des matières

• 1.0 Aperçu
  • 1.1 Méthodologie
  • 1.2 Caractérisation des réponses de sondage
  • 1.3 Fréquences de réponse
  • 1.4 Évaluation de la signification statistique
• 2.0 Profil des répondants
• 3.0 Candidats (n = 1 077)
  • 3.1 Cohérence entre les évaluations et les cotes
  • 3.2 Utilisation des évaluations dans des demandes futures
  • 3.3 Proportion d’évaluations insatisfaisantes
  • 3.4 Importance des critères proposés pour mesurer la qualité d’une évaluation
  • 3.5 Accord avec la pertinence des critères pour les évaluations reçues
• 4.0 Évaluateurs à l’étape 1 (n = 724)
  • 4.1 Lecture des évaluations préliminaires
  • 4.2 Évaluations insatisfaisantes
  • 4.3 Aspects importants de l’évaluation préliminaire
  • 4.4 Perceptions des évaluations préliminaires
  • 4.5 Commentaires facultatifs sur la qualité des évaluations
• 5.0 Présidents virtuels (n = 69)
  • 5.1 Évaluations préliminaires lues
  • 5.2 Évaluations insatisfaisantes
  • 5.3 Importance des critères pour mesurer la qualité des évaluations
  • 5.4 Accord avec la pertinence des critères pour les évaluations lues
  • 5.5 Commentaires facultatifs sur la qualité des évaluations
• 6.0 Évaluateurs à l’étape d’évaluation finale (n = 14)
  • 6.1 Accord avec des énoncés portant sur les évaluateurs à l’étape 1
  • 6.2 Consultation des demandes de subvention
  • 6.3 La lecture de la demande et des évaluations de l’étape 1 était nécessaire
  • 6.4 Commentaires facultatifs sur l’utilité des évaluations de l’étape 1
• 7.0 Principales constatations
  • 7.1 Importance de déterminer la qualité des évaluations
  • 7.2 Principaux points à améliorer
• Annexe A – Résultats du sondage mené auprès des candidats
• Annexe B – Résultats du sondage mené auprès des évaluateurs à l’étape 1
• Annexe C – Résultats du sondage mené auprès des présidents virtuels
• Annexe D – Résultats du sondage mené auprès des évaluateurs à l’étape d’évaluation finale
• Appendix E – Addendum aux tableaux présentant les données sur le degré d’accord (ajout au rapport des IRSC daté du 31 mars 2017)

1.0 Aperçu

Les Instituts de recherche en santé du Canada (IRSC) ont embauché la firme PRA inc. pour qu’elle réalise une analyse indépendante des réponses aux sondages menés auprès des intervenants du concours de subventions Projet du printemps 2016 des IRSC (c.-à-d. les candidats à une subvention, les pairs évaluateurs et les présidents virtuels). Les sondages visaient à recueillir l’avis des intervenants sur la qualité de l’évaluation par les pairs durant ce concours et sur la pertinence des indicateurs proposés pour la mesurer. Les conclusions de l’analyse des données contribueront à éclairer les futures pratiques d’assurance de la qualité des évaluations par les pairs aux IRSC.

1.1 Méthodologie

Les IRSC ont créé un sondage pour chacun des groupes d’intervenants. Les quatre sondages ont été intégrés à une plateforme en ligne (FluidSurveys) en français et en anglais, puis transmis par courriel aux intervenants du concours de subventions Projet du printemps 2016. Les candidats ayant présenté plus d’une demande ne pouvaient répondre au sondage qu’une seule fois.

Les intervenants qui n’avaient pas terminé le sondage ont reçu des courriels de rappel environ une et deux semaines après le courriel initial. Les dates pour chacun des quatre groupes d’intervenants figurent dans le tableau qui suit.

1.2 Caractérisation des réponses de sondage

Les IRSC ont remis à PRA un ensemble de données portant sur chacun des quatre sondages. La firme a analysé les réponses afin de déterminer quels dossiers seraient retenus dans l’analyse. D’après son évaluation, PRA a recensé quatre types de réponses :

• Complet – Ces réponses étaient indiquées comme complètes dans l’ensemble de données; les répondants ont répondu à toutes les questions obligatoires et ont cliqué sur le bouton « Envoyer » pour soumettre le sondage.
• Partiellement complet – Les répondants ont répondu à toutes les questions, mais ils ont sauté des questions ouvertes qui semblaient facultatives.
• Faux incomplet – Les répondants semblent avoir répondu à toutes les questions, mais n’ont pas cliqué sur le bouton « Envoyer » à la fin du sondage.
• Incomplet – Nombreuses questions manquantes ou laissées sans réponse.

La répartition des réponses par types est présentée ci-dessous. Après consultation auprès des IRSC, PRA a décidé d’inclure les réponses de tous les groupes, à l’exception de celles indiquées comme incomplètes.

1.2.1 Taux de réponse

Les taux de réponse sont présentés dans le tableau ci-dessous. Ces taux varient de 36 % chez les candidats à 61 % chez les présidents virtuels.

1.3 Fréquences de réponse

Dans le présent rapport, les réponses « sans objet » ont été exclues des calculs. Les fréquences de toutes les questions figurent aux annexes A à D.

1.4 Évaluation de la signification statistique

PRA a produit des tableaux croisés concernant les évaluateurs et les candidats à l’étape 1; plusieurs variables démographiques sont présentées ci-dessous pour les questions à réponse simple. Pour les questions comportant une échelle de sept points, la firme a utilisé la version courte (deux cotes supérieures, trois cotes médianes, deux cotes inférieures). Les variables suivantes ont été évaluées :

• Candidats – Sexe (homme ou femme), stade de carrière (chercheur en début de carrière, en milieu de carrière ou chevronné), thème (recherche biomédicale, recherche clinique, recherche sur les services et les systèmes de santé et recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations) et demande financée (oui ou non).
• Évaluateurs à l’étape 1 – Sexe (homme ou femme), stade de carrière (chercheur en début de carrière, en milieu de carrière ou chevronné; les catégories « Utilisateurs des connaissances » et « Autre » ont été écartées en raison de la taille inadéquate de l’échantillon) et thème (recherche biomédicale, recherche clinique, recherche sur les services et les systèmes de santé et recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations).

PRA n’a effectué aucune analyse par sous-groupes pour les présidents virtuels et les évaluateurs à l’étape d’évaluation finale, compte tenu de la petite taille des échantillons de chaque groupe.

Toutes les différences concernant les tableaux croisés abordés dans le présent rapport avaient une valeur p inférieure à 0,05.

2.0 Profil des répondants

Le tableau ci-dessous présente le profil des répondants à chacun des quatre sondages : répartition par sexes, par stades de carrière, par postes et par thèmes (et financement ou non des demandes des candidats). L’information ci-dessous a été fournie par les répondants, à l’exception du sexe, qui a été fourni par les IRSC.

Note : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

3.0 Candidats (n = 1 077)

La présente section traite des réponses des candidats.

3.1 Cohérence entre les évaluations et les cotes

La majorité des candidats (55 %) étaient en désaccord ou entièrement en désaccord avec l’affirmation selon laquelle les évaluations écrites qu’ils ont reçues à l’étape 1 concordaient avec les cotes attribuées (O++, O+, O, E++, E+, E, G, F, P), alors que 20 % des candidats se disaient d’accord ou entièrement d’accord.

Les résultats indiquent aussi que les chercheurs financés étaient beaucoup plus susceptibles d’être d’accord ou entièrement d’accord (55 %) que les autres (10 %).

Figure 1 : Accord avec la cohérence des évaluations de l’étape 1 (n = 1 072)

Les évaluations de l’étape 1 que j’ai reçues sont cohérentes puisque les justifications écrites (forces et faiblesses) concordent avec les cotes respectives (O++, O+, O, E++, E+, E, G, F, P)

Différences importantes. Il y avait quelques différences statistiquement significatives entre les groupes et entre leurs réponses à la question précédente.

• Stade de carrière – Les chercheurs en début de carrière étaient statistiquement moins susceptibles d’être en désaccord ou entièrement en désaccord (46 %) avec l’énoncé que les chercheurs en milieu de carrière (57 %) et les chercheurs chevronnés (58 %).
• Thème – Les chercheurs du domaine de la recherche biomédicale (59 %) étaient plus susceptibles d’être en désaccord ou entièrement en désaccord que ceux des domaines de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (49 %), de la recherche clinique (43 %) et de la recherche sur les services et les systèmes de santé (42 %).

3.1.1 Commentaires facultatifs sur la cohérence des cotes

Lorsqu’on leur a demandé de commenter la cohérence des évaluations reçues, les répondants se sont surtout dits préoccupés par la variation entre évaluateurs, suivie de l’incohérence entre les commentaires écrits et les cotes attribuées. Plus précisément, près d’un répondant sur cinq a fait état d’un écart trop important entre les évaluateurs (18 %), et un peu plus d’un répondant sur dix a mentionné que les commentaires ne concordaient pas avec les cotes (12 %). Certains candidats craignaient aussi que les évaluateurs manquent d’expertise ou de connaissances dans le domaine (8 %).

3.2 Utilisation des évaluations dans des demandes futures

Plus de la moitié (53 %) des répondants étaient en désaccord ou entièrement en désaccord pour dire que les évaluations de l’étape 1 reçues contiennent des renseignements utiles qui les aideront à améliorer leur demande pour un concours futur. Moins d’un candidat sur cinq (17 %) était d’accord ou entièrement d’accord avec cet énoncé. Les chercheurs financés étaient environ deux fois plus susceptibles d’être d’accord ou entièrement d’accord (30 %) que les autres (14 %).

Figure 2 : Accord avec l’utilité des évaluations de l’étape 1 pour améliorer les demandes à des concours futurs (n = 1 006)

Les évaluations de l’étape 1 (les cotes et les forces/faiblesses) que j’ai reçues contiennent des renseignements utiles qui m’aideront à affiner ma demande pour un concours futur

Différences importantes. Il y avait quelques différences statistiquement significatives entre les groupes et entre leurs réponses à la question précédente.

• Stade de carrière – Les résultats indiquent que les chercheurs en début de carrière étaient environ deux fois plus susceptibles d’être d’accord ou entièrement d’accord (26 %) que les chercheurs en milieu de carrière (13 %) et les chercheurs chevronnés (14 %).
• Thème – De plus, ceux du domaine de la recherche biomédicale (58 %) étaient beaucoup plus susceptibles d’être en désaccord ou entièrement en désaccord que ceux des domaines de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (47 %), de la recherche clinique (42 %) et de la recherche sur les services et les systèmes de santé (39 %).

3.2.1 Commentaires facultatifs sur l’utilisation des évaluations dans des demandes futures

Lorsqu’on leur a demandé de commenter l’utilisation des évaluations reçues en vue d’améliorer des demandes futures, les répondants ont le plus souvent indiqué que les commentaires n’étaient pas pertinents ou étaient peu utiles (14 %) ou que la majorité des commentaires n’étaient pas suffisamment détaillés pour permettre l’amélioration de demandes futures (10 %). La plupart des commentaires formulés par les candidats étaient négatifs : seulement 6 % d’entre eux n’ont formulé aucun commentaire négatif ou ont fait état d’améliorations possibles pour des demandes futures.

3.3 Proportion d’évaluations insatisfaisantes

Seulement 9 % des candidats ont indiqué qu’aucune de leurs évaluations n’était insatisfaisante. Inversement, 91 % étaient d’avis qu’au moins quelques-unes l’étaient. De ce nombre, 39 % ont indiqué que plus de la moitié des évaluations reçues étaient insatisfaisantes, et 21 %, que la moitié étaient insatisfaisantes.

L’observation des résultats en fonction du financement fait ressortir une différence claire : 26 % des répondants financés estimaient qu’aucune des évaluations n’était insatisfaisante, tandis que seulement 4 % de ceux non financés étaient du même avis.

Figure 3 : Pourcentage d’évaluations insatisfaisantes (n = 1 077)

Selon vous, environ quel pourcentage des évaluations reçues étaient de qualité insatisfaisante?

Différences importantes. Les résultats montrent plusieurs différences entre les groupes et leurs perceptions de la proportion d’évaluations insatisfaisantes. Cependant, les différences selon le stade de carrière et le thème sont très légères (bien qu’il y ait une différence sur le plan statistique) : l’écart entre les groupes est habituellement de seulement trois ou quatre points de pourcentage.

3.3.1 Commentaires facultatifs sur la qualité insatisfaisante des évaluations

Lorsqu’on a leur demandé de commenter les évaluations dont la qualité était, à leur avis, insatisfaisante, seulement 36 % des candidats l’ont fait. Les problèmes les plus fréquemment mentionnés : les réponses des évaluateurs n’étaient suffisamment détaillées pour permettre de comprendre les faiblesses ou d’apporter des améliorations (10 %) ou les évaluations insatisfaisantes provenaient d’évaluateurs qui n’étaient ni qualifiés ni compétents dans le domaine de recherche (9 %). Dans le même ordre d’idées, certains se sont demandé si l’évaluateur avait lu et compris la demande (6 %).

3.4 Importance des critères proposés pour mesurer la qualité d’une évaluation

On a remis aux candidats une liste de critères et on leur a demandé d’indiquer dans quelle mesure ils étaient d’accord avec l’importance de chacun pour déterminer la qualité des évaluations. Les critères avec lesquels ils étaient le plus souvent d’accord ou entièrement d’accord étaient les suivants : description suffisamment détaillée des forces et des faiblesses (78 %), observations claires (76 %), aucune erreur factuelle (75 %) et commentaires respectueux (74 %). La majorité des candidats étaient d’accord ou entièrement d’accord pour dire que tous les critères étaient importants.

Figure 4 : Accord avec des énoncés portant sur l’importance de divers aspects pour mesurer la qualité d’une évaluation (n = 1 077)^{Note en bas de page 1}

Veuillez indiquer dans quelle mesure vous convenez que les critères suivants sont importants pour déterminer la qualité des évaluations, de votre point de vue en tant que candidat

Dans l’ensemble, les répondants financés étaient statistiquement plus susceptibles que les autres d’être d’accord ou entièrement d’accord avec l’importance des huit critères énumérés dans le sondage, comme l’indique la figure suivante.

Figure 5 : Comparaison de l’accord des candidats financés (barre supérieure) et des candidats non financés (barre inférieure) – Importance des critères pour déterminer la qualité des évaluations^{Note en bas de page 2}

Veuillez indiquer dans quelle mesure vous convenez que les critères suivants sont importants pour déterminer la qualité des évaluations, de votre point de vue en tant que candidat

Différences importantes. Il y avait de nombreuses différences statistiquement significatives entre les groupes et entre leurs réponses à la question précédente.

• Sexe – Dans l’ensemble, les femmes étaient plus susceptibles que les hommes d’être d’accord ou entièrement d’accord avec l’importance des différents critères. Plus particulièrement, elles étaient statistiquement plus susceptibles d’être d’accord ou entièrement d’accord avec l’importance des critères suivants : description suffisamment détaillée des forces et des faiblesses (femmes : 84 %; hommes : 75 %), observations claires (femmes : 81 %; hommes : 73 %), commentaires respectueux (femmes : 80 %; hommes : 70 %), aucune référence inappropriée (femmes : 80 %; hommes : 68 %), juste équilibre entre les forces et les faiblesses qui permet d’étayer les cotes attribuées (femmes : 78 %; hommes : 66 %), aucune divulgation de renseignements personnels sur l’évaluateur (femmes : 70 %; hommes : 61 %) et observations centrées sur les critères de sélection (femmes : 69 %; hommes : 56 %).
• Stade de carrière – Les chercheurs en début de carrière étaient généralement plus susceptibles que les autres d’être d’accord ou entièrement d’accord avec l’importance des différents critères. Les résultats présentés au tableau 5 montrent les différences statistiquement significatives par stades de carrière.

• Thème – Les chercheurs les plus susceptibles d’être d’accord ou entièrement d’accord avec l’importance des observations centrées sur les critères de sélection étaient ceux du domaine de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (76 %), suivis de ceux du domaine de la recherche sur les services et les systèmes de santé (71 %). C’est beaucoup plus que pour ceux des domaines de la recherche biomédicale (57 %) ou de la recherche clinique (66 %). Les chercheurs du domaine de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (83 %) étaient aussi plus susceptibles d’être d’accord ou entièrement d’accord avec l’importance du critère aucune erreur factuelle que ceux des domaines de la recherche sur les services et les systèmes de santé (77 %), de la recherche clinique (76 %) ou de la recherche biomédicale (72 %).

3.4.1 Commentaires facultatifs sur l’importance des critères pour déterminer la qualité des évaluations

La plupart des candidats (82 %) n’ont formulé aucun commentaire sur l’importance des critères pour déterminer la qualité des évaluations. Ceux qui l’ont fait ont le plus souvent indiqué que les évaluateurs doivent être qualifiés et compétents dans le domaine de recherche (4 %), souligné la nécessité d’une plus grande responsabilisation des évaluateurs (3 %) ou fait état de problèmes quant au processus ou au système de cotation (3 %).

3.4.2 Commentaires facultatifs sur d’autres indicateurs de qualité

On a aussi demandé aux candidats de décrire tout autre indicateur de qualité qu’ils jugent important pour mesurer la qualité des évaluations. La réponse la plus fréquente était de loin le fait que les évaluateurs doivent être qualifiés et compétents dans le domaine de recherche (10 %), suivie par le fait que les commentaires des évaluateurs doivent être détaillés, être exhaustifs et permettre d’améliorer de futures demandes (4 %). Aucun autre indicateur n’a été mentionné par plus de 2 % des candidats.

3.5 Accord avec la pertinence des critères pour les évaluations reçues

Les candidats ont indiqué à quel point ils étaient d’accord avec l’importance de plusieurs aspects du processus d’évaluation. Ils étaient plus susceptibles d’être d’accord ou entièrement d’accord pour dire que leurs évaluations ne comportaient aucune divulgation de renseignements personnels sur l’évaluateur (73 %). En revanche, les candidats étaient moins susceptibles d’être d’accord ou entièrement d’accord pour dire que les évaluations contenaient unjuste équilibre entre les forces et les faiblesses qui permet d’étayer les cotes attribuées (17 %) et une description suffisamment détaillée des forces et des faiblesses (20 %). Dans l’ensemble, ils étaient plus susceptibles d’être en désaccord avec cinq des huit énoncés.

Figure 6 : Accord avec la pertinence des énoncés pour les évaluations reçues (n = 1 077)^{Note en bas de page 3}

Please indicate the extent to which the following statements apply to the reviews you received

Dans l’ensemble, les chercheurs financés étaient plus susceptibles que ceux non financés d’être d’accord ou entièrement d’accord avec la mesure dans laquelle différentes mesures de la qualité s’appliquaient aux évaluations reçues. Les écarts variaient de 13 à 43 points de pourcentage.

Figure 7 : Comparaison de la mesure dans laquelle les énoncés s’appliquaient aux évaluations reçues – Candidats financés (barre supérieure) et candidats non financés (barre inférieure)^{Note en bas de page 4}

Please indicate the extent to which the following statements apply to the reviews you received

Différences importantes. Il y avait de nombreuses différences statistiquement significatives entre les groupes.

• Sexe – Les femmes étaient plus susceptibles que les hommes d’être d’accord ou entièrement d’accord pour dire que leur évaluation ne comportait aucune référence inappropriée (femmes : 62 %; hommes : 53 %) et aucune divulgation de renseignements personnels sur l’évaluateur (femmes : 79 %; hommes : 69 %).
• Stade de carrière – Comme l’indique le tableau qui suit, les chercheurs en début de carrière étaient généralement plus susceptibles d’être d’accord ou entièrement d’accord avec la mesure dans laquelle différentes mesures de la qualité s’appliquaient aux évaluations reçues que ceux en milieu de carrière ou les chercheurs chevronnés.

• Thème – Pour bon nombre des questions, les candidats du domaine de la recherche biomédicale étaient statistiquement moins susceptibles d’être d’accord ou entièrement d’accord que ceux des trois autres domaines.

3.5.1 Commentaires facultatifs sur des énoncés concernant les évaluations

Très peu de candidats ont formulé des commentaires sur l’applicabilité des énoncés aux évaluations qu’ils ont reçues, la grande majorité (87 %) ne donnant aucune réponse. Les réponses fournies variaient considérablement. Les plus fréquentes faisaient référence à la compréhension des demandes par les évaluateurs (2 %), à un manque de détails dans les évaluations (2 %), aux écarts entre les évaluations de différents évaluateurs (2 %) et à des problèmes concernant des commentaires inappropriés, erronés ou non objectifs (2 %).

4.0 Évaluateurs à l’étape 1 (n = 724)

La présente section traite des réponses des évaluateurs à l’étape 1.

4.1 Lecture des évaluations préliminaires

4.1.1 Évaluations préliminaires lues

Au total, 90 % des évaluateurs à l’étape 1 ont indiqué avoir lu les évaluations préliminaires des pairs à qui les mêmes demandes avaient été assignées.

Différence importante. Les évaluateurs du domaine de la recherche biomédicale (94 %) étaient statistiquement plus susceptibles de dire qu’ils avaient lu les évaluations que ceux des domaines de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (88 %), de la recherche clinique (86 %) et de la recherche sur les services et les systèmes de santé (81 %).

4.1.2 Commentaires facultatifs – Raisons invoquées par les évaluateurs à l’étape 1 pour avoir lu les évaluations préliminaires

Les répondants qui avaient lu les évaluations ont dit l’avoir principalement fait pour deux raisons : pour comparer les cotes en vue d’évaluer ou d’ajuster les leurs (44 %) ou pour comprendre le point de vue d’autres évaluateurs ou se préparer à la discussion (36 %).

Les évaluateurs ont aussi mentionné avoir lu les évaluations pour vérifier des aspects importants qui pourraient leur avoir échappé durant l’évaluation (22 %), pour repérer des écarts (15 %) ou pour obtenir des renseignements d’évaluateurs d’autres disciplines ou en dehors de leur domaine d’expertise (13 %).

4.1.3 Commentaires facultatifs – Raisons invoquées par les évaluateurs à l’étape 1 pour ne pas avoir lu les évaluations préliminaires

Les 9 % restants n’ont pas lu les autres évaluations (1 % n’a pas répondu à cette question). La plupart des raisons invoquées ne concernaient pas les évaluations en tant que telles, mais plutôt les évaluateurs eux-mêmes : ils ont manqué de temps (27 %), ils ont eu de la difficulté à accéder aux évaluations en ligne (12 %) ou ils ne savaient pas comment y accéder (8 %). La seule raison fréquemment mentionnée touchant le processus d’évaluation même était la suivante : certains évaluateurs voulaient éviter l’introduction de tout biais dans leur évaluation (15 %).

4.2 Évaluations insatisfaisantes

Au total, 63 % des évaluateurs à l’étape 1 qui avaient lu les évaluations préliminaires ont dit que la qualité d’au moins quelques-unes d’entre elles était insatisfaisante, et 12 % ont même indiqué qu’au moins la moitié des évaluations étaient insatisfaisantes. Le groupe le plus important est formé des évaluateurs qui ont dit qu’entre 10 % et 30 % des évaluations étaient insatisfaisantes, ce qui représente 46 % des évaluateurs qui avaient lu les évaluations préliminaires.

Figure 8 : Pourcentage d’évaluations préliminaires insatisfaisantes (n = 658)^{Note en bas de page 5}

Environ quel pourcentage des évaluations préliminaires étaient de qualité insatisfaisante, d’après vous?

Différences importantes. Les évaluateurs du domaine de la recherche biomédicale (71 %) étaient beaucoup plus susceptibles que ceux des domaines de la recherche clinique (49 %), de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (46 %) et de la recherche sur les services et les systèmes de santé (38 %) à dire avoir remarqué des évaluations insatisfaisantes.

4.2.1 Commentaires facultatifs sur des évaluations insatisfaisantes

Lorsqu’on a demandé aux évaluateurs à l’étape 1 de commenter le pourcentage d’évaluations préliminaires insatisfaisantes, seulement 39 % l’ont fait. Dans les commentaires reçus, bon nombre de problèmes ont été abordés, la plupart concernant les évaluations mêmes, par exemple : les réponses des évaluateurs n’étaient pas suffisamment détaillées (16 %), les évaluateurs n’ont pas soumis les évaluations ou l’ont fait en retard (12 %) ou les évaluateurs n’avaient pas fourni de commentaires ni de justifications à l’appui de leurs cotes (11 %).

Certains évaluateurs à l’étape 1 ont aussi formulé des commentaires au sujet de leurs pairs, indiquant que les évaluateurs n’étaient pas suffisamment qualifiés ou manquaient d’expérience pour évaluer des demandes (8 %), que les évaluateurs manquaient d’expertise ou de connaissances dans le domaine (6 %) ou que les évaluateurs n’étaient pas objectifs ou étaient en situation de conflit d’intérêts avec les demandes qu’ils évaluaient (6 %).

4.3 Aspects importants de l’évaluation préliminaire

Aux yeux de la grande majorité des évaluateurs à l’étape 1, les huit aspects servant à mesurer la qualité des évaluations étaient importants, notamment observations claires (94 % d’accord ou entièrement d’accord), commentaires respectueux (92 %) et description suffisamment détaillée des forces et des faiblesses (91 %). Même pour l’aspect ayant obtenu le degré d’accord le plus faible (observations centrées sur les critères de sélection), plus de trois répondants sur quatre (76 %) ont indiqué être d’accord ou entièrement d’accord.

Figure 9: Figure 9 : Opinion concernant l’importance des aspects de l’évaluation préliminaire (n = 724)^{Note en bas de page 6}

Dans quelle mesure jugez-vous importants les énoncés suivants pour mesurer la qualité d’une évaluation?

Différences importantes. Il y avait de nombreuses différences statistiquement significatives entre les groupes.

• Sexe – Plusieurs différences ont été constatées. Les femmes étaient plus susceptibles que les hommes d’être d’accord ou entièrement d’accord pour dire que chacun des aspects suivants est important : observations claires (femmes : 97 %; hommes : 91 %), commentaires respectueux (femmes : 96 %; hommes : 90 %) et aucune erreur factuelle (femmes : 95 %; hommes : 87 %).
• Stade de carrière – Les chercheurs en début de carrière (89 %) étaient plus susceptibles que ceux en milieu de carrière (76 %) ou les chercheurs chevronnés (77 %) d’être d’accord ou entièrement d’accord avec l’importance du critère juste équilibre entre les forces et les faiblesses qui permet d’étayer les cotes attribuées.
• Thème – En ce qui concerne les observations centrées sur les critères de sélection, les chercheurs des domaines de la recherche sur les services et les systèmes de santé (85 %), de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (81 %) et de la recherche clinique (80 %) étaient plus susceptibles d’être d’accord ou entièrement d’accord que ceux du domaine de la recherche biomédicale (70 %).

4.3.1 Commentaires facultatifs sur les énoncés portant sur la mesure de la qualité des évaluations

Lorsqu’on a demandé aux évaluateurs à l’étape 1 de commenter les énoncés concernant la qualité des évaluations, très peu d’entre eux (11 %) l’ont fait. En fait, aucun thème unique n’a été mentionné par plus de 2 % des répondants. Dans de nombreux cas, les commentaires portaient sur des problèmes liés aux questions (tous les aspects sont importants, la formulation des questions manque de clarté, etc.) plutôt que sur la mesure de la qualité des évaluations en général.

4.4 Perceptions des évaluations préliminaires

Lorsqu’on a demandé aux évaluateurs à l’étape 1 dans quelle mesure huit énoncés étaient représentatifs des évaluations préliminaires, la plupart d’entre eux ne se sont pas montrés trop négatifs au sujet des évaluations. Bon nombre d’entre eux semblaient plutôt trouver problématique le fait que la majorité des évaluateurs attribuaient des cotes du milieu de l’échelle de cotation (p. ex. 49 % des évaluateurs à l’étape 1 ont répondu « d’accord », « plutôt en désaccord » ou « neutre » quant à la pertinence de l’énoncé juste équilibre entre les forces et les faiblesses qui permet d’étayer les cotes attribuées pour les évaluations préliminaires réalisées).

Dans l’ensemble, les évaluateurs à l’étape 1 étaient particulièrement susceptibles d’être d’accord ou entièrement d’accord pour dire que les aspects aucune divulgation de renseignements personnels sur l’évaluateur (85 %), aucune référence inappropriée au candidat, à l’établissement de recherche ni au domaine de recherche (79 %) et commentaires respectueux (76 %) s’appliquaient aux évaluations réalisées.

Figure 10 : Accord avec la pertinence d’énoncés pour les évaluations préliminaires (n = 724)^{Note en bas de page 7}

Veuillez préciser dans quelle mesure les énoncés suivants s’appliquent aux évaluations préliminaires que vous avez lues

Différences importantes. Il y avait de nombreuses différences importantes par thèmes, et quelques-unes par stades de carrière.

• Stade de carrière – Les chercheurs chevronnés (74 %) étaient moins susceptibles que ceux en milieu de carrière (85 %) ou en début de carrière (81 %) d’être d’accord ou entièrement d’accord pour dire que les évaluations ne comportaient aucune référence inappropriée au candidat, à l’établissement de recherche ni au domaine de recherche.
• Thème – Comme l’indique le tableau ci-dessous, pour cinq questions, les répondants du domaine de la recherche biomédicale étaient beaucoup moins susceptibles d’être d’accord ou entièrement d’accord que ceux des trois autres domaines.

N.B. : Les réponses « sans objet » ont été exclues des calculs.

4.4.1 Commentaires facultatifs sur les énoncés portant sur les évaluations préliminaires

Lorsqu’on a demandé aux évaluateurs à l’étape 1 de commenter les énoncés concernant les évaluations préliminaires, seulement 21 % l’ont fait. Les résultats montrent qu’aucun aspect n’a été soulevé par la majorité des évaluateurs; ce sont plutôt de nombreux aspects qui ont été mentionnés. Un seul a été mentionné par plus de 4 % des évaluateurs à l’étape 1 : il était difficile de répondre à la série précédente de questions (figure 10) en raison de la qualité variable des évaluations préliminaires (5 %).

4.5 Commentaires facultatifs sur la qualité des évaluations

Pour conclure le sondage, on a demandé aux évaluateurs à l’étape 1 de faire part de tout autre indicateur de la qualité qu’ils jugeaient important pour définir la qualité d’une évaluation. Comme ce fut le cas avec d’autres questions ouvertes à la fin du sondage, la majorité (86 %) des évaluateurs n’ont pas répondu. Les évaluateurs ont souvent formulé des commentaires sur leurs pairs (par opposition aux évaluations), indiquant que ceux-ci devraient être qualifiés et compétents dans le domaine de recherche (3 %) ou qu’ils devraient terminer leurs évaluations et respecter les échéances (1 %).

5.0 Présidents virtuels (n = 69)

La présente section traite des réponses des présidents virtuels.

5.1 Évaluations préliminaires lues

Presque tous (97 %) les présidents virtuels ont dit avoir lu les évaluations préliminaires préparées par leurs évaluateurs.

5.2 Évaluations insatisfaisantes

Au total, 93 % des présidents virtuels qui avaient lu les évaluations préliminaires ont dit qu’au moins quelques-unes de celles-ci étaient insatisfaisantes. En fait, 39 % d’entre eux ont indiqué qu’au moins la moitié des évaluations préliminaires qu’ils avaient lues étaient insatisfaisantes.

Figure 11 : Pourcentage d’évaluations préliminaires insatisfaisantes (n = 67)^{Note en bas de page 8}

Environ quel pourcentage des évaluations préliminaires étaient de qualité insatisfaisante, d’après vous?

5.2.1 Commentaires facultatifs sur les évaluations insatisfaisantes

Lorsqu’on a demandé aux présidents virtuels de commenter la proportion d’évaluations insatisfaisantes, 75 % l’ont fait. La critique formulée le plus souvent à ce sujet – et de loin – était que les évaluateurs n’ont pas fourni de réponses assez détaillées pour étayer leurs cotes (51 %). Sinon, seuls quelques autres commentaires ont été émis par plus de 10 % des présidents virtuels, à savoir les retards dans la réception des évaluations (17 %) et l’impression que les évaluations de piètre qualité provenaient d’évaluateurs inexpérimentés ou non compétents (15 %) et les cotes attribuées ne concordaient pas avec les commentaires formulés (13 %).

5.3 Importance des critères pour mesurer la qualité des évaluations

Lorsqu’on a demandé aux présidents virtuels d’évaluer l’importance des mêmes huit facteurs en ce qui concerne la qualité des évaluations, ils ont semblé les juger tous importants (en se disant d’accord ou entièrement d’accord). Cela dit, les deux facteurs les plus importants semblent être description suffisamment détaillée des forces et des faiblesses (96 % d’accord ou entièrement d’accord – 84 % entièrement d’accord) et observations claires (93 % d’accord ou entièrement d’accord – 62 % entièrement d’accord).

Ces résultats sont préoccupants, étant donné que la figure 12 montre que les présidents virtuels ont considéré la description suffisamment détaillée des forces et des faiblesses comme l’une des plus grandes faiblesses des évaluations préliminaires. En effet, cet énoncé a récolté la proportion la plus élevée de réponses « en désaccord » ou « entièrement en désaccord ».

Figure 12 : Importance accordée à des énoncés portant sur la mesure de la qualité des évaluations (n = 69)

Dans quelle mesure jugez-vous importants les énoncés suivants pour mesurer la qualité d’une évaluation?

5.3.1 Commentaires facultatifs sur l’importance des critères

Lorsqu’on a demandé aux présidents virtuels de commenter les énoncés concernant la qualité des évaluations, la plupart (77 %) ne l’ont pas fait. Par ailleurs, aucun thème central n’est représentatif des réponses à cette question. Les deux seuls thèmes dégagés sont tous les aspects sont importants (3 %) et préférence pour les rencontres en personne (3 %).

5.4 Accord avec la pertinence des critères pour les évaluations lues

On a demandé aux présidents virtuels d’indiquer dans quelle mesure ils étaient d’accord avec huit énoncés concernant les évaluations préliminaires qu’ils avaient lues. Les résultats présentés à la figure 13 montrent que les points de vue varient grandement pour chacune des questions.

• Les présidents virtuels étaient le plus susceptibles d’être d’accord ou entièrement d’accord pour dire que l’énoncé aucune divulgation de renseignements personnels sur l’évaluateur s’appliquait aux évaluations préliminaires. Au total, 50 % se sont dits entièrement d’accord avec cet énoncé.
• À l’autre extrémité, les présidents virtuels étaient le moins susceptibles d’être d’accord ou entièrement d’accord pour dire qu’un juste équilibre entre les forces et les faiblesses qui permet d’étayer les cotes attribuées (16 %) s’appliquait; 28 % étaient en désaccord ou entièrement en désaccord avec cet énoncé.
• Enfin, les présidents virtuels étaient le plus susceptibles d’être en désaccord ou entièrement en désaccord avec l’énoncé selon lequel les évaluations préliminaires comportaient une description suffisamment détaillée des forces et des faiblesses (38 %).

Figure 13 : Accord avec des énoncés portant sur la capacité de lire les évaluations préliminaires des évaluateurs (n = 67)^{Note en bas de page 9}

Please indicate the extent to which the following statements apply to the preliminary reviews you read

5.4.1 Commentaires facultatifs sur les énoncés portant sur les évaluations préliminaires

Lorsqu’on a demandé aux présidents virtuels de commenter les énoncés concernant les évaluations préliminaires, seulement environ la moitié l’ont fait. L’examen des résultats ne montre aucune critique ou suggestion précise à ce sujet; souvent, les présidents virtuels critiquaient les évaluations ou le processus en général (p. ex. « Le format d’évaluation structuré était désastreux, tant pour les candidats que pour les évaluateurs. »).

5.5 Commentaires facultatifs sur la qualité des évaluations

Pour conclure le sondage, on a demandé aux présidents virtuels de faire part de tout autre indicateur de la qualité qu’ils jugeaient important pour définir la qualité d’une évaluation. Comme ce fut le cas avec d’autres questions ouvertes à la fin du sondage, la majorité (59 %) des présidents virtuels n’ont pas répondu. Il a été difficile de dégager des thèmes communs des réponses obtenues, comme seuls quelques-uns ont été mentionnés par plusieurs présidents. La suggestion la plus fréquente : les évaluateurs devraient être compétents et expérimentés dans le domaine qu’ils évaluent (12 %).

6.0 Évaluateurs à l’étape d’évaluation finale (n = 14)

La présente section traite des réponses des évaluateurs à l’étape d’évaluation finale.

6.1 Accord avec des énoncés portant sur les évaluateurs à l’étape 1

Les évaluateurs à l’étape d’évaluation finale étaient presque tous en désaccord avec les énoncés selon lesquels les évaluateurs à l’étape 1 ont fourni des rétroactions adéquates (93 % en désaccord ou entièrement en désaccord)ou claires (100 % en désaccord ou entièrement en désaccord) qui supportaient leurs cotes.

Figure 14 : Accord avec des énoncés portant sur les évaluateurs à l’étape 1 (n = 14)

Les évaluateurs à l’étape 1...

6.2 Consultation des demandes de subvention

Au total, 93 % des évaluateurs à l’étape d’évaluation finale ont dit avoir consulté les demandes de subvention en plus des évaluations de l’étape 1.

6.3 La lecture de la demande et des évaluations de l’étape 1 était nécessaire

Parmi les 93 % d’évaluateurs à l’étape d’évaluation finale qui ont consulté les demandes de subvention en plus des évaluations de l’étape 1, 85 % étaient d’accord ou entièrement d’accord (dont 69 % entièrement) avec l’énoncé la lecture de la demande et des évaluations de l’étape 1 était nécessaire pour l’évaluation de l’étape finale.

Figure 15 : Opinion concernant la nécessité de lire la demande et les évaluations de l’étape 1 (n = 13)^{Note en bas de page 10}

La lecture de la demande et des évaluations de l’étape 1 était nécessaire pour l’évaluation de l’étape finale

6.4 Commentaires facultatifs sur l’utilité des évaluations de l’étape 1

Lorsqu’on a demandé aux répondants de commenter l’utilité des évaluations de l’étape 1 pour l’étape d’évaluation finale, ils ont le plus souvent indiqué que les évaluateurs n’avaient pas fourni assez de détails et de renseignements utiles dans leurs évaluations (57 %) ou que les évaluateurs n’étaient pas compétents dans le domaine de recherche (36 %). Une bonne proportion de répondants ont aussi dit que de nombreuses évaluations n’avaient pas été soumises ou avaient été soumises en retard (29 %).

7.0 Principales constatations

La présente section résume les principales constatations issues de la recherche en synthétisant les résultats des quatre sondages menés auprès des groupes d’intervenants.

7.1 Importance de déterminer la qualité des évaluations

La figure ci-dessous compare la proportion d’intervenants de chaque groupe qui se sont dits d’accord ou entièrement d’accord avec l’importance de chaque énoncé. Les résultats indiquent que les groupes considèrent généralement les énoncés description suffisamment détaillée des forces et des faiblesses et observations claires comme les plus importants (exception faite des évaluateurs à l’étape 1, qui placent l’énoncé commentaires respectueux juste devant description suffisamment détaillée des forces et des faiblesses).

En revanche, les intervenants ont semblé accorder moins d’importance aux énoncés aucune divulgation de renseignements personnels sur l’évaluateur et observations centrées sur les critères de sélection.

Figure 16 : Réponses « d’accord » et « entièrement d’accord » aux énoncés relatifs à l’importance de la qualité des évaluations par groupes d’intervenants

Veuillez indiquer dans quelle mesure vous convenez que les critères suivants sont importants pour déterminer la qualité des évaluations

7.2 Principaux points à améliorer

Les thèmes suivants semblent toujours revenir dans les commentaires qualitatifs, peu importe le groupe d’intervenants.

• Manque de rétroaction de qualité de la part des évaluateurs – Les candidats, les évaluateurs et les présidents virtuels ont tous souligné que de nombreuses évaluations manquaient de contenu et de détails. Le manque de commentaires détaillés semble avoir engendré deux problèmes importants pour les candidats. Premièrement, le manque de détails signifiait souvent que les commentaires des évaluateurs ne concordaient pas avec les cotes qu’ils avaient attribuées à la demande. De nombreux candidats ont mentionné que souvent, les commentaires ne faisaient qu’une ou deux lignes et ne comportaient aucune remarque négative ni critique constructive, mais qu’ils étaient pourtant accompagnés d’une cote inférieure à O++ ou O+. Deuxièmement, les candidats n’ont reçu aucune indication leur permettant d’améliorer de futures demandes, voire de prendre conscience qu’il était inutile de présenter une nouvelle demande en apportant des changements à la constitution de l’équipe, à la méthodologie ou à l’approche, par exemple, tant les problèmes étaient grands. En effet, lorsqu’on a leur a demandé d’évaluer les forces de l’évaluation, tous les intervenants ont souligné que ce qui avait le moins bien fonctionné était le juste équilibre entre les forces et les faiblesses qui permet d’étayer les cotes attribuées.
• Perception des qualifications des évaluateurs – Les candidats et même certains évaluateurs et présidents virtuels ont laissé entendre que bon nombre des évaluations perçues comme étant de piètre qualité provenaient d’évaluateurs qui ne possédaient ni les connaissances ni l’expertise nécessaires dans le domaine de recherche proposé. Pour étayer leurs propos, ils ont souvent fait allusion à des évaluateurs ayant formulé des commentaires qu’ils jugeaient incorrects sur le plan factuel ou tout simplement fondés sur des opinions plutôt que sur des faits.
• Problèmes liés à l’échéancier des évaluations – De nombreux évaluateurs et présidents virtuels ont fait état de problèmes liés aux échéanciers, soulignant que bon nombre d’évaluations avaient été soumises très peu de temps avant la date limite (ce qui n’a pas donné suffisamment de temps aux évaluateurs pour en lire d’autres) et que certaines n’avaient même pas été soumises. Quelques évaluateurs et présidents virtuels ont mentionné que des évaluateurs pourraient avoir manqué de temps pour évaluer correctement les demandes ou en avoir eu trop à évaluer dans les délais impartis. Cette situation pourrait avoir eu des répercussions sur la qualité des évaluations et la quantité de détails fournis, mais elle pourrait aussi être liée à un problème récurrent soulevé par des candidats. En effet, des candidats ont indiqué soupçonner que certains évaluateurs n’avaient pas pris le temps de lire attentivement les demandes, puisqu’ils ont remarqué des erreurs dans les évaluations (mention que des renseignements étaient manquants alors qu’ils se trouvaient pourtant dans la demande, renvoi à des renseignements ne se trouvant pas dans la demande, etc.).

Annexe A – Résultats du sondage mené auprès des candidats

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

Annexe B – Résultats du sondage mené auprès des évaluateurs à l’étape 1

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.
Base : Évaluateurs à l’étape 1 ayant lu les autres évaluations préliminaires

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.
Base : Évaluateurs à l’étape 1 n’ayant pas lu les autres évaluations préliminaires

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Base : Évaluateurs à l’étape 1 ayant lu les autres évaluations préliminaires

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Base : Évaluateurs à l’étape 1 ayant lu les autres évaluations préliminaires.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %. Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

Annexe C – Résultats du sondage mené auprès des présidents virtuels

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Base : Présidents virtuels ayant lu les évaluations préliminaires

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Base : Présidents virtuels ayant lu les évaluations préliminaires

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Les réponses « sans objet » ont été exclues des calculs.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

Annexe D – Résultats du sondage mené auprès des évaluateurs à l’étape d’évaluation finale

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.

N.B. : Les chiffres ayant été arrondis, il se peut que les totaux ne correspondent pas à 100 %.
Base : Évaluateurs à l’étape d’évaluation finale ayant consulté les demandes de subvention en plus des évaluations de l’étape 1

N.B. : Les répondants pouvaient donner plus d’une réponse. Il se peut donc que les totaux dépassent 100 %.

Annexe E – Addendum aux tableaux présentant les données sur le degré d’accord (ajout au rapport des IRSC daté du 31 mars 2017)

Contexte

Pour compléter le travail présenté ici, les IRSC ont embauché un deuxième entrepreneur [Knowledge Translation Program (KTP)] chargé d’analyser les données recueillies au moyen d’un sondage mené auprès des participants au concours de subventions Projet de 2016 dans le but de produire un rapport. Les firmes PRA et KTP ont présenté de diverses manières les données obtenues à partir des questions de type Likert visant à évaluer la mesure dans laquelle les participants étaient d’accord avec des énoncés sur la qualité de l’évaluation. Le présent addendum a été préparé par les IRSC pour illustrer les données sur le degré d’accord de la même façon que pour le rapport final sur le concours de subventions Projet 2016 produit par KTP.

Tout d’abord, pour évaluer la rétroaction, les deux firmes ont analysé un sous-ensemble de questions sur une échelle de type Likert en sept points^{Note en bas de page 11}. À noter que, dans le rapport de PRA, les sept choix de réponse ont été combinés pour former trois catégories de réponse^{Note en bas de page 12}. Ensuite, le nombre de répondants par catégorie de réponse a été présenté pour chaque question de type Likert dans le rapport de KTP, ce qui n’était pas le cas dans le rapport de PRA. Voilà pourquoi les tableaux modifiés ci-dessous présentent les données sur le degré d’accord analysées dans le rapport de PRA de la même façon que dans le rapport 2016 de KTP.

Remarques importantes concernant le présent addendum :

• Les changements apportés aux données sur le degré d’accord (publiées dans les tableaux qui suivent) ont été apportés par le personnel des IRSC à partir des constatations faites et communiquées par PRA.
• Les tableaux de données modifiés présentés ci-dessous n’apparaissent pas dans le corps du présent rapport.
• Les tableaux de données qui suivent ne faisaient pas partie du rapport publié par les IRSC pour éclairer le travail du comité d’experts sur l’évaluation par les pairs (CEEP).

Date de modification :

2017-05-30