Vérification des commentaires destinés aux candidats
Table des matières
Résumé
Introduction
Le rapport de vérification interne sur les commentaires destinés aux candidats fait partie du Plan de vérification fondé sur les risques pour 2012-2015, approuvé par le conseil d'administration des Instituts de recherche en santé du Canada (IRSC).
Les Instituts de recherche en santé du Canada
Les Instituts de recherche en santé du Canada sont l'organisme fédéral responsable du financement de la recherche en santé au Canada. Fondés en juin 2000 en vertu de la Loi sur les Instituts de recherche en santé du Canada, les IRSC rendent des comptes au Parlement par l'intermédiaire de la ministre de la Santé. Ils ont pour mandat « d'exceller, selon les normes internationales reconnues d'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada ». Les IRSC se composent de 13 instituts virtuels – chacun étant dirigé par un directeur scientifique appuyé par le conseil consultatif de l'institut – qui rassemblent tous les partenaires dans le processus de recherche – à savoir ceux qui subventionnent la recherche, ceux qui la réalisent et ceux qui en utilisent les résultats – pour échanger des idées et se concentrer sur les besoins des Canadiens : une bonne santé et les moyens de prévenir et de combattre les maladies. Chaque institut appuie un large éventail de recherches dans des domaines qui lui sont propres et, en consultation avec ses intervenants, établit les priorités de recherche dans ces domaines. Les IRSC financent plus de 14 000 chercheurs et stagiaires dans des universités, des hôpitaux d'enseignement et d'autres organismes de santé et centres de recherche au Canada et à l'étranger.
Commentaires destinés aux candidats
Les IRSC ont adopté un processus d'évaluation par les pairs qui fait appel à des comités d'experts qui évaluent les demandes selon un ensemble de critères et de facteurs afin de déterminer quels projets seront financés. Les demandes sont assignées à deux évaluateurs ou plus qui évaluent la demande et préparent des rapports à titre d'évaluateurs internes avant la réunion du comité. Pendant cette réunion, les pairs discutent des demandes et conviennent d'une note commune. Chaque comité a son agent scientifique, un observateur neutre qui fait la synthèse des discussions. Celui-ci n'attribue pas de note aux demandes.
Dans le cadre du processus d'évaluation par les pairs, les candidats reçoivent des commentaires des deux évaluateurs internes et de l'agent scientifique. Les IRSC apportent actuellement des changements à leurs programmes ouverts de subvention de fonctionnement (POSF) et aux processus d'évaluation par les pairs connexes, et cette vérification a pour but de les aider à ce chapitre.
Risques examinés
Cette vérification traite du risque que les commentaires fournis aux candidats ne reflètent pas les critères établis par les IRSC et qu'ils ne soient pas une synthèse fidèle des discussions du comité au sujet de leur demande. Ce risque s'inscrit dans l'élément « gérance » – « Le régime de contrôle du ministère ou de l'organisme (actif, fonds, effectifs, services, etc.) est intégré et efficace, et tous les employés comprennent bien ses principes sous-jacents » – et dans l'élément Apprentissage, innovation et gestion du changement – « Le ministère ou l'organisme applique une gestion innovatrice et transformatrice, favorisent l'apprentissage au sein de l'organisation, valorisent les connaissances organisationnelles et tirent des leçons de leur rendement » du Cadre de responsabilisation de gestion du Conseil du Trésor.
Objectif
L'objectif de la vérification était d'évaluer la qualité des commentaires que reçoivent les candidats en fonction des critères d'évaluation établis par les IRSC, ainsi que l'évaluations de base du niveau d'adhésion des pairs évaluateurs à ces critères.
Portée
La vérification a porté sur les notes des comités d'évaluation par les pairs et des agents scientifiques relatives à des demandes soumises dans le cadre du POSF de mars 2012 (des renseignements sur l'échantillon sont fournis à l'annexe B). Seules les demandes de subvention de recherche ont été examinées. Les subventions de dissémination, les bourses de formation, les bourses salariales et les autres possibilités de financement ont été exclues. La vérification ne portait pas non plus sur l'exactitude des évaluations en elles-mêmes, ni sur les conflits d'intérêts, la pertinence de l'évaluateur, les décisions relatives au financement, les mentions particulières et les cotes.
Opinion générale des vérificateurs
La vérification a permis de conclure que les commentaires destinés aux candidats présentent des problèmes modestes; certaines faiblesses ont été relevées au niveau des mesures de contrôle, mais le risque couru est limité, car la probabilité ou la conséquence du risque est faible.
Énoncé de conformité
J'estime, en tant que dirigeant de la vérification, que le nombre et la pertinence des procédures de vérification suivies et des éléments probants recueillis attestent l'exactitude de l'opinion exprimée dans le présent rapport. La vérification des commentaires destinés aux candidats a été effectuée conformément à la Politique sur la vérification interne et aux normes professionnelles connexes du gouvernement du Canada. Elle respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme le montrent les résultats d'un programme d'assurance et d'amélioration de la qualité.
Résumé des forces
Durant la vérification, les forces suivantes ont été observées quant aux commentaires destinés aux candidats :
- Les pairs évaluateurs ont constamment fourni des commentaires détaillés sur les méthodes de recherche des demandes.
- Les évaluateurs ont presque toujours fait preuve de professionnalisme, et leurs évaluations ne contenaient pas d'information inappropriée.
- Les notes des agents scientifiques étaient toujours de qualité élevée en ce qui a trait au ton, au contenu, à l'organisation et aux éléments les plus importants concernant le classement des demandes.
- La qualité des commentaires fournis par les évaluateurs était en général la même dans tous les thèmes de recherche, et tous ces thèmes ont été classés dans la même catégorie de qualité générale pour tous les critères.
Résumé des possibilités d'amélioration
La direction devrait toutefois se pencher sur les éléments suivants :
- Les évaluateurs et les agents scientifiques n'ont pas fourni de façon constante des commentaires sur plusieurs des critères utilisés pour évaluer les demandes. Plus particulièrement, les commentaires sur l'originalité, l'environnement et l'impact des travaux doivent être améliorés.
- Bien que la modification du budget soit un aspect important de l'évaluation qui exige une grande expertise de la part des évaluateurs et soit une source fréquente de plainte par les candidats, les commentaires des évaluateurs et les notes des agents scientifiques comportent rarement des arguments explicites qui justifient les changements apportés au budget accompagnant une demande.
- Il n'y a pas de processus visant l'amélioration systématique de la qualité des commentaires destinés aux candidats.
- Les instructions fournies aux comités d'évaluation par les pairs concernant les recommandations visant à encourager ou à dissuader un candidat de présenter de nouveau une demande ne sont pas cohérentes.
Les vérificateurs remercient la direction et le personnel pour leur coopération dans la réalisation de cette vérification.
David Peckham
Dirigeant principal de la vérification
Instituts de recherche en santé du Canada
La direction souscrit aux conclusions de la présente vérification.
Jennifer O'Donoughue
Directrice Exécutive – Implémentation des Réformes
Instituts de recherche en santé du Canada
Rapport détaillé
Méthodologie, critères et conclusion
La vérification des commentaires destinés aux candidats a été effectuée conformément à la Politique sur la vérification interne du gouvernement du Canada. Voici quelques-unes des techniques de vérification utilisées :
- entrevues avec la direction et le personnel des Instituts de recherche en santé du Canada;
- comparaison des évaluations par les pairs et des notes des agents scientifiques avec les critères d'évaluation et les instructions à l'intention des agents scientifiques (voir l'annexe B pour en savoir davantage);
- analyse des résultats conformément à l'ensemble des résultats, aux thèmes de recherche et à la rationalisation.
Les contrôles sont réputés adéquats lorsqu'ils sont suffisants pour réduire au minimum les risques de ne pas atteindre les objectifs. Les critères détaillés et les conclusions sont présentés à l'annexe A du présent rapport.
La vérification s'est déroulée entre novembre 2012 et avril 2013.
Observations, recommandations et plan d'action de la direction
Le tableau ci-dessous présente les observations et les recommandations qui découlent de la vérification, ainsi que le plan d'action de la direction pour corriger les faiblesses relevées
| Observations | Recommandations | Plan d'action de la direction |
|---|---|---|
|
1. Les membres des comités d'évaluation par les pairs ne fournissent pas toujours des commentaires pertinents et complets en raison de la forme des documents actuels. |
||
|
Les directives relatives à l'évaluation par les pairs suggèrent aux évaluateurs de limiter leurs commentaires à trois pages. Dans cette limite, ils doivent aborder cinq critères généraux comportant chacun 20 facteurs (p. ex. la clarté de la question de recherche et la faisabilité de la recherche). En outre, plusieurs autres facteurs régissent la forme de l'évaluation générale (p. ex. des commentaires constructifs et des remarques sur le budget). Ces exigences concurrentes à satisfaire dans un nombre de pages limité et le grand nombre de critères et de facteurs à considérer peuvent faire en sorte que les évaluateurs ne soient pas en mesure d'y répondre en totalité. De plus, on a remarqué que les notes des évaluateurs comprenaient souvent un résumé détaillé de la demande devant servir aux discussions pendant la réunion du comité plutôt que des critiques ou des suggestions concises concernant la demande. Bien qu'il ne soit pas raisonnable de s'attendre à ce que chaque évaluateur fasse des commentaires détaillés sur tous les aspects de la demande et sur tous les facteurs (et certains de ceux-ci ne seront peut-être pas pertinents), l'équipe de vérification croit avoir décelé une difficulté systématique chez la majorité des évaluateurs à faire des commentaires sur certains critères et facteurs (les sections portant sur l'originalité, l'environnement et l'impact de la recherche étaient celles qui causaient le plus de problèmes). Une minorité d'évaluateurs ont intégré les critères et les facteurs d'évaluation dans leur évaluation sous la forme de rubriques, et écrivaient parfois la mention « sans commentaire ». Dans les évaluations des autres évaluateurs, il était impossible de savoir si l'absence de commentaire signifiait que l'évaluateur n'avait tout simplement pas pris en considération un critère ou un facteur ou qu'il considérait qu'il n'y avait pas de problème à mentionner ni d'élément à améliorer. Le nombre de critères que les agents scientifiques doivent prendre en considération est moins élevé que pour les pairs évaluateurs, mais ils font face aux mêmes difficultés en ce qui a trait à l'espace limité qui leur est alloué (une page) pour faire la synthèse des discussions. Dans le cadre de la mise en œuvre des nouveaux programmes ouverts, les IRSC se penchent sur un nouveau processus d'évaluation par les pairs, plus particulièrement sur l'élaboration d'une évaluation structurée. Pour ce type d'évaluation, les évaluateurs devront attribuer une cote à la demande et fournir des commentaires sur les forces et les faiblesses pour chacun des critères établis. Risque et répercussions Sans commentaires complets et précis des évaluateurs, les candidats pourraient ne pas savoir pourquoi leur demande n'a pas reçu une cote élevée. Ils ne sauraient donc pas ce qu'ils doivent améliorer dans leurs demandes subséquentes. Cette situation pourrait s'avérer frustrante pour le candidat et pour l'évaluateur, et empêcher le premier de s'améliorer et de voir son projet retenu (voir l'observation 3 sur les demandes présentées de nouveau). Pour les demandes qui reçoivent des fonds, le processus d'évaluation par les pairs est une occasion de recevoir des suggestions d'autres experts sur des points à améliorer. Cette capacité (ou occasion) pourrait disparaître. |
1a) On doit fournir aux pairs évaluateurs un modèle leur permettant de structurer leur évaluation. Ce modèle doit contenir des sections portant sur chaque critère et chaque facteur selon lesquels les demandes sont évaluées. |
1a) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. Si l'utilisation d'une évaluation structurée s'avère une réussite dans le cadre des projets pilotes de la réforme, les IRSC mettront en œuvre un processus d'évaluation structurée pour l'ensemble des programmes ouverts. Les IRSC étudieront aussi la pertinence de mettre en œuvre une évaluation structurée pour leurs autres programmes. Date d'achèvement prévue En cours pour tous les projets pilotes de la réforme. Si les projets pilotes sont concluants, les modifications seront mises en œuvre pour tous les programmes ouverts d'ici septembre 2017. |
|
1b) Des instructions et des exemples doivent inciter les évaluateurs à fournir des commentaires concis et pertinents pour chaque critère et facteur. Une exigence explicite à déclarer « sans commentaire » devrait être intégrée au besoin. |
1b) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. Par la mise en place d'un collège des évaluateurs, les IRSC étudieront une stratégie de formation pour soutenir les évaluateurs. Cette stratégie comprendrait des instructions complètes à leur intention ainsi que des exemples d'excellentes évaluations rédigées par des évaluateurs des IRSC. De plus, en ce qui a trait aux projets pilotes qui seront lancés au cours des deux prochaines années et qui permettront de vérifier, entre autres, l'efficacité du processus d'évaluation par les pairs proposé, l'équipe de formation des IRSC étudiera des façons de soutenir les pairs évaluateurs au cours de la transition en préparant du matériel de formation pertinent. Grâce à la mise en œuvre du nouveau processus d'évaluation, les évaluateurs auront l'obligation de commenter chaque critère de sélection. Date d'achèvement prévue Septembre 2017 (pour les programmes ouverts) |
|
|
1c) On doit fournir aux agents scientifiques un modèle ou un autre outil pour structurer leur synthèse des discussions1. |
1c) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. Les IRSC analyseront les exigences auxquelles doivent se conformer les agents scientifiques et détermineront quel est le meilleur outil à utiliser, notamment un modèle structuré, pour les notes des agents scientifiques. Date d'achèvement prévue Septembre 2017 (pour les programmes ouverts) |
|
|
1d) La documentation d'orientation et les communications destinées aux membres des comités d'évaluation par les pairs devraient inciter les évaluateurs à émettre des commentaires par rapport à tout critère ou facteur que les évaluateurs oublient systématiquement2. |
1d) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. En plus d'étudier un modèle d'évaluation structurée, comme il est décrit au point 1a dans le cadre du processus d'évaluation par les pairs, les IRSC sont en train de mettre au point un programme de formation pour s'assurer que les évaluateurs sont en mesure de fournir des évaluations de grande qualité. Date d'achèvement prévue Septembre 2017 (pour les programmes ouverts) |
|
|
Selon les instructions à l'intention des agents scientifiques, « [l]'explication sur les réductions dans le budget et/ou dans la durée. L'absence de justification des compressions budgétaires ou de la réduction de la durée est injuste à l'égard des candidats et est souvent à l'origine de plaintes sur le processus d'examen ». En plus des contraintes budgétaires recommandées à l'étape de la demande, les IRSC imposent habituellement une réduction budgétaire généraleadditionnelle sur les budgets de toutes les demandes retenues dans le cadre du programme ouvert de subventions de fonctionnement. Malgré l'importance de cet élément dans l'évaluation, la moitié environ des évaluateurs et des agents scientifiques n'ont pas commenté les budgets de façon explicite. Risque et répercussions Il est essentiel d'expliciter les rajustements budgétaires afin d'assurer l'impartialité et l'intégrité de cette partie controversée et critique du processus d'évaluation par les pairs, où l'expertise et le jugement de ces derniers sont irremplaçables.Ne pas le faire pourrait miner la crédibilité du processus d'évaluation, aliéner et frustrer les candidats et faire augmenter le nombre de plaintes reçues par le personnel et la haute direction des IRSC. |
1e) Les notes des pairs évaluateurs et des agents scientifiques doivent comprendre des commentaires obligatoires sur les budgets, même si aucune réduction n'est faite. |
1e) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. Si les évaluateurs ou les membres d'un comité recommandent une réduction budgétaire, alors il est entendu qu'ils devront faire des commentaires à ce sujet. Dans la foulée de la mise en œuvre des nouveaux programmes ouverts, les IRSC mettent à l'essai un nouveau processus d'évaluation structurée dans lequel il sera obligatoire de faire des commentaires sur le budget si les évaluateurs proposent une réduction. Dans le cadre de ce projet pilote, l'utilisation d'une case à cocher ou d'un autre mécanisme pour confirmer que le budget a été évalué et qu'aucun changement n'est proposé sera étudiée. Dans son étude du modèle structuré pour les notes des agents scientifiques expliqué au point 1c, les IRSC étudieront des outils qui pourraient comprendre une section qui porterait sur le budget, afin de rappeler aux présidents et aux agents scientifiques qu'il s'agit là d'un renseignement important qui doit être intégré dans les notes si le comité recommande une réduction budgétaire. Date d'achèvement prévue Septembre 2017 (pour les programmes ouverts) |
|
2. Il n'existe pas de processus systématique et continu d'amélioration et de surveillance de l'évaluation par les pairs. |
||
|
Cette vérification interne est la première initiative visant à évaluer systématiquement les évaluations réalisées par les pairs par rapport aux critères et aux facteurs, afin de s'assurer que les pairs évaluateurs assument leurs responsabilités de façon adéquate. La vérification montre qu'il est possible d'analyser la pertinence d'une évaluation par les pairs en ce qui a trait au respect des critères et facteurs d'évaluation des IRSC et de déterminer les points à améliorer. En plus d'orienter le processus d'évaluation par les pairs, les renseignements obtenus devraient appuyer les aspects de l'évaluation par les pairs de la réforme en cours. Le processus d'évaluation par les pairs est un volet fondamental du processus de subvention, dont l'intégrité doit être étroitement surveillée et, au besoin, améliorée. À l'heure actuelle, un tel processus n'existe pas. Risque et répercussions Sans processus systématique et continu d'amélioration, les efforts pour surveiller et améliorer l'évaluation par les pairs sont ponctuels ou fondés sur l'intuition plutôt que sur la collecte de données méthodique. |
2a) À l'aide des outils et des résultats de la vérification comme point de départ, un processus d'amélioration et de surveillance continu et systématique devrait être mis en œuvre.
|
2a) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. Grâce à la mise en place d'un collège des évaluateurs, les IRSC étudieront la possibilité d'ajouter un processus continu d'évaluation de la qualité et de surveillance visant tous les évaluateurs membres dudit collège. Date d'achèvement prévue Septembre 2016 |
|
Les candidats sont des acteurs clés du processus d'évaluation par les pairs, en plus d'être les principaux concernés par les résultats. Malgré cela, l'opinion des candidats n'est pas sollicitée à cette fin ni aux fins d'évaluation des commentaires qu'ils reçoivent. L'avis des candidats est reçu de façon non systématique sous la forme de commentaires (habituellement des critiques) sur le classement de leur demande ou les commentaires sur celle-ci pendant les réunions de comité. Risque et répercussions Le risque de ne pas communiquer avec les candidats est minime; il est plutôt question ici de rater une occasion d'obtenir systématiquement des commentaires d'un groupe d'acteurs clés et bien placés pour fournir des commentaires et des suggestions. La réception non systématique de commentaires fait en sorte que les décisions concernant les critères et le processus sont systématiquement ignorées, ou qu'on réagit de manière exagérée à un petit nombre limité de commentaires non représentatifs. |
2b) Le processus d'amélioration de l'évaluation par les pairs devrait comporter un mécanisme visant à obtenir systématiquement l'avis des candidats3. |
2b) Responsabilité Directeur exécutif, Mise en œuvre des réformes Action D'accord. Dans le cadre du processus de concours pilote, les candidats sont interrogés pour obtenir leur rétroaction sur le processus d'évaluation par les pairs (notamment sur les commentaires des évaluateurs). Selon les résultats du projet pilote, les IRSC étudieront la possibilité de continuer à interroger les candidats systématiquement par l'entremise du collège des évaluateurs (mentionné au point 2a). Si cela s'avère utile, les IRSC devraient explorer la possibilité d'interroger aussi les candidats qui soumettent des demandes dans le cadre d'autres programmes que les programmes ouverts. Date d'achèvement prévue Septembre 2017 (pour les programmes ouverts) |
|
3. Les instructions à l'intention des comités d'évaluation par les pairs concernant le fait d'encourager ou de dissuader un candidat de présenter de nouveau une demande fournies dans le manuel des agents scientifiques ne sont pas cohérentes avec le comportement des agents scientifiques ni avec les instructions données pendant les réunions de comité. |
||
|
Selon les instructions à l'intention des agents scientifiques les « notes des agents scientifiques doivent inclure […] une recommandation visant à encourager ou à dissuader le candidat de présenter de nouveau une demande ». Malgré ce mandat clair de guider les candidats sur la pertinence de présenter de nouveau une demande, très peu de notes d'agents scientifiques pour des demandes non touchées par la rationalisation4 contiennent un message clair à cet effet. Une demande touchée par la rationalisation ne contiendra jamais de telles instructions à l'intention des candidats, puisque ce type de demande ne fait pas l'objet de discussions pendant les délibérations de comité. Les candidats reçoivent plutôt un message standard qui mentionne simplement que la demande a fait l'objet de la rationalisation. Dans ces cas, il n'est pas possible pour le comité d'encourager ou de dissuader un candidat de présenter de nouveau une demande. Risque et répercussions Ce manque de constance génère de la confusion en ce qui a trait au rôle d'un comité d'explicitement encourager ou dissuader un candidat de présenter de nouveau une demande. Elle fait en sorte qu'il est peu probable que différents comités d'évaluation traitent des demandes présentées de nouveau de la même façon. |
3a) Les instructions aux comités, fournies oralement ou par écrit, devraient être modifiées pour transmettre un message cohérent sur la présentation à nouveau d'une demande. |
3a) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. Les IRSC étudieront leurs exigences et détermineront s'il est approprié de demander à un comité de formuler une recommandation concernant la pertinence de présenter de nouveau une demande. Si cette exigence est maintenue, les IRSC étudieront les instructions données aux comités d'évaluation par les pairs pour s'assurer que cette exigence est reflétée dans les notes de l'agent scientifique. Date d'achèvement prévue Septembre 2017 (pour les programmes ouverts) |
|
3b) Les commentaires structurés recommandés dans l'observation 1 devraient comprendre une option explicite pour préciser la position du comité, qu'elle soit positive, négative ou neutre, concernant la possibilité de présenter de nouveau une demande. |
3b) Responsabilité Directrice Exécutive – Implémentation des Réformes Action D'accord. Si l'exigence est maintenue, les IRSC détermineront si l'ajout d'une case à cocher dans le modèle de notes des agents scientifiques décrit au point 1c ajoute de la valeur aux notes des agents scientifiques dans les programmes ouverts actuels. Date d'achèvement prévue Septembre 2017 (pour les programmes ouverts) |
|
Annexe A
Critères de vérification
Dans le cadre de cette vérification, les définitions suivantes ont été suivies pour revoir l'évaluation par les pairs et les notes des agents scientifiques.
| Conclusion par rapport aux critères de vérification | Définition des opinions |
|---|---|
| Bon contrôle | Bonne gestion, aucune faiblesse importante relevée ou améliorations mineures seulement. |
| Problèmes modestes | Le contrôle comporte des lacunes, mais le risque couru est limité, car la probabilité ou la conséquence du risque est faible. |
| Importantes améliorations requises | Le contrôle comporte des lacunes qui, individuellement ou cumulativement, présentent un risque potentiel important. |
La conclusion générale tient compte du degré cumulatif d'exposition au risque par rapport aux observations issues de la vérification dans le contexte des critères énoncés ci-dessus.
Conclusion générale
La vérification a permis de conclure que les commentaires destinés aux candidats posent des problèmes modestes, mais que le risque couru est limité, car la probabilité ou la conséquence du risque est faible.
| Critères et facteurs | Qualité globale5 | Conclusion |
|---|---|---|
| Notes des pairs évaluateurs | ||
|
1. Approche de recherche |
Moyenne | Problèmes modestes |
|
Faible | |
|
Faible | |
|
Faible | |
|
Élevée | |
|
Moyenne | |
|
Moyenne | |
|
Moyenne | |
|
2. Originalité de la proposition |
Faible | Problèmes modestes |
|
Faible | |
|
Faible | |
|
3. Caractéristiques du candidat |
Moyenne | Problèmes modestes |
|
Moyenne | |
|
Moyenne | |
|
Faible | |
|
Faible | |
|
Faible | |
|
4. Environnement de recherche |
Faible | Problèmes modestes |
|
Faible | |
|
Faible | |
|
Faible | |
|
5. Impact de la recherche |
Faible | Problèmes modestes |
|
Faible | |
|
Faible | |
|
Faible | |
|
6. Format du rapport |
Élevée | Problèmes modestes |
|
Moyenne | |
|
Élevée | |
|
Élevée | |
|
Moyenne | |
|
Élevée | |
| Notes de l'agent scientifique | ||
|
7. Les notes de l'agent scientifique devraient inclure : |
Moyenne | Problèmes modestes |
|
Moyenne | |
|
Élevée | |
|
Faible6 | |
|
Faible7 | |
|
Moyenne | |
|
Faible | |
|
Élevée | |
|
Élevée | |
|
Élevée | |
|
S.o.8 | |
Annexe B
Caractéristiques de l'échantillon
La vérification a consisté en l'examen de documents d'évaluation par les pairs de 125 demandes présentées en français et en anglais. Ces documents comprenaient deux évaluations à domicile par demande, 250 rapports d'évaluation par les pairs et 125 ensembles de notes d'agents scientifiques. Les 125 demandes ont été choisies au hasard parmi toutes celles reçues dans le cadre du concours de subventions de fonctionnement de mars 2012, réparties dans les groupes suivants :
| Thème de recherche | Financé | Non financé | Rationalisé |
|---|---|---|---|
| 1 – Recherche biomédicale | 10 | 12 | 10 |
| 2 – Recherche clinique | 10 | 10 | 10 |
| 3 – Recherche sur les systèmes de santé | 10 | 10 | 10 |
| 4 – Recherche sur les déterminants sociaux, culturels ou environnementaux de la santé | 11 | 10 | 12 |
| Totaux | 41 | 42 | 42 |
L'évaluation des demandes individuelles a été menée par l'équipe de vérification. Chaque critère et facteur a été jugé selon une échelle à trois échelons fondés sur la qualité des commentaires de l'évaluateur pour chacun (0 = aucun commentaire; 1 = commentaires minimaux; 2 = commentaires rigoureux ou complets). Les pourcentages des évaluations par les pairs ont été calculés en additionnant les notes totales pour un critère ou facteur donné pour toutes les demandes, puis en le divisant pour la note maximale possible de 500 (deux évaluations par demande, avec une note possible maximale de deux par critère ou facteur pour chacune des 125 demandes). Comme aucune des 42 demandes ayant fait l'objet d'une rationalisation ne comprenait des notes d'agent scientifiques, le pourcentage de ces notes a été calculé sur une note maximale de 166 (un ensemble de notes d'agent scientifique par demande, avec une note maximale possible de deux par critère ou facteur pour chacune des 83 demandes concernées).
Données détaillées
Vous trouverez ci-dessous des données illustrant les résultats de la vérification pour l'ensemble des catégories, par thème et par population.
Rapports d'évaluation par les pairs
Vous trouverez dans le tableau ci-dessous la note générale pour les cinq critères. Chaque critère est subdivisé en 2 à 7 facteurs (voir l'annexe A, groupes de critères 1 à 5; les facteurs ont tous été analysés lors de la vérification, mais ils ne figurent pas dans le tableau ci-dessous).
Bien que les tableaux soient intitulés Qualité des évaluations par les pairs, par critères et Qualité des évaluations par les pairs, par format de rapport, comme il est précisé dans la portée de la vérification, l'évaluation ne porte pas sur le mérite scientifique ni sur la justesse des évaluations individuelles. Elle vise strictement la quantité d'information et l'étendue de chaque évaluation selon les critères et facteurs mentionnés dans le Guide d'évaluation par les pairs des IRSC pour les demandes de subvention. La vérification interne n'a pas la prétention, ni le mandat, de juger le mérite scientifique d'une demande ou d'une évaluation par un pair.
Bien que les thèmes de recherche ne soient pas semblables, en général, les différences entre les thèmes sont raisonnables. En aucun moment, les thèmes ne se trouvaient dans des catégories complètement distinctes (p. ex. la qualité dans le thème 1 avait été jugée faible alors que dans le thème 4, elle avait été jugée élevée) et, en fin de compte, les quatre thèmes tombaient dans le même groupe de qualité générale pour chaque critère.
Figure 1 : Qualité des évaluations par les pairs par critère
Description détaillée de la figure 1
Caractéristiques du format des rapports
Le tableau ci-dessous montre la note générale concernant le format du rapport d'évaluation, constitué de cinq sous-critères (voir l'annexe A, groupe 6 des critères).
Figure 2 : Qualité des évaluations par les pairs par format de rapport
Description détaillée de la figure 2
Notes des agents scientifiques
Le tableau ci-dessous montre la note générale concernant la qualité des notes des agents scientifiques basée sur 6 critères et 4 commentaires sur la structure de ces notes (voir l'annexe A, groupe de critères 7). Deux éléments ont été retirés de l'analyse et traités séparément sous le tableau.
Figure 3 : Qualité des notes des agents scientifiques
Description détaillée de la figure 3
Recommandation visant à encourager ou à dissuader un candidat de présenter de nouveau une demande
Étant donné certains problèmes liés à la notation, les pratiques différentes des comités d'évaluation par les pairs et la nature codifiée des recommandations visant à encourager ou à dissuader un candidat de présenter de nouveau une demande, l'interprétation de l'analyse du quatrième critère (« recommandation visant à encourager ou à dissuader le candidat de présenter de nouveau une demande, et suggestions pour améliorer la demande afin de la soumettre de nouveau, le cas échéant ») n'est pas comprise dans le tableau. Ces enjeux sont traités dans les recommandations et le plan d'action de la direction à l'observation 3.
Désaccord parmi les pairs évaluateurs
Le dixième critère qui concerne les notes contenant des justifications pour la résolution des désaccords entre les pairs évaluateurs n'est pas pris en compte dans ce tableau étant donné qu'il y a eu désaccord entre les évaluateurs dans seulement trois cas. Les notes des agents scientifiques résumaient clairement et adéquatement les raisons du désaccord.
Notes en bas de page
- Note en bas de page 1
-
Pendant la vérification, on a noté que certains agents scientifiques ajoutent des tableaux et des échelles de cotation qui communiquent avec concision la qualité de la demande selon chaque critère. Bien que ce ne soit pas une exigence, l'ajout d'une échelle de ce type dans des modèles d'évaluation par les pairs pourrait faciliter le processus de commentaires.
- Note en bas de page 2
-
Si les évaluateurs n'améliorent pas de façon constante la qualité de leurs commentaires pour un critère en particulier et qu'aucun commentaire de la part des candidats ne laisse croire que le critère est utile ou pertinent, il faudrait étudier la possibilité de le supprimer.
Bien qu'il existe certaines différences entre les thèmes de recherche en ce qui a trait à la qualité de l'évaluation en fonction de certains critères (voir l'annexe B), la recommandation d'émettre des commentaires pour les critères qui sont continuellement oubliés pourrait permettre d'éliminer les faiblesses sans autre intervention. Cependant, le mécanisme d'amélioration continu (voir l'observation 2) doit tenir compte du fait que des écarts ont toujours existé entre les thèmes et que ce renseignement devrait être intégré dans les analyses subséquentes.
- Note en bas de page 3
-
Il faudrait bien expliquer la différence entre la qualité de l'évaluation par les pairs de la demande (p. ex. la quantité de renseignements et de raisons fournis par l'évaluateur) et la décision sur le financement qui en découle. Une évaluation de grande qualité pourrait exposer en détail les raisons pour lesquelles un projet ne devrait pas être financé. Elle recevrait donc une note élevée en ce qui concerne la qualité de l'évaluation, même si la proposition, elle, recevait une note très faible et n'était pas financée.
- Note en bas de page 4
-
La « rationalisation » est le processus d'élimination des demandes non concurrentielles selon les notes initiales des évaluateurs afin de maximiser le temps alloué à l'examen des demandes concurrentiellees pendant les réunions d'évaluation par les pairs.
- Note en bas de page 5
-
Les cotes sont fondées sur les notes attribuées à chaque critère ou facteur, exprimées en pourcentage. « Faible » signifie que les critères ont obtenu une note globale de 50 % ou moins du total possible, « moyenne », une note globale de 51 à 79 %, et « élevée », une note globale de 80 à 100 %. Une note faible indique que la plupart ou la totalité des évaluateurs n'ont pas fait explicitement mention du critère ou qu'ils ont fourni une évaluation non pertinente (p. ex. des commentaires brefs ou superficiels). Une note élevée indique que des commentaires détaillés ont été fournis pour ce critère.
Veuillez noter qu'étant donné les limites de la vérification, ces conclusions sur la qualité générale ne reflètent pas de pondération liée à la pertinence de chaque sous-facteur.
- Note en bas de page 6
-
Les rapports individuels qui accordent une cote élevée pour ce critère comprennent des renseignements ou des commentaires additionnels qui ne se trouvent pas dans les rapports d'évaluation par les pairs individuels. Cependant, comme les notes des agents scientifiques qui ne comprennent pas de tels commentaires pourraient indiquer une absence de discussion ou une lacune dans un document, il est impossible de vérifier ce qui est approprié après le fait. Bien qu'une cote « faible » soit attribuée, il y a une forte possibilité que cette cote soit artificiellement faible étant donné la nature de certaines discussions de comité et de certaines demandes.
- Note en bas de page 7
-
Voir les notes de l'agent scientifique à l'annexe B.
- Note en bas de page 8
-
État donné le nombre insuffisant d'évaluations de demandes dans lesquelles il y a eu désaccord, aucune analyse n'a été possible. Voir les notes de l'agent scientifique à l'annexe B.
- Date de modification :