Aide-mémoire pour assurer la qualité de l'évaluation : questions et réponses
1. Quel est le but de l'Aide-mémoire pour assurer la qualité de l'évaluation?
L'Aide-mémoire pour assurer la qualité de l'évaluation est complémentaire à la définition de qualité de l'évaluation selon les IRSC. Ensemble, la définition et l'Aide-mémoire aident à harmoniser la qualité des évaluations pour toutes les possibilités de financement des IRSC, et fixent des attentes communes quant à la qualité des évaluations de la part des candidats et des évaluateurs.
L'Aide-mémoire est conçu comme un outil pratique pour aider les évaluateurs, les présidents, les agents scientifiques et les candidats à appliquer les critères de qualité des évaluations de manière objective. Il ne vise pas à déterminer la validité d'une opinion scientifique exprimée dans une évaluation, car les opinions scientifiques relèvent d'autres éléments du processus d'évaluation par les pairs (p. ex. attribution appropriée des demandes, discussion entre les évaluateurs, surveillance par les présidents).
2. Comment l'Aide-mémoire pour assurer la qualité de l'évaluation a-t-il été élaboré?
L'Aide-mémoire pour assurer la qualité de l'évaluation est le résultat de deux ans de travail. La définition de qualité de l'évaluation dans l'Aide-mémoire prend appui sur la synthèse des données probantes tirées d'une recension de la littérature scientifique, d'une analyse comparative internationale, d'un examen exhaustif des politiques sous-tendant l'évaluation par les pairs, ainsi que de consultations avec la communauté scientifique et d'une validation indépendante.
Les critères qui forment la définition de qualité de l'évaluation doivent être objectifs et mesurables. L'applicabilité, la validité et la faisabilité des indicateurs qui forment l'Aide-mémoire pour assurer la qualité de l'évaluation ont été établies et vérifiées dans des projets pilotes d'assurance de la qualité des évaluations ainsi qu'au cours de consultations avec les présidents de concours, les agents scientifiques, les évaluateurs, les candidats et les comités consultatifs sur l'évaluation par les pairs des IRSC (p. ex. présidents du collège).
3. Comment l'Aide-mémoire pour assurer la qualité de l'évaluation sera-t-il utilisé par les IRSC?
La définition de qualité de l'évaluation et l'Aide-mémoire pour assurer la qualité de l'évaluation aideront à établir des attentes communes quant à la qualité des évaluations parmi tous les participants à l'évaluation par les pairs. En prenant quelque chose qui était plutôt intuitif et en le façonnant d'une manière qui permet une mesure objective, les IRSC s'assurent que la qualité de l'évaluation peut être évaluée pour n'importe quel concours – indépendamment de sa taille, de son thème, ou de la forme que revêt l'évaluation par les pairs.
En pratique, les IRSC peuvent utiliser les indicateurs de l'Aide-mémoire pour surveiller la qualité des évaluations à un concours donné, pour proposer des améliorations continues à leur système et à leurs processus d'évaluation par les pairs, ainsi que pour mettre en place des programmes d'apprentissage et de mentorat devant aider les évaluateurs à réaliser des évaluations de haute qualité. De plus, les membres du Collège des évaluateurs ont consenti à ce que la qualité de leurs évaluations puisse être surveillée, et à participer au processus d'assurance de la qualité à la demande des IRSC.
4. Qu'est-ce que l'Aide-mémoire pour assurer la qualité de l'évaluation signifie pour les évaluateurs?
L'Aide-mémoire pour assurer la qualité de l'évaluation est un outil pratique qui permet aux évaluateurs de tout concours de s'assurer du caractère approprié, de la rigueur et de l'utilité de leurs propres évaluations. En tant que personnes dévouées et informées – qui sont souvent elles-mêmes des chercheurs et chercheuses –, les évaluateurs s'efforceront certainement d'effectuer des évaluations de haute qualité, et cet aide-mémoire les aidera à le faire. Ils pourront s'en servir n'importe quand pour vérifier n'importe quelle évaluation, à n'importe quel concours.
La définition de qualité de l'évaluation et l'Aide-mémoire pour assurer la qualité de l'évaluation résument les attentes des IRSC quant à la qualité des évaluations. Certains des indicateurs (mais pas nécessairement tous) décrits dans l'Aide-mémoire serviront de point de référence en cas d'examen de la qualité des évaluations.
5. Qu'est-ce que l'Aide-mémoire pour assurer la qualité des évaluations signifie pour les candidats?
La définition de qualité de l'évaluation et l'Aide-mémoire pour la qualité de l'évaluation aideront les candidats à comprendre les attentes des IRSC au sujet de la qualité des évaluations écrites. Les IRSC seront heureux de recevoir des commentaires des candidats afin de guider des améliorations continues au processus et au système d'évaluation par les pairs. L'Aide-mémoire pour assurer la qualité de l'évaluation ne vise pas à déterminer si l'évaluateur avait les compétences voulues pour évaluer la demande. L'expertise des évaluateurs est vérifiée dans le processus de validation de l'attribution des demandes à évaluer. À noter que les IRSC ne considèrent pas les préoccupations relatives à la qualité des évaluations comme des motifs suffisants d'appel ou de grief dans l'évaluation par les pairs.
- Date de modification :