Je participe à cette riche discussion du point de vue de mon expérience de la gestion de l'évaluation en cours de la plateforme GENDER (Generating Evidence and New Directions for Equitable Results) du CGIAR, qui est coordonnée par les services indépendants de conseil et d'évaluation (IAES). De ce point de vue, j'explore en détail les questions 2, 3 et 1 en commençant par une vue d'ensemble du contexte de l'évaluation, de la conception de l'évaluation et en terminant par une conclusion clé tirée de l'application des lignes directrices.
Contexte
Les lignes directrices présentent quatre dimensions interdépendantes (conception de la recherche, apports, processus et résultats) qui prennent en compte les nombreuses variables de la réalisation et de l'utilisation d'une recherche de haute qualité, encadrées par le cadre de référence QoR4D et les critères du CAD de l'OCDE. L'application n'est en aucun cas linéaire. L'évaluation en cours de la plate-forme GENDER a servi de test. L'évaluation vise à évaluer les progrès de la plateforme, à documenter les leçons apprises et à fournir des recommandations tournées vers l'avenir, alors qu'elle se transforme en une plateforme d'impact au mandat élargi.
Pour répondre aux questions centrales de l'évaluation, bien que l'évaluation ne s'articule pas autour d'un critère explicite de "qualité de la science" (QoS), les lignes directrices ont constitué une boîte à outils utile dans un contexte de recherche agricole pour le développement (AR4D) pour situer la QoS tout en évaluant les questions clés suivant les cinq critères d'évaluation du CAD - pertinence, efficacité, efficience, cohérence et viabilité. L'évaluation de la plateforme, menée par une équipe multidisciplinaire dirigée par un évaluateur, a intégré des approches participatives, théoriques, axées sur l'utilisation et féministes, et a déployé des méthodes mixtes pour la collecte des données.
Pour situer le contexte, la plateforme GENDER synthétise et amplifie la recherche, renforce les capacités et définit des orientations pour permettre au CGIAR d'avoir un impact sur l'égalité des sexes, les opportunités pour les jeunes et l'inclusion sociale dans l'agriculture et les systèmes alimentaires. La plateforme s'articule autour de trois modules interconnectés (preuves, méthodes et alliances). Les lignes directrices ont été appliquées au module "preuves", qui vise à améliorer la quantité et la qualité des preuves liées au genre.
Mécanismes
En ce qui concerne la conception de l'évaluation, conformément au rapport initial, l'équipe d'évaluation a élaboré des sous-matrices d'évaluation portant sur les voies d'impact et le cadre de résultats des modules de la plateforme. Ces sous-matrices ont alimenté une matrice d'évaluation principale. Les matrices, la matrice globale (et d'autres résultats) ont été examinées par une équipe de pairs externes, dont certains membres du groupe de référence en matière d'évaluation de l'IAES, et par l'équipe de la plateforme afin d'en renforcer la validité. Ces examens ont permis de réviser les documents par la suite.
Les quatre dimensions de la qualité de service ont joué un rôle essentiel dans l'évaluation du module sur les éléments probants - ces quatre dimensions ont été mises en correspondance avec les critères d'évaluation centraux. Les experts en la matière qui ont dirigé l'évaluation du module "éléments de preuve" l'ont systématiquement appliqué pour évaluer le module de manière imbriquée sur la base de la cartographie qu'ils ont réalisée. Chacune des trois évaluations des modules de la plateforme a ensuite alimenté l'évaluation globale de la plateforme de manière synergique.
À emporter
L'une des leçons à tirer de cette expérience est que la convergence de différents points de vue est essentielle dans l'application des lignes directrices. L'équipe d'évaluation multidisciplinaire, dans ce cas, a bénéficié à la fois de l'optique de l'évaluateur - dirigée par un évaluateur - et de l'optique du chercheur, avec des experts en la matière qui étaient des chercheurs (en matière de genre) qui ont dirigé l'évaluation du module sur les éléments probants. En appliquant les lignes directrices, l'équipe d'évaluation s'est appuyée sur les deux perspectives pour analyser les questions centrales de l'évaluation en fonction des quatre dimensions de la qualité de service. Bien que les équipes d'évaluation multidisciplinaires ne soient pas toujours réalisables dans certains contextes, cette multidisciplinarité peut s'avérer utile lors de l'application des lignes directrices. Toutefois, il est essentiel que ces équipes consacrent suffisamment de temps au partage des capacités et à l'apprentissage mutuel pour réduire la courbe d'apprentissage nécessaire à la convergence requise pour évaluer efficacement la "qualité de service", ou pour l'intégrer selon les critères standard du CAD de l'OCDE, comme cela a été fait dans ce cas. Dans les deux cas, les lignes directrices (et d'autres produits dérivés conviviaux) peuvent servir de ressources prêtes à l'emploi.
La recherche de haute qualité peut être aussi difficile à évaluer qu'à réaliser. Les chercheurs, les gestionnaires de programmes et d'autres acteurs peuvent également trouver les lignes directrices utiles en tant qu'outil de cadrage pour réfléchir aux perspectives des évaluateurs aux stades formatifs et/ou sommatifs des chaînes de valeur de la recherche ou de la programmation pour une mise en œuvre plus ciblée et des stratégies de programmation. L'application des lignes directrices aux évaluations des processus et des performances dans différents contextes et portefeuilles permettra d'obtenir des informations qui renforceront et affineront l'outil.
Enfin, le rapport d'évaluation de la plateforme GENDER et l'évaluation du module Evidence qui détaillent l'application des lignes directrices seront bientôt publiés par l'IAES.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Je participe à cette riche discussion du point de vue de mon expérience de la gestion de l'évaluation en cours de la plateforme GENDER (Generating Evidence and New Directions for Equitable Results) du CGIAR, qui est coordonnée par les services indépendants de conseil et d'évaluation (IAES). De ce point de vue, j'explore en détail les questions 2, 3 et 1 en commençant par une vue d'ensemble du contexte de l'évaluation, de la conception de l'évaluation et en terminant par une conclusion clé tirée de l'application des lignes directrices.
Contexte
Les lignes directrices présentent quatre dimensions interdépendantes (conception de la recherche, apports, processus et résultats) qui prennent en compte les nombreuses variables de la réalisation et de l'utilisation d'une recherche de haute qualité, encadrées par le cadre de référence QoR4D et les critères du CAD de l'OCDE. L'application n'est en aucun cas linéaire. L'évaluation en cours de la plate-forme GENDER a servi de test. L'évaluation vise à évaluer les progrès de la plateforme, à documenter les leçons apprises et à fournir des recommandations tournées vers l'avenir, alors qu'elle se transforme en une plateforme d'impact au mandat élargi.
Pour répondre aux questions centrales de l'évaluation, bien que l'évaluation ne s'articule pas autour d'un critère explicite de "qualité de la science" (QoS), les lignes directrices ont constitué une boîte à outils utile dans un contexte de recherche agricole pour le développement (AR4D) pour situer la QoS tout en évaluant les questions clés suivant les cinq critères d'évaluation du CAD - pertinence, efficacité, efficience, cohérence et viabilité. L'évaluation de la plateforme, menée par une équipe multidisciplinaire dirigée par un évaluateur, a intégré des approches participatives, théoriques, axées sur l'utilisation et féministes, et a déployé des méthodes mixtes pour la collecte des données.
Pour situer le contexte, la plateforme GENDER synthétise et amplifie la recherche, renforce les capacités et définit des orientations pour permettre au CGIAR d'avoir un impact sur l'égalité des sexes, les opportunités pour les jeunes et l'inclusion sociale dans l'agriculture et les systèmes alimentaires. La plateforme s'articule autour de trois modules interconnectés (preuves, méthodes et alliances). Les lignes directrices ont été appliquées au module "preuves", qui vise à améliorer la quantité et la qualité des preuves liées au genre.
Mécanismes
En ce qui concerne la conception de l'évaluation, conformément au rapport initial, l'équipe d'évaluation a élaboré des sous-matrices d'évaluation portant sur les voies d'impact et le cadre de résultats des modules de la plateforme. Ces sous-matrices ont alimenté une matrice d'évaluation principale. Les matrices, la matrice globale (et d'autres résultats) ont été examinées par une équipe de pairs externes, dont certains membres du groupe de référence en matière d'évaluation de l'IAES, et par l'équipe de la plateforme afin d'en renforcer la validité. Ces examens ont permis de réviser les documents par la suite.
Les quatre dimensions de la qualité de service ont joué un rôle essentiel dans l'évaluation du module sur les éléments probants - ces quatre dimensions ont été mises en correspondance avec les critères d'évaluation centraux. Les experts en la matière qui ont dirigé l'évaluation du module "éléments de preuve" l'ont systématiquement appliqué pour évaluer le module de manière imbriquée sur la base de la cartographie qu'ils ont réalisée. Chacune des trois évaluations des modules de la plateforme a ensuite alimenté l'évaluation globale de la plateforme de manière synergique.
À emporter
L'une des leçons à tirer de cette expérience est que la convergence de différents points de vue est essentielle dans l'application des lignes directrices. L'équipe d'évaluation multidisciplinaire, dans ce cas, a bénéficié à la fois de l'optique de l'évaluateur - dirigée par un évaluateur - et de l'optique du chercheur, avec des experts en la matière qui étaient des chercheurs (en matière de genre) qui ont dirigé l'évaluation du module sur les éléments probants. En appliquant les lignes directrices, l'équipe d'évaluation s'est appuyée sur les deux perspectives pour analyser les questions centrales de l'évaluation en fonction des quatre dimensions de la qualité de service. Bien que les équipes d'évaluation multidisciplinaires ne soient pas toujours réalisables dans certains contextes, cette multidisciplinarité peut s'avérer utile lors de l'application des lignes directrices. Toutefois, il est essentiel que ces équipes consacrent suffisamment de temps au partage des capacités et à l'apprentissage mutuel pour réduire la courbe d'apprentissage nécessaire à la convergence requise pour évaluer efficacement la "qualité de service", ou pour l'intégrer selon les critères standard du CAD de l'OCDE, comme cela a été fait dans ce cas. Dans les deux cas, les lignes directrices (et d'autres produits dérivés conviviaux) peuvent servir de ressources prêtes à l'emploi.
La recherche de haute qualité peut être aussi difficile à évaluer qu'à réaliser. Les chercheurs, les gestionnaires de programmes et d'autres acteurs peuvent également trouver les lignes directrices utiles en tant qu'outil de cadrage pour réfléchir aux perspectives des évaluateurs aux stades formatifs et/ou sommatifs des chaînes de valeur de la recherche ou de la programmation pour une mise en œuvre plus ciblée et des stratégies de programmation. L'application des lignes directrices aux évaluations des processus et des performances dans différents contextes et portefeuilles permettra d'obtenir des informations qui renforceront et affineront l'outil.
Enfin, le rapport d'évaluation de la plateforme GENDER et l'évaluation du module Evidence qui détaillent l'application des lignes directrices seront bientôt publiés par l'IAES.