Erdoo Karen Jay-Yina

Erdoo Karen Jay-Yina

Senior Evaluation officer
CGIAR's Independent Advisory and Evaluation Service (IAES)
Italie

Evaluation, Public Health, MEL, Storytelling.

My contributions

    • Je participe à cette riche discussion du point de vue de mon expérience de la gestion de l'évaluation en cours de la plateforme GENDER (Generating Evidence and New Directions for Equitable Results) du CGIAR, qui est coordonnée par les services indépendants de conseil et d'évaluation (IAES).  De ce point de vue, j'explore en détail les questions 2, 3 et 1 en commençant par une vue d'ensemble du contexte de l'évaluation, de la conception de l'évaluation et en terminant par une conclusion clé tirée de l'application des lignes directrices.

      Contexte

      Les lignes directrices présentent quatre dimensions interdépendantes (conception de la recherche, apports, processus et résultats) qui prennent en compte les nombreuses variables de la réalisation et de l'utilisation d'une recherche de haute qualité, encadrées par le cadre de référence QoR4D et les critères du CAD de l'OCDE. L'application n'est en aucun cas linéaire. L'évaluation en cours de la plate-forme GENDER a servi de test. L'évaluation vise à évaluer les progrès de la plateforme, à documenter les leçons apprises et à fournir des recommandations tournées vers l'avenir, alors qu'elle se transforme en une plateforme d'impact au mandat élargi.

      Pour répondre aux questions centrales de l'évaluation, bien que l'évaluation ne s'articule pas autour d'un critère explicite de "qualité de la science" (QoS), les lignes directrices ont constitué une boîte à outils utile dans un contexte de recherche agricole pour le développement (AR4D) pour situer la QoS tout en évaluant les questions clés suivant les cinq critères d'évaluation du CAD - pertinence, efficacité, efficience, cohérence et viabilité. L'évaluation de la plateforme, menée par une équipe multidisciplinaire dirigée par un évaluateur, a intégré des approches participatives, théoriques, axées sur l'utilisation et féministes, et a déployé des méthodes mixtes pour la collecte des données.

      Pour situer le contexte, la plateforme GENDER synthétise et amplifie la recherche, renforce les capacités et définit des orientations pour permettre au CGIAR d'avoir un impact sur l'égalité des sexes, les opportunités pour les jeunes et l'inclusion sociale dans l'agriculture et les systèmes alimentaires. La plateforme s'articule autour de trois modules interconnectés (preuves, méthodes et alliances). Les lignes directrices ont été appliquées au module "preuves", qui vise à améliorer la quantité et la qualité des preuves liées au genre.

      Mécanismes

      En ce qui concerne la conception de l'évaluation, conformément au rapport initial, l'équipe d'évaluation a élaboré des sous-matrices d'évaluation portant sur les voies d'impact et le cadre de résultats des modules de la plateforme. Ces sous-matrices ont alimenté une matrice d'évaluation principale. Les matrices, la matrice globale (et d'autres résultats) ont été examinées par une équipe de pairs externes, dont certains membres du groupe de référence en matière d'évaluation de l'IAES, et par l'équipe de la plateforme afin d'en renforcer la validité. Ces examens ont permis de réviser les documents par la suite. 

      Les quatre dimensions de la qualité de service ont joué un rôle essentiel dans l'évaluation du module sur les éléments probants - ces quatre dimensions ont été mises en correspondance avec les critères d'évaluation centraux. Les experts en la matière qui ont dirigé l'évaluation du module "éléments de preuve" l'ont systématiquement appliqué pour évaluer le module de manière imbriquée sur la base de la cartographie qu'ils ont réalisée. Chacune des trois évaluations des modules de la plateforme a ensuite alimenté l'évaluation globale de la plateforme de manière synergique.

      À emporter

      L'une des leçons à tirer de cette expérience est que la convergence de différents points de vue est essentielle dans l'application des lignes directrices. L'équipe d'évaluation multidisciplinaire, dans ce cas, a bénéficié à la fois de l'optique de l'évaluateur - dirigée par un évaluateur - et de l'optique du chercheur, avec des experts en la matière qui étaient des chercheurs (en matière de genre) qui ont dirigé l'évaluation du module sur les éléments probants. En appliquant les lignes directrices, l'équipe d'évaluation s'est appuyée sur les deux perspectives pour analyser les questions centrales de l'évaluation en fonction des quatre dimensions de la qualité de service. Bien que les équipes d'évaluation multidisciplinaires ne soient pas toujours réalisables dans certains contextes, cette multidisciplinarité peut s'avérer utile lors de l'application des lignes directrices. Toutefois, il est essentiel que ces équipes consacrent suffisamment de temps au partage des capacités et à l'apprentissage mutuel pour réduire la courbe d'apprentissage nécessaire à la convergence requise pour évaluer efficacement la "qualité de service", ou pour l'intégrer selon les critères standard du CAD de l'OCDE, comme cela a été fait dans ce cas. Dans les deux cas, les lignes directrices (et d'autres produits dérivés conviviaux) peuvent servir de ressources prêtes à l'emploi.

      La recherche de haute qualité peut être aussi difficile à évaluer qu'à réaliser. Les chercheurs, les gestionnaires de programmes et d'autres acteurs peuvent également trouver les lignes directrices utiles en tant qu'outil de cadrage pour réfléchir aux perspectives des évaluateurs aux stades formatifs et/ou sommatifs des chaînes de valeur de la recherche ou de la programmation pour une mise en œuvre plus ciblée et des stratégies de programmation. L'application des lignes directrices aux évaluations des processus et des performances dans différents contextes et portefeuilles permettra d'obtenir des informations qui renforceront et affineront l'outil.

      Enfin, le rapport d'évaluation de la plateforme GENDER et l'évaluation du module Evidence qui détaillent l'application des lignes directrices seront bientôt publiés par l'IAES.

    • Cher John et chers collègues,

      Excellente question, qui a suscité des réflexions basées sur les résultats des examens indépendants récemment achevés de 12 programmes de recherche du CGIAR. Les programmes de recherche (CRP) sont des programmes globaux de recherche pour le développement couvrant des thèmes allant des programmes de monoculture comme RICE (ris), aux programmes transversaux intégrés comme le changement climatique, l'agriculture et la sécurité alimentaire (CCAFS).

      Quel est le lien entre votre propre travail et la question du sujet ?

      Suite à une annonce antérieure, la fonction d'évaluation des services consultatifs du CGIAR n'a que récemment achevé des examens indépendants et rapides qui couvraient la qualité de la science ainsi que l'efficacité des résultats obtenus, en se concentrant sur les progrès réalisés dans le cadre des TdC et l'utilité des TdC.

      Quel est un exemple concret de conception de projet localisé ?

      Les preuves ne doivent pas être dissociées des risques et des hypothèses car, ensemble, elles donnent une image globale des réalités du terrain, indépendamment de la taille et du type d'intervention, de programme ou d'initiative. Pour mettre les choses en perspective, les TdC des CRP sont superposés. Tout d'abord, tous les CRP ont un mandat qui contribue à la stratégie globale et au cadre de résultats du CGIAR.  En cascade, les CRP ont à leur tour différents programmes phares – chacun contribue par des voies d'impact spécifiques imbriquées dans le cadre de référence global. Les TdC des programmes phares ont été conçus et développés en collaboration avec les équipes de projet, reflétant une approche ascendante - le processus a été très apprécié dans l'ensemble des examens.

      Les examens des CRP ont révélé que, bien que la plupart des CRP aient intégré des éléments probants provenant d'évaluations indépendantes antérieures et d'analyses d'impact depuis la conceptualisation et au cours de la mise en œuvre, les TdC avaient des niveaux d'utilisation et d'évolution variables. Dans l'ensemble, pour certains des CRP, les examens ont trouvé une valeur dans le processus - en cultivant la réflexion sur la TdC même chez les scientifiques, mais peu d'éléments probants dans son utilisation comme outil de mesure, en la reliant au cadre de résultats.

      À quoi ressemblerait une théorie du changement évolutive et fondée sur des preuves pour ce projet ?

      Compte tenu de la nature mondiale du CGIAR et de la majorité des CRP, l'ancrage dans le contexte a été essentiel. Les TdC sont très spécifiques au contexte/programme. Dans le cadre du contexte, l'un des CRP (Forêts, Arbres et Agroforesterie) avait une utilisation des TdC considérablement évoluée. Elle comportait des objectifs annuels adaptés et des indicateurs adaptés aux réalités du terrain. Certaines CRP n'ont pas modifié leur TdC (BLÉ). L'une des conclusions de son examen (WHEAT) était que son cahier des charges était bon pour "1) fixer les priorités, 2) évaluer la contribution des résultats scientifiques, 3) rechercher et justifier le financement, 4) tracer la trajectoire jusqu'à l'impact et 5) établir des rapports", mais qu'il ne convenait pas pour évaluer l'efficacité du programme de réforme ou du programme phare. Pourquoi ? Le rapport d'examen dit "parce que ce n'était pas son but". L'intentionnalité est importante lors de l'élaboration des TdC, afin de ne pas limiter son utilisation dans la génération de preuves, l'apprentissage, le reporting et la reprogrammation. Les équipes d'élaboration et d'itération des TdC doivent avoir l'intention de les concevoir conjointement comme un outil de preuve itératif, en liant les indicateurs, en reliant les facteurs et les risques, en testant les hypothèses et les chemins de causalité.

      Quelles sont les opportunités et les obstacles que vous voyez ?

      La gestion adaptative n'a pas été jugée nécessairement ordonnée, le fait d'avoir des révisions des TdC basées sur des preuves, des hypothèses et des risques pourrait rendre le processus ainsi que l'agrégation et la communication des résultats lourds. Pourtant, cela peut être géré si les rapports sont structurés de manière cohérente sur la base des indicateurs et des objectifs liés aux TdC (actualisés/révisés).  La série de mesures doit refléter la conception, la mise en œuvre et l'extension des innovations scientifiques sur le terrain et être flexible, utile et cohérente pour permettre le suivi des progrès de manière à donner une image claire des progrès et le contexte doit promouvoir une approche d'apprentissage par la pratique. Lorsque la TdC sous-jacente, l'évolution du système et des mesures de la CRP, ainsi que les preuves, avec les risques et les hypothèses associés, sont réexaminées, saisies et suivies de manière cohérente, le traçage des processus ou l'analyse de la contribution de certains chemins de causalité est alors facilité. D'autre part, lorsque les TdC ne sont pas spécifiques au contexte (temps et lieu), ce qui a été le cas dans l'un des CRP (Céréales, légumineuses et céréales des zones arides), il est difficile de refléter avec précision les progrès réalisés, car certaines voies d'impact des TdC peuvent devenir obsolètes.

      La lecture d'autres réponses a été intéressante, évidemment, votre question a déclenché une discussion intrigante. Si vous et vos collègues êtes intéressés par de plus amples informations sur les réflexions antérieures sur la TdC dans le cadre du CGIAR et des examens actuels de la CRP, vous pouvez consulter les hyperliens.

      Cordialement

      Erdoo Karen Jay-Yina