RE: How to evaluate science, technology and innovation in a development context? | Eval Forward

Rassembler des preuves provenant d'évaluations qui ont couvert - en partie ou exclusivement - la qualité de la science (QoS) peut être un moyen efficace de façonner des changements dans l'agenda du développement. La synthèse des preuves est une méthode fiable mais certainement pas simple à mettre en œuvre étant donné la variété des preuves que l'on peut trouver, les critères d'évaluation, les approches, les centres d'intérêt, les contextes, etc.

Le thème de la qualité de la science était l'un des principaux sujets couverts par l'analyse dans le cadre de la synthèse de l'apprentissage d'une décennie de programmes de recherche du CGIAR (2021). L'un des défis auxquels l'équipe de synthèse a été confrontée était de trouver le cadre analytique spécifique qui reflétait le mieux la variété des preuves provenant des deux phases de mise en œuvre des programmes de recherche du CGIAR (CRP) : 2011-2016 et 2017-2019 et d'atteindre les objectifs de la synthèse.

Pour expliquer davantage, nous devions trouver comment l'information devait être catégorisée et servir de référence pour indiquer le centre d'intérêt, les échelles, les concepts et les termes et définitions connexes en fonction des objectifs initiaux de la synthèse et de la cartographie des analyses formant la base du corpus de 43 documents de la synthèse. Les niveaux d'enquête liés à la qualité de service ont été convertis en deux questions principales et quatre sous-thèmes.

Les deux questions principales pour le thème de la Qualité de la Science (QoS) et de la Qualité de la Recherche pour le Développement (QoR4D) sont :

  1. Comment la QoS a-t-elle évolué entre deux phases de programmes de recherche du CGIAR (CRP) selon trois dimensions - intrants, extrants et processus ?
  2. Dans quelle mesure la QoS a-t-elle évolué selon deux des quatre éléments de QoR4D - légitimité et crédibilité ?

Les résultats ont été structurés autour de quatre sous-thèmes : (1) QoS : Intrants de la recherche (2) QoS : Qualité des résultats de la recherche (3) QoS : Gestion/processus de la recherche et, (4) éléments de QoR4D : légitimité et crédibilité. Parallèlement à ces thèmes, une série de thèmes transversaux ont été abordés : le genre, le changement climatique/environnement, le renforcement des capacités, les partenariats externes et la jeunesse.

Quatre questions clés ont été abordées dans l'analyse des résultats : (1) les modèles et les tendances entre les deux phases des programmes de recherche du CGIAR (CRP) liés à la qualité de la science (QoS) et de la recherche pour le développement, la réalisation des résultats du développement durable, et la gestion et la gouvernance ; (2) les questions à l'échelle du système affectant les réalisations des programmes de recherche du CGIAR (CRP) ; (3) les recommandations pour l'orientation future de la recherche et de l'innovation du CGIAR ; et (4) les principales lacunes en matière de preuves et les besoins pour les évaluations futures.

Une approche de synthèse narrative a été utilisée pour résumer et analyser l'Apprentissage d'une décennie de programmes de recherche du CGIAR, en utilisant des données de source secondaire provenant de 47 évaluations et revues existantes. Les évaluations externes ont été systématiquement codées et analysées à l'aide d'un cadre analytique standardisé. Une analyse des tendances bibliométriques a été réalisée pour le thème QoS, et les résultats ont été triangulés par rapport à des synthèses antérieures et validés par les membres du Conseil indépendant pour la science au service du développement (ISDC), les responsables des programmes de recherche du CGIAR (CRP) et des pairs experts.