J'apprécie les lignes directrices d'évaluation du CGIAR en tant que cadre de référence fournissant des idées, des outils et des conseils sur la manière d'évaluer la qualité de la science, y compris dans le contexte des projets de développement qui comprennent des composantes scientifiques et de recherche. Il s'agit plus particulièrement de mon point de vue, en tant qu'évaluatrice de projets de développement qui peuvent inclure des composantes de recherche ou le développement d'outils scientifiques pour améliorer l'efficacité du projet dans les secteurs agricoles. Je tiens à préciser que je n'ai pas analysé en profondeur les lignes directrices et les documents connexes et que je ne fais pas partie du CGIAR. Toutefois, je pense que les lignes directrices constituent une contribution importante.
En l'absence de lignes directrices similaires pour évaluer la qualité de la recherche et de la science, je me rends compte que mon analyse passée était quelque peu dispersée entre les 6 critères du CAD de l'OCDE, même si elle englobait la plupart des dimensions incluses dans les lignes directrices. Dans le cadre du critère de pertinence, par exemple, j'ai analysé la justification et la valeur ajoutée des produits scientifiques et la qualité de leur conception, ainsi que l'étendue de la "co-conception" avec les parties prenantes locales, que les lignes directrices qualifient de "légitimité", dans le cadre du critère de qualité de service. En ce qui concerne l'efficacité, j'ai analysé l'adéquation des apports de la recherche, la livraison en temps voulu des résultats de la recherche, les synergies internes entre les activités de recherche et les autres composantes du projet, et le rapport coût-efficacité des produits scientifiques. La plupart des analyses se sont concentrées sur l'efficacité et l'utilité des outils scientifiques développés et sur la durabilité potentielle des résultats de la recherche. Il a été plus difficile d'analyser la "crédibilité scientifique", en l'absence d'experts en la matière au sein de l'équipe d'évaluation. Ce concept a été analysé principalement sur la base des perceptions des parties prenantes au moyen d'outils de collecte de données qualitatives. En outre, il est peu probable que la validation scientifique de la recherche et des outils scientifiques soit réalisée au cours de la durée commune du projet, qui est de trois ans. Par conséquent, des évaluations peuvent être menées avant que la validation scientifique n'ait lieu. Les quatre dimensions des lignes directrices sont suffisamment claires et utiles comme fil conducteur pour développer des questions d'évaluation. Je me concentrerais uniquement sur des concepts tels que l'"utilité" des outils scientifiques développés du point de vue des bénéficiaires finaux du projet, l'"adoption" des résultats scientifiques par les parties prenantes impliquées et les "avantages" découlant de la recherche et/ou des outils scientifiques développés. Dans le cadre des projets de développement, les composantes scientifiques sont généralement isolées des autres activités du projet, avec peu de synergies internes. En outre, l'utilisation des résultats scientifiques et la reproduction des résultats posent souvent problème. Je pense qu'il s'agit là d'un point sur lequel il convient de se concentrer clairement en posant des questions d'évaluation appropriées. Par exemple, les questions d'évaluation de la qualité de service (section 3.2) ne se concentrent pas suffisamment sur ces aspects. La QE3 se concentre sur la manière dont les résultats de la recherche contribuent à faire avancer la science, mais pas sur la manière dont les résultats de la recherche contribuent aux objectifs de développement, sur l'application des résultats de la recherche sur le terrain ou dans le cadre de l'élaboration des politiques, sur l'impact des résultats fournis, ce qui, à mon avis, mérite une plus grande attention ainsi que des outils et des conseils pratiques. En outre, sur la base de ma lecture initiale des lignes directrices, je piloterai l'application des lignes directrices dans les évaluations à venir, au cas où l'évalué inclurait des composantes de recherche. Cela permettra d'affiner l'opérationnalisation des lignes directrices grâce à l'expérience pratique.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Chers tous,
J'apprécie les lignes directrices d'évaluation du CGIAR en tant que cadre de référence fournissant des idées, des outils et des conseils sur la manière d'évaluer la qualité de la science, y compris dans le contexte des projets de développement qui comprennent des composantes scientifiques et de recherche. Il s'agit plus particulièrement de mon point de vue, en tant qu'évaluatrice de projets de développement qui peuvent inclure des composantes de recherche ou le développement d'outils scientifiques pour améliorer l'efficacité du projet dans les secteurs agricoles. Je tiens à préciser que je n'ai pas analysé en profondeur les lignes directrices et les documents connexes et que je ne fais pas partie du CGIAR. Toutefois, je pense que les lignes directrices constituent une contribution importante.
En l'absence de lignes directrices similaires pour évaluer la qualité de la recherche et de la science, je me rends compte que mon analyse passée était quelque peu dispersée entre les 6 critères du CAD de l'OCDE, même si elle englobait la plupart des dimensions incluses dans les lignes directrices. Dans le cadre du critère de pertinence, par exemple, j'ai analysé la justification et la valeur ajoutée des produits scientifiques et la qualité de leur conception, ainsi que l'étendue de la "co-conception" avec les parties prenantes locales, que les lignes directrices qualifient de "légitimité", dans le cadre du critère de qualité de service. En ce qui concerne l'efficacité, j'ai analysé l'adéquation des apports de la recherche, la livraison en temps voulu des résultats de la recherche, les synergies internes entre les activités de recherche et les autres composantes du projet, et le rapport coût-efficacité des produits scientifiques. La plupart des analyses se sont concentrées sur l'efficacité et l'utilité des outils scientifiques développés et sur la durabilité potentielle des résultats de la recherche. Il a été plus difficile d'analyser la "crédibilité scientifique", en l'absence d'experts en la matière au sein de l'équipe d'évaluation. Ce concept a été analysé principalement sur la base des perceptions des parties prenantes au moyen d'outils de collecte de données qualitatives. En outre, il est peu probable que la validation scientifique de la recherche et des outils scientifiques soit réalisée au cours de la durée commune du projet, qui est de trois ans. Par conséquent, des évaluations peuvent être menées avant que la validation scientifique n'ait lieu. Les quatre dimensions des lignes directrices sont suffisamment claires et utiles comme fil conducteur pour développer des questions d'évaluation. Je me concentrerais uniquement sur des concepts tels que l'"utilité" des outils scientifiques développés du point de vue des bénéficiaires finaux du projet, l'"adoption" des résultats scientifiques par les parties prenantes impliquées et les "avantages" découlant de la recherche et/ou des outils scientifiques développés. Dans le cadre des projets de développement, les composantes scientifiques sont généralement isolées des autres activités du projet, avec peu de synergies internes. En outre, l'utilisation des résultats scientifiques et la reproduction des résultats posent souvent problème. Je pense qu'il s'agit là d'un point sur lequel il convient de se concentrer clairement en posant des questions d'évaluation appropriées. Par exemple, les questions d'évaluation de la qualité de service (section 3.2) ne se concentrent pas suffisamment sur ces aspects. La QE3 se concentre sur la manière dont les résultats de la recherche contribuent à faire avancer la science, mais pas sur la manière dont les résultats de la recherche contribuent aux objectifs de développement, sur l'application des résultats de la recherche sur le terrain ou dans le cadre de l'élaboration des politiques, sur l'impact des résultats fournis, ce qui, à mon avis, mérite une plus grande attention ainsi que des outils et des conseils pratiques. En outre, sur la base de ma lecture initiale des lignes directrices, je piloterai l'application des lignes directrices dans les évaluations à venir, au cas où l'évalué inclurait des composantes de recherche. Cela permettra d'affiner l'opérationnalisation des lignes directrices grâce à l'expérience pratique.