Merci à tous les participants, qui découvraient ou qui connaissaient déjà les Lignes directrices ou du moins les divers produits de connaissance associés. Voici le résumé de la discussion présenté autour des principaux thèmes.
Réflexions sur les Lignes directrices: contenu
En général, la majorité des participants a convenu que les nouvelles Lignes directrices offrent des solutions pour évaluer la qualité de la science dans le contexte de la recherche pour le développement (R4D). Les termes utilisés par les participants pour les définir ont été notamment: bien étudiées, utiles, claires, adaptables et flexibles. Deux participants ont mis l'accent sur l'importance d'être flexible pour trouver un juste milieu et appliquer les Lignes directrices aux autres organisations. Un autre participant a apprécié les Lignes directrices en ce qu'elles offrent un cadre conceptuel intéressant, un guide flexible et un ensemble de méthodes et questions qui seraient également utiles dans d'autres contextes d'évaluation.
La valeur d'un critère d'évaluation désigné pour la qualité de la science
Les participants se sont également accordés sur le fait que les quatre dimensions de l'évaluation de la qualité de la science (conception, intrant, processus et produit) étaient claires et utiles avec des indicateurs bien définis, en particulier en cas d'utilisation d'approche fondée sur des méthodes mixtes. Un participant a noté que ces dimensions traduisent une manière plus exploratoire et moins standardisée de mener des évaluations sur les nexus R4D, ce qui enrichit et approfondit l'enquête d'évaluation. Un autre participant a mis l'accent sur l'instauration et le renforcement des partenariats dans le cadre de la dimension relative au «processus». Une autre participante était pour sa part enthousiaste à l'idée d'utiliser ce cadre pour concevoir un système d'évaluation sur mesure dans son département. En outre, les trois questions d'évaluation principales préconisées pour évaluer la qualité de la science ont été jugées appropriées pour les projets de R4D.
Dans le cadre de l'évaluation en cours de la plateforme GENDER (du CGIAR), un participant a noté l'utilité des Lignes directrices comme boîte à outils dans le contexte de la recherche agricole pour le développement (AR4D) afin de situer la qualité de la science lors de l'évaluation des questions principales en suivant les cinq critères d'évaluation du CAD (de l'OCDE) – pertinence, efficacité, efficience, cohérence et durabilité. L'une des leçons essentielles que l'équipe de l'évaluation a tirée lors de l'application des Lignes directrices est que ces dernières couvrent les deux perspectives de l'évaluateur et du chercheur, avec des experts en la matière, afin de décomposer les questions centrales d'évaluation réparties autour des quatre dimensions de l'évaluation de la qualité de la science.
Plusieurs participants ont demandé des éclaircissements quant à l'utilité des Lignes directrices pour évaluer des projets de développement. Les Lignes directrices ont été développées pour évaluer la recherche pour le développement dans le contexte d'une recherche conçue conjointement et développée en partenariat avec des acteurs de développement qui seraient ensuite en mesure d'adapter les innovations pour un impact en termes de développement. Bien qu'elles aient été modelées sur des interventions de R4D, nous considérons que les Lignes directrices sont suffisamment flexibles pour être adaptées aux évaluations des projets de développement comprenant des composantes liées à la recherche et à la science – les quatre dimensions visant à évaluer la qualité de la science permettraient de les mettre en évidence. Un récent atelier de travail du CGIAR a porté sur l'application rétroactive des Lignes directrices pour l'évaluation des interventions de développement à travers deux études de cas spécifiques: AVACLIM, un projet mis en œuvre par la FAO et le projet Feed-the-Future AVCD-Kenya réalisé par l'ILRI. Les deux études de cas ont démontré la large application possible des Lignes directrices.
Plusieurs participants ont également insisté sur l'importance de l'évaluation de l'impact. Alors que le champ d'étude de la Fonction indépendante d'évaluation du CGIAR ne permet pas d'évaluer l'impact, les Lignes directrices envisagent la possibilité d'évaluer l'impact (voir figure 6) en relation avec les ODD ou au-delà. De manière similaire, dans d'autres contextes et organisations, des possibilités plus larges peuvent exister pour intégrer l'accent mis sur les impacts. Les nouvelles Lignes directrices pourraient être déployées dans un délai de 3 à 5 ans après l'achèvement d'une intervention pour évaluer les progrès faits dans l'adoption des technologies.
En écho à la discussion de 2022, certaines contributions ont souligné l'attention portée à l'inclusion ou aux bénéficiaires dans les évaluations, en particulier l'accent mis sur les communautés qui pourraient également être un acteur important pour la recherche et l'innovation. Dans une intervention de développement ou de R4D, l'analyse des parties prenantes permet d'identifier les bénéficiaires comme principales parties prenantes; l'utilisation des dimensions relatives aux «processus» et aux «produits» permettrait de nuancer la participation et les bénéficies qu'ils tirent des activités réussies de recherche et de développement.
Faciliter l'apprentissage à partir de la mise en œuvre et de l'adoption des Lignes directrices
Les participants ont soulevé certains problèmes relatifs au déploiement et à l'utilisation des Lignes directrices concernant les points suivants:
l'interrogation quant à la possibilité pour le critère d'évaluation de la qualité de la science d'évaluer seul l'essence de la recherche et du développement;
l'utilité de clarifier davantage les différences entre les évaluations de processus et de performance;
la nécessité de comprendre les hypothèses, en particulier celles qui doivent être vérifiées pour que les produits soient adoptés par les bénéficiaires;
l'importance de la cohérence interne et externe;
la nécessité de définir des critères d'inclusion et d'exclusion lors de la conception des évaluations de la recherche;
l'importance de définir le contexte de la recherche qui est une question prioritaire dans le RQ+ révisé de l'IDRC.
De nombreuses suggestions ont été faites sur la manière dont le CGIAR peut contribuer à déployer les Lignes directrices au sein de la communauté de l'évaluation dans les organisations partageant des idées similaires. Des suggestions utiles ont également été faites quant à la nécessité de renforcer les capacités pour utiliser les Lignes directrices, à travers par exemple des sessions de formation et des ateliers, des ressources en ligne (webinaires, plateformes collaboratives), des partenaires de parrainage et des tests d'utilisation des Lignes directrices dans des études de cas ainsi que dans des évaluations en cours et à venir. En particulier, le renforcement des capacités des parties prenantes pertinentes pour comprendre et utiliser les Lignes directrices serait approprié pour soutenir une utilisation plus ample et une meilleure implication de la communauté de l'évaluation.
L'un des participants a suggéré de réaliser une méta-évaluation (peut-être une synthèse) de l'utilisation des Lignes directrices une fois que le CGIAR les aura utilisées pour évaluer son portefeuille de projets actuels. Il convient de noter qu'un travail rétrospectif est mené sur le précédent portefeuille comprenant 12 programmes principaux (mis en œuvre sur la période 2012-2021) avec des améliorations notables en ce qui concerne la clarté et la définition des réalisations. Une application plus large des Lignes directrices dans les évaluations de processus et de la performance dans différents contextes et portefeuilles donnera lieu à d'autres réflexions pour renforcer et revoir cet outil.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Merci à tous les participants, qui découvraient ou qui connaissaient déjà les Lignes directrices ou du moins les divers produits de connaissance associés. Voici le résumé de la discussion présenté autour des principaux thèmes.
Réflexions sur les Lignes directrices: contenu
En général, la majorité des participants a convenu que les nouvelles Lignes directrices offrent des solutions pour évaluer la qualité de la science dans le contexte de la recherche pour le développement (R4D). Les termes utilisés par les participants pour les définir ont été notamment: bien étudiées, utiles, claires, adaptables et flexibles. Deux participants ont mis l'accent sur l'importance d'être flexible pour trouver un juste milieu et appliquer les Lignes directrices aux autres organisations. Un autre participant a apprécié les Lignes directrices en ce qu'elles offrent un cadre conceptuel intéressant, un guide flexible et un ensemble de méthodes et questions qui seraient également utiles dans d'autres contextes d'évaluation.
La valeur d'un critère d'évaluation désigné pour la qualité de la science
Les participants se sont également accordés sur le fait que les quatre dimensions de l'évaluation de la qualité de la science (conception, intrant, processus et produit) étaient claires et utiles avec des indicateurs bien définis, en particulier en cas d'utilisation d'approche fondée sur des méthodes mixtes. Un participant a noté que ces dimensions traduisent une manière plus exploratoire et moins standardisée de mener des évaluations sur les nexus R4D, ce qui enrichit et approfondit l'enquête d'évaluation. Un autre participant a mis l'accent sur l'instauration et le renforcement des partenariats dans le cadre de la dimension relative au «processus». Une autre participante était pour sa part enthousiaste à l'idée d'utiliser ce cadre pour concevoir un système d'évaluation sur mesure dans son département. En outre, les trois questions d'évaluation principales préconisées pour évaluer la qualité de la science ont été jugées appropriées pour les projets de R4D.
Dans le cadre de l'évaluation en cours de la plateforme GENDER (du CGIAR), un participant a noté l'utilité des Lignes directrices comme boîte à outils dans le contexte de la recherche agricole pour le développement (AR4D) afin de situer la qualité de la science lors de l'évaluation des questions principales en suivant les cinq critères d'évaluation du CAD (de l'OCDE) – pertinence, efficacité, efficience, cohérence et durabilité. L'une des leçons essentielles que l'équipe de l'évaluation a tirée lors de l'application des Lignes directrices est que ces dernières couvrent les deux perspectives de l'évaluateur et du chercheur, avec des experts en la matière, afin de décomposer les questions centrales d'évaluation réparties autour des quatre dimensions de l'évaluation de la qualité de la science.
Plusieurs participants ont demandé des éclaircissements quant à l'utilité des Lignes directrices pour évaluer des projets de développement. Les Lignes directrices ont été développées pour évaluer la recherche pour le développement dans le contexte d'une recherche conçue conjointement et développée en partenariat avec des acteurs de développement qui seraient ensuite en mesure d'adapter les innovations pour un impact en termes de développement. Bien qu'elles aient été modelées sur des interventions de R4D, nous considérons que les Lignes directrices sont suffisamment flexibles pour être adaptées aux évaluations des projets de développement comprenant des composantes liées à la recherche et à la science – les quatre dimensions visant à évaluer la qualité de la science permettraient de les mettre en évidence. Un récent atelier de travail du CGIAR a porté sur l'application rétroactive des Lignes directrices pour l'évaluation des interventions de développement à travers deux études de cas spécifiques: AVACLIM, un projet mis en œuvre par la FAO et le projet Feed-the-Future AVCD-Kenya réalisé par l'ILRI. Les deux études de cas ont démontré la large application possible des Lignes directrices.
Plusieurs participants ont également insisté sur l'importance de l'évaluation de l'impact. Alors que le champ d'étude de la Fonction indépendante d'évaluation du CGIAR ne permet pas d'évaluer l'impact, les Lignes directrices envisagent la possibilité d'évaluer l'impact (voir figure 6) en relation avec les ODD ou au-delà. De manière similaire, dans d'autres contextes et organisations, des possibilités plus larges peuvent exister pour intégrer l'accent mis sur les impacts. Les nouvelles Lignes directrices pourraient être déployées dans un délai de 3 à 5 ans après l'achèvement d'une intervention pour évaluer les progrès faits dans l'adoption des technologies.
En écho à la discussion de 2022, certaines contributions ont souligné l'attention portée à l'inclusion ou aux bénéficiaires dans les évaluations, en particulier l'accent mis sur les communautés qui pourraient également être un acteur important pour la recherche et l'innovation. Dans une intervention de développement ou de R4D, l'analyse des parties prenantes permet d'identifier les bénéficiaires comme principales parties prenantes; l'utilisation des dimensions relatives aux «processus» et aux «produits» permettrait de nuancer la participation et les bénéficies qu'ils tirent des activités réussies de recherche et de développement.
Faciliter l'apprentissage à partir de la mise en œuvre et de l'adoption des Lignes directrices
Les participants ont soulevé certains problèmes relatifs au déploiement et à l'utilisation des Lignes directrices concernant les points suivants:
De nombreuses suggestions ont été faites sur la manière dont le CGIAR peut contribuer à déployer les Lignes directrices au sein de la communauté de l'évaluation dans les organisations partageant des idées similaires. Des suggestions utiles ont également été faites quant à la nécessité de renforcer les capacités pour utiliser les Lignes directrices, à travers par exemple des sessions de formation et des ateliers, des ressources en ligne (webinaires, plateformes collaboratives), des partenaires de parrainage et des tests d'utilisation des Lignes directrices dans des études de cas ainsi que dans des évaluations en cours et à venir. En particulier, le renforcement des capacités des parties prenantes pertinentes pour comprendre et utiliser les Lignes directrices serait approprié pour soutenir une utilisation plus ample et une meilleure implication de la communauté de l'évaluation.
L'un des participants a suggéré de réaliser une méta-évaluation (peut-être une synthèse) de l'utilisation des Lignes directrices une fois que le CGIAR les aura utilisées pour évaluer son portefeuille de projets actuels. Il convient de noter qu'un travail rétrospectif est mené sur le précédent portefeuille comprenant 12 programmes principaux (mis en œuvre sur la période 2012-2021) avec des améliorations notables en ce qui concerne la clarté et la définition des réalisations. Une application plus large des Lignes directrices dans les évaluations de processus et de la performance dans différents contextes et portefeuilles donnera lieu à d'autres réflexions pour renforcer et revoir cet outil.