Comment évaluer la science, la technologie et l'innovation dans un contexte R4D (Recherche pour le développement)? des nouvelles lignes directrices offrent des solutions

Merci à tous les participants, qui découvraient ou qui connaissaient déjà les Lignes directrices ou du moins les divers produits de connaissance associés. Voici le résumé de la discussion présenté autour des principaux thèmes.

Réflexions sur les Lignes directrices: contenu

En général, la majorité des participants a convenu que les nouvelles Lignes directrices offrent des solutions pour évaluer la qualité de la science dans le contexte de la recherche pour le développement (R4D). Les termes utilisés par les participants pour les définir ont été notamment: bien étudiées, utiles, claires, adaptables et flexibles. Deux participants ont mis l'accent sur l'importance d'être flexible pour trouver un juste milieu et appliquer les Lignes directrices aux autres organisations. Un autre participant a apprécié les Lignes directrices en ce qu'elles offrent un cadre conceptuel intéressant, un guide flexible et un ensemble de méthodes et questions qui seraient également utiles dans d'autres contextes d'évaluation.

La valeur d'un critère d'évaluation désigné pour la qualité de la science 

Les participants se sont également accordés sur le fait que les quatre dimensions de l'évaluation de la qualité de la science (conception, intrant, processus et produit) étaient claires et utiles avec des indicateurs bien définis, en particulier en cas d'utilisation d'approche fondée sur des méthodes mixtes. Un participant a noté que ces dimensions traduisent une manière plus exploratoire et moins standardisée de mener des évaluations sur les nexus R4D, ce qui enrichit et approfondit l'enquête d'évaluation. Un autre participant a mis l'accent sur l'instauration et le renforcement des partenariats dans le cadre de la dimension relative au «processus». Une autre participante était pour sa part enthousiaste à l'idée d'utiliser ce cadre pour concevoir un système d'évaluation sur mesure dans son département. En outre, les trois questions d'évaluation principales préconisées pour évaluer la qualité de la science ont été jugées appropriées pour les projets de R4D.

Dans le cadre de l'évaluation en cours de la plateforme GENDER (du CGIAR), un participant a noté l'utilité des Lignes directrices comme boîte à outils dans le contexte de la recherche agricole pour le développement (AR4D) afin de situer la qualité de la science lors de l'évaluation des questions principales en suivant les cinq critères d'évaluation du CAD (de l'OCDE) – pertinence, efficacité, efficience, cohérence et durabilité. L'une des leçons essentielles que l'équipe de l'évaluation a tirée lors de l'application des Lignes directrices est que ces dernières couvrent les deux perspectives de l'évaluateur et du chercheur, avec des experts en la matière, afin de décomposer les questions centrales d'évaluation réparties autour des quatre dimensions de l'évaluation de la qualité de la science.

Plusieurs participants ont demandé des éclaircissements quant à l'utilité des Lignes directrices pour évaluer des projets de développement. Les Lignes directrices ont été développées pour évaluer la recherche pour le développement dans le contexte d'une recherche conçue conjointement et développée en partenariat avec des acteurs de développement qui seraient ensuite en mesure d'adapter les innovations pour un impact en termes de développement. Bien qu'elles aient été modelées sur des interventions de R4D, nous considérons que les Lignes directrices sont suffisamment flexibles pour être adaptées aux évaluations des projets de développement comprenant des composantes liées à la recherche et à la science – les quatre dimensions visant à évaluer la qualité de la science permettraient de les mettre en évidence. Un récent atelier de travail du CGIAR a porté sur l'application rétroactive des Lignes directrices pour l'évaluation des interventions de développement à travers deux études de cas spécifiques: AVACLIM, un projet mis en œuvre par la FAO et le projet Feed-the-Future AVCD-Kenya réalisé par l'ILRI. Les deux études de cas ont démontré la large application possible des Lignes directrices.

Plusieurs participants ont également insisté sur l'importance de l'évaluation de l'impact. Alors que le champ d'étude de la Fonction indépendante d'évaluation du CGIAR ne permet pas d'évaluer l'impact, les Lignes directrices envisagent la possibilité d'évaluer l'impact (voir figure 6) en relation avec les ODD ou au-delà. De manière similaire, dans d'autres contextes et organisations, des possibilités plus larges peuvent exister pour intégrer l'accent mis sur les impacts. Les nouvelles Lignes directrices pourraient être déployées dans un délai de 3 à 5 ans après l'achèvement d'une intervention pour évaluer les progrès faits dans l'adoption des technologies.

En écho à la discussion de 2022, certaines contributions ont souligné l'attention portée à l'inclusion ou aux bénéficiaires dans les évaluations, en particulier l'accent mis sur les communautés qui pourraient également être un acteur important pour la recherche et l'innovation. Dans une intervention de développement ou de R4D, l'analyse des parties prenantes permet d'identifier les bénéficiaires comme principales parties prenantes; l'utilisation des dimensions relatives aux «processus» et aux «produits» permettrait de nuancer la participation et les bénéficies qu'ils tirent des activités réussies de recherche et de développement.

Faciliter l'apprentissage à partir de la mise en œuvre et de l'adoption des Lignes directrices

Les participants ont soulevé certains problèmes relatifs au déploiement et à l'utilisation des Lignes directrices concernant les points suivants:

• l'interrogation quant à la possibilité pour le critère d'évaluation de la qualité de la science d'évaluer seul l'essence de la recherche et du développement;
• l'utilité de clarifier davantage les différences entre les évaluations de processus et de performance;
• la nécessité de comprendre les hypothèses, en particulier celles qui doivent être vérifiées pour que les produits soient adoptés par les bénéficiaires;
• l'importance de la cohérence interne et externe;
• la nécessité de définir des critères d'inclusion et d'exclusion lors de la conception des évaluations de la recherche;
• l'importance de définir le contexte de la recherche qui est une question prioritaire dans le RQ+ révisé de l'IDRC.

De nombreuses suggestions ont été faites sur la manière dont le CGIAR peut contribuer à déployer les Lignes directrices au sein de la communauté de l'évaluation dans les organisations partageant des idées similaires. Des suggestions utiles ont également été faites quant à la nécessité de renforcer les capacités pour utiliser les Lignes directrices, à travers par exemple des sessions de formation et des ateliers, des ressources en ligne (webinaires, plateformes collaboratives), des partenaires de parrainage et des tests d'utilisation des Lignes directrices dans des études de cas ainsi que dans des évaluations en cours et à venir. En particulier, le renforcement des capacités des parties prenantes pertinentes pour comprendre et utiliser les Lignes directrices serait approprié pour soutenir une utilisation plus ample et une meilleure implication de la communauté de l'évaluation.

L'un des participants a suggéré de réaliser une méta-évaluation (peut-être une synthèse) de l'utilisation des Lignes directrices une fois que le CGIAR les aura utilisées pour évaluer son portefeuille de projets actuels. Il convient de noter qu'un travail rétrospectif est mené sur le précédent portefeuille comprenant 12 programmes principaux (mis en œuvre sur la période 2012-2021) avec des améliorations notables en ce qui concerne la clarté et la définition des réalisations. Une application plus large des Lignes directrices dans les évaluations de processus et de la performance dans différents contextes et portefeuilles donnera lieu à d'autres réflexions pour renforcer et revoir cet outil.

Merci, Svetlana, de partager le document et de nous avoir demandé notre avis. Je n'ai qu'une connaissance limitée des systèmes du GCRAI, mais je vous fais part de mes observations basées sur mon travail antérieur sur les programmes de recherche et de développement agricoles dans le contexte asiatique.

L'évaluation de la recherche et du développement de l'agriculture et des interventions de gestion des ressources naturelles associées n'est pas simple. C'est pourquoi je salue le travail de l'équipe qui a réussi à présenter les thèmes importants sous une forme concise et exploitable. Il y a cependant quelques observations qui pourraient être utiles pour réfléchir/réfléchir afin de rendre le document plus inclusif et d'en faire un outil de prise de décision pour les parties prenantes.

J'essaie de me limiter à une seule question : "Pensez-vous que les lignes directrices répondent aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance ?

Les lignes directrices pourraient se concentrer davantage sur les perspectives et l'émergence du système : 

Le document a mis en évidence l'évolution du contexte de l'évaluation au sein du GCRAI. Il a soulevé des questions importantes liées à l'avenir de la sécurité alimentaire avec une mission de fournir la science et l'innovation pour transformer les systèmes alimentaires, terrestres et hydriques dans une crise climatique et mentionne également des changements transformateurs. Il est encore possible d'intégrer ces éléments importants dans l'administration actuelle de l'évaluation.

Il se peut que la ligne directrice doive aller au-delà de l'évaluation technique pour s'orienter vers une évaluation inclusive ou axée sur les bénéficiaires.

La ligne directrice mentionne certains publics et utilisateurs (tels que les bailleurs de fonds et les agences de mise en œuvre), mais elle n'insiste guère sur les communautés, qui pourraient également être une partie prenante importante de la recherche et de l'innovation. Il existe de nombreuses activités de recherche et de développement réussies (telles que la sélection participative des plantes, la sélection participative, la priorisation et la sélection participative des technologies) dans lesquelles les communautés/agriculteurs sont des parties prenantes importantes. Il semble que leur rôle soit un peu absent de cette ligne directrice.

Les voies d'impact des interventions de recherche et de développement sont longues et imprévisibles; les critères ou questions d'évaluation devraient donc tenir compte de ces aspects.

Une fois que les résultats de la recherche sont générés (dans certains cas, la recherche ne génère pas les résultats attendus), le processus de diffusion de la technologie peut prendre plus de temps en raison d'un retard de développement substantiel et du processus d'adoption, et ce processus peut affecter la réalisation de l'impact/des avantages de la technologie au cours de la période d'intervention. Cela peut également influencer les aspects de durabilité. L'intégration de ces aspects pourrait constituer un défi dans le processus d'évaluation de la recherche.

Ces réflexions sont basées sur mon expérience en tant que co-chercheur principal dans l'évaluation intermédiaire du projet REG-019-18, le projet Nudging for Good.

Ce projet est le fruit d'un partenariat de recherche entre l'Institut international de recherche sur les politiques alimentaires (IFPRI), l'Université d'État de Pennsylvanie/Organisation des Nations unies pour l'alimentation et l'agriculture (FAO), l'Université du Ghana, l'Hôpital national Thai Nguyen, l'Université de pharmacie et de médecine Thai Nguyen et l'Institut national de la nutrition du Viêt Nam. Cette équipe interdisciplinaire couvre un large éventail de disciplines, notamment l'épidémiologie, la nutrition, l'économie et l'apprentissage automatique, pour combiner une expérience de pointe dans la technologie de l'intelligence artificielle (IA).

Le partenariat de recherche a été fondé sur l'expérience de l'IFPRI en matière de systèmes alimentaires, qui a montré que la transmission d'informations en temps opportun peut permettre de remédier efficacement aux contraintes de connaissances qui influencent les choix alimentaires. L'IFPRI dirige également la recherche et assume la responsabilité de l'analyse des données et de la communication des résultats. La Pennsylvania State University/FAO a été chargée d'étendre sa plateforme d'intelligence artificielle existante en y ajoutant des fonctionnalités d'évaluation du régime alimentaire et en y incluant la capacité de pousser les adolescents à adopter de meilleures pratiques alimentaires. Les équipes nationales, dont l'université du Ghana et l'hôpital national Thai Nguyen, l'université de pharmacie et de médecine Thai Nguyen et l'institut national de nutrition du Viêt Nam, sont chargées de la validation et des tests de faisabilité de la technologie basée sur l'IA dans le pays.

La recherche consiste à développer, valider et tester la faisabilité de l'utilisation d'une technologie basée sur l'IA qui permet un diagnostic précis de la consommation alimentaire. La recherche était basée sur l'hypothèse que la consommation alimentaire et les comportements liés à l'alimentation s'amélioreront si les adolescents reçoivent des informations personnalisées qui tiennent compte des obstacles liés à leurs connaissances en matière de choix d'aliments sains.

Compte tenu des nuances de ces partenariats de recherche et des objectifs de l'évaluation, nous avons adopté la pertinence et l'efficacité des critères d'évaluation du CAD de l'OCDE et les avons légèrement redéfinis pour les aligner sur l'Initiative pour l'équité dans la recherche (IER). Pourquoi l'IER ?

Lavery & IJsselmuiden (2018) et d'autres chercheurs ont souligné le fait que les disparités structurelles telles que l'accès inégal au financement de la recherche parmi les chercheurs et les institutions de recherche et les différences de capacité institutionnelle capables de soutenir les partenariats de recherche façonnent le caractère éthique de la recherche, présentant des défis importants pour des partenariats de recherche justes et équitables entre les pays à revenu élevé (HIC) et les pays à revenu faible et intermédiaire (LMIC). 

En réponse à ces défis, l'Initiative pour l'équité dans la recherche (RFI) a été créée et testée à titre pilote avec des institutions de recherche de premier plan dans le monde entier afin de développer les capacités des systèmes de recherche et d'innovation dans les institutions des pays à revenu faible et intermédiaire par le biais de la collaboration en matière de recherche et de partenariats avec les institutions des pays à revenu élevé (COHRED, 2018c).  En tant que système de reporting et plateforme d'apprentissage, le RFI accroît la compréhension et le partage des innovations et des meilleures pratiques, tout en améliorant l'équité, l'efficacité et l'impact des collaborations de recherche avec les institutions des pays à revenu faible et intermédiaire (COHRED, 2018c).  Le RFI vise donc à soutenir une meilleure gestion des partenariats de recherche, à créer des normes d'équité et de collaboration entre les institutions et les partenaires de recherche, et à construire des systèmes de recherche mondiaux plus solides, capables de soutenir la santé, l'équité et le développement dans les pays à revenu faible et intermédiaire (COHRED, 2018a).  Les rapports sur l'équité de la recherche ont également été positivement associés aux possibilités de mesurer la relation entre la qualité des partenariats de recherche et l'impact de la recherche elle-même, créant ainsi une plateforme pour la planification, la conception, la gestion et l'évaluation des programmes qui pourrait avoir un impact significatif sur l'éthique et la gestion des programmes de recherche (Lavery & IJsselmuiden, 2018). 

Lavery & IJsselmuiden (2018) ont souligné que les efforts d'évaluation de l'équité de la recherche doivent donc clarifier et articuler les facteurs influençant l'équité dans les partenariats de recherche, appliquer une méthodologie capable d'opérationnaliser le concept d'équité de la recherche et, par la collecte de preuves empiriques systématiques, démontrer comment les partenariats de recherche ajoutent de la valeur pour les organisations participantes.

Sur la base des prémisses ci-dessus, et en lisant les lignes directrices d'évaluation QoR4D du CGIAR, voici mes réflexions :  

1. Les trois questions clés d'évaluation recommandées dans les lignes directrices sont appropriées pour évaluer la qualité de la science (QoS) suite à ma réflexion sur les questions d'évaluation que nous avons utilisées pour évaluer le projet Nudging for Good.
2. Les quatre dimensions interdépendantes - conception de la recherche, intrants, processus et résultats - sont claires et utiles car elles reflètent une manière plus exploratoire et moins normalisée de procéder à des évaluations universitaires, à savoir l'enquête évaluative.
3. La formation et le développement, ainsi qu'un engagement plus étroit entre les parties prenantes concernées, pourraient constituer un point de départ approprié pour que le CGIAR soutienne le déploiement de la ligne directrice.

Chers membres/collègues,

Ma contribution à EvalForward.

Aujourd'hui, la politique et l'économie mondiales sont guidées par la science et la technologie. L'avènement de la pandémie de COVID-19, l'épidémie de HIV, les politiques du marché mondial, la gouvernance de l'internet, etc. requièrent des outils analytiques pour une évaluation efficace. La question est donc la suivante : le suivi et l'évaluation peuvent-ils mesurer et suivre l'avènement de l'ère de la science et de la technologie ?

L'innovation a permis au monde d'atteindre ce niveau de développement. Par conséquent, les méthodologies innovantes et la science des données appliquées à la science et à la technologie devraient également être utilisées pour le suivi et l'évaluation des progrès des programmes et des résultats.

En outre, la recherche devrait aider l'évaluation à devenir un outil plus analytique pour les stratégies de mise en œuvre. L'évaluation étant orientée vers la science parce qu'elle utilise des méthodologies de recherche et parce qu'elle a pour but d'apporter des améliorations, elle devrait être en mesure de générer des idées et des concepts novateurs dans la perspective de l'économie mondiale.

Par conséquent, l'importance et le rôle de l'évaluation dans la mise en œuvre et les résultats des programmes scientifiques et technologiques devraient être soulignés dans les lignes directrices.

Merci

Quelles sont les méthodes supplémentaires de collecte et d'analyse des données qui devraient être élaborées pour évaluer la science et la recherche dans les évaluations de processus et de performance ?

Au-delà des méthodes traditionnelles telles que les enquêtes, les entretiens et l'examen des documents, de nouvelles approches telles que l'exploration des données, l'analyse des sentiments, l'analyse des réseaux sociaux et l'analyse bibliométrique pourraient être utilisées pour obtenir des informations plus complètes et plus diversifiées.

Comment le CGIAR peut-il soutenir le déploiement des lignes directrices auprès de la communauté de l'évaluation et des organisations partageant les mêmes idées ?

Le CGIAR pourrait organiser des webinaires, des ateliers, des partenariats entre le GC et les institutions académiques et des sessions de formation pour familiariser les organisations et d'autres organisations similaires avec les lignes directrices. Des plateformes de collaboration pourraient être mises en place pour une discussion continue, l'apprentissage et le partage des meilleures pratiques. En outre, la fourniture d'études de cas et d'exemples concrets de la manière dont ces lignes directrices ont été appliquées et des résultats qu'elles ont permis d'obtenir pourrait contribuer à leur adoption.

Meilleurs vœux

Oluchi

Merci, Svetlana, de m'avoir donné l'occasion de participer à cette discussion. Je réponds à deux de vos questions ci-dessous.

Pensez-vous que les lignes directrices répondent aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance ?

Les lignes directrices semblent répondre aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance grâce à un cadre flexible et bien documenté. Je ne suis pas certain qu'un seul critère d'évaluation permette de saisir l'essence de la recherche et du développement. Je pense que la réponse se trouve dans la réflexion sur son application dans les divers exercices d'évaluation à venir au CGIAR, ainsi que dans la réflexion sur l'expérience organisationnelle antérieure. Cela peut impliquer d'identifier comment il est interprété dans différents contextes, et si un développement plus poussé des critères recommandés peut être envisagé pour une éventuelle deuxième version des lignes directrices.

Comment le CGIAR peut-il soutenir le déploiement des lignes directrices avec la communauté de l'évaluation et les organisations partageant les mêmes idées ?

Je suis d'accord avec d'autres personnes pour dire que des ateliers et/ou des formations sur les lignes directrices pourraient être un moyen de diffuser les lignes directrices et de s'engager avec la communauté de l'évaluation. Il serait productif de mettre l'accent sur la flexibilité des lignes directrices et de favoriser la réflexion sur leur utilisation dans différents contextes organisationnels.

Conformément à ma réponse à la première question ci-dessus, je suggérerais qu'un exercice de méta-évaluation soit réalisé lorsque les organisations auront acquis une plus grande expérience dans l'application des lignes directrices. L'intérêt pour le GCRAI serait évident et pourrait conduire à une deuxième version améliorée. Il serait également très utile à la communauté de l'évaluation, le CGIAR jouant un rôle important dans la facilitation de l'apprentissage continu par l'utilisation de la méta-évaluation - ce que le théoricien de l'évaluation Michael Scriven a appelé un effort scientifique et moral important pour le domaine de l'évaluation.

À la Western Michigan University, nous sommes engagés dans une étude de synthèse sur la pratique de la méta-évaluation sur une période de 50 ans. Nous avons trouvé de nombreux exemples de méta-évaluation de systèmes d'évaluation dans différents contextes. Nous pensions que très peu de méta-évaluations étaient effectuées et nous avons été surpris de constater qu'il existe de nombreux exemples intéressants dans la littérature grise et universitaire. La documentation de ces travaux de méta-évaluation renforcerait encore les lignes directrices et leur applicabilité et apporterait une valeur ajoutée significative à l'engagement continu avec la communauté internationale de l'évaluation.

J'ai participé à un atelier à Rome, en Italie, les 27 et 28 février 2023, qui s'est concentré sur le Service indépendant de conseil et d'évaluation (IAES) du CGIAR et ses nouvelles lignes directrices en matière d'évaluation. Ces lignes directrices sont basées sur le cadre de référence de la qualité de la recherche pour le développement (QoR4D) du Conseil indépendant de la science pour le développement (ISDC) du CGIAR. Elles fournissent un cadre pour l'évaluation de la qualité de la recherche pour le développement au sein du CGIAR et d'organisations similaires, y compris des critères, des dimensions et des méthodes.

Au cours de l'atelier, j'ai partagé ma propre expérience de l'évaluation de la recherche et de la science lors de la co-construction de la stratégie AWC. L'analyse bibliométrique de la stratégie AWC a suivi une approche ascendante en deux phases. La première phase a consisté à cartographier les projets sur Agriculture, eau et climat existants à l'UM6P (Université Mohammed VI Polytechnique). Pour valider les résultats, un processus de triangulation utilisant les résultats de l'enquête et les bases de données des publications a été mené. Cependant, l'intégration de la base de données des projets avec d'autres sources de données s'est avérée difficile. La deuxième phase a consisté à comparer l'UM6P à ses pairs internationaux dans les domaines de l'Agriculture, eau et climat à l'aide d'indicateurs bibliométriques tels que la quantité de publications, l'impact (citations, quartiles) et les connexions de réseau. L'université étant relativement récente, l'analyse s'est principalement concentrée sur les publications scientifiques.

Avant de participer à l'atelier, je ne connaissais pas le CGIAR, l'ISDC et la fonction d'évaluation. Cependant, l'atelier m'a incité à mieux comprendre le cadre d'évaluation. Je suis maintenant motivé pour mettre en œuvre des changements et développer une nouvelle méthodologie pour mesurer la qualité et l'impact de la recherche pour les initiatives AWC.

Pour l'avenir, deux actions sont proposées. Premièrement, l'adoption des critères du GCRAI pour l'évaluation de la recherche est suggérée comme nouvelle approche pour mesurer la qualité et l'impact de la recherche. Deuxièmement, l'évaluation des projets et de leurs résultats est recommandée pour évaluer l'efficacité et les résultats des initiatives sur Agriculture, eau et climat. Ces actions contribueront également à la conception de notre cadre d'évaluation, en tenant compte des dimensions de la qualité de service, telles que la pertinence et l'efficacité des programmes/projets de recherche, la participation et la transparence des partenariats, ainsi que l'impact et la durabilité des résultats des programmes/projets de recherche.

Après avoir participé à l'atelier organisé par l'IAES, j'ai eu l'occasion de réviser attentivement les lignes directrices en anglais et en espagnol. Je suis très satisfaite de ces lignes directrices, qui constituent une base solide au niveau opérationnel. Lorsque nous avons commencé à discuter du cadre pour le développement de la qualité de la recherche, j'étais particulièrement préoccupée par la manière dont mon rôle pouvait contribuer à cette entreprise ; tout cela semblait de très haut niveau. Mais après avoir lu ce document, je peux m'imaginer en train de mettre en œuvre et d'adopter ces pratiques dans le cadre de mon travail.

Dans l'ensemble, je suis très satisfaite de ce document ; il a été soigneusement rédigé, bien traduit et plein de ressources. Excellent travail !

Je participe à cette riche discussion du point de vue de mon expérience de la gestion de l'évaluation en cours de la plateforme GENDER (Generating Evidence and New Directions for Equitable Results) du CGIAR, qui est coordonnée par les services indépendants de conseil et d'évaluation (IAES).  De ce point de vue, j'explore en détail les questions 2, 3 et 1 en commençant par une vue d'ensemble du contexte de l'évaluation, de la conception de l'évaluation et en terminant par une conclusion clé tirée de l'application des lignes directrices.

Contexte

Les lignes directrices présentent quatre dimensions interdépendantes (conception de la recherche, apports, processus et résultats) qui prennent en compte les nombreuses variables de la réalisation et de l'utilisation d'une recherche de haute qualité, encadrées par le cadre de référence QoR4D et les critères du CAD de l'OCDE. L'application n'est en aucun cas linéaire. L'évaluation en cours de la plate-forme GENDER a servi de test. L'évaluation vise à évaluer les progrès de la plateforme, à documenter les leçons apprises et à fournir des recommandations tournées vers l'avenir, alors qu'elle se transforme en une plateforme d'impact au mandat élargi.

Pour répondre aux questions centrales de l'évaluation, bien que l'évaluation ne s'articule pas autour d'un critère explicite de "qualité de la science" (QoS), les lignes directrices ont constitué une boîte à outils utile dans un contexte de recherche agricole pour le développement (AR4D) pour situer la QoS tout en évaluant les questions clés suivant les cinq critères d'évaluation du CAD - pertinence, efficacité, efficience, cohérence et viabilité. L'évaluation de la plateforme, menée par une équipe multidisciplinaire dirigée par un évaluateur, a intégré des approches participatives, théoriques, axées sur l'utilisation et féministes, et a déployé des méthodes mixtes pour la collecte des données.

Pour situer le contexte, la plateforme GENDER synthétise et amplifie la recherche, renforce les capacités et définit des orientations pour permettre au CGIAR d'avoir un impact sur l'égalité des sexes, les opportunités pour les jeunes et l'inclusion sociale dans l'agriculture et les systèmes alimentaires. La plateforme s'articule autour de trois modules interconnectés (preuves, méthodes et alliances). Les lignes directrices ont été appliquées au module "preuves", qui vise à améliorer la quantité et la qualité des preuves liées au genre.

Mécanismes

En ce qui concerne la conception de l'évaluation, conformément au rapport initial, l'équipe d'évaluation a élaboré des sous-matrices d'évaluation portant sur les voies d'impact et le cadre de résultats des modules de la plateforme. Ces sous-matrices ont alimenté une matrice d'évaluation principale. Les matrices, la matrice globale (et d'autres résultats) ont été examinées par une équipe de pairs externes, dont certains membres du groupe de référence en matière d'évaluation de l'IAES, et par l'équipe de la plateforme afin d'en renforcer la validité. Ces examens ont permis de réviser les documents par la suite. 

Les quatre dimensions de la qualité de service ont joué un rôle essentiel dans l'évaluation du module sur les éléments probants - ces quatre dimensions ont été mises en correspondance avec les critères d'évaluation centraux. Les experts en la matière qui ont dirigé l'évaluation du module "éléments de preuve" l'ont systématiquement appliqué pour évaluer le module de manière imbriquée sur la base de la cartographie qu'ils ont réalisée. Chacune des trois évaluations des modules de la plateforme a ensuite alimenté l'évaluation globale de la plateforme de manière synergique.

À emporter

L'une des leçons à tirer de cette expérience est que la convergence de différents points de vue est essentielle dans l'application des lignes directrices. L'équipe d'évaluation multidisciplinaire, dans ce cas, a bénéficié à la fois de l'optique de l'évaluateur - dirigée par un évaluateur - et de l'optique du chercheur, avec des experts en la matière qui étaient des chercheurs (en matière de genre) qui ont dirigé l'évaluation du module sur les éléments probants. En appliquant les lignes directrices, l'équipe d'évaluation s'est appuyée sur les deux perspectives pour analyser les questions centrales de l'évaluation en fonction des quatre dimensions de la qualité de service. Bien que les équipes d'évaluation multidisciplinaires ne soient pas toujours réalisables dans certains contextes, cette multidisciplinarité peut s'avérer utile lors de l'application des lignes directrices. Toutefois, il est essentiel que ces équipes consacrent suffisamment de temps au partage des capacités et à l'apprentissage mutuel pour réduire la courbe d'apprentissage nécessaire à la convergence requise pour évaluer efficacement la "qualité de service", ou pour l'intégrer selon les critères standard du CAD de l'OCDE, comme cela a été fait dans ce cas. Dans les deux cas, les lignes directrices (et d'autres produits dérivés conviviaux) peuvent servir de ressources prêtes à l'emploi.

La recherche de haute qualité peut être aussi difficile à évaluer qu'à réaliser. Les chercheurs, les gestionnaires de programmes et d'autres acteurs peuvent également trouver les lignes directrices utiles en tant qu'outil de cadrage pour réfléchir aux perspectives des évaluateurs aux stades formatifs et/ou sommatifs des chaînes de valeur de la recherche ou de la programmation pour une mise en œuvre plus ciblée et des stratégies de programmation. L'application des lignes directrices aux évaluations des processus et des performances dans différents contextes et portefeuilles permettra d'obtenir des informations qui renforceront et affineront l'outil.

Enfin, le rapport d'évaluation de la plateforme GENDER et l'évaluation du module Evidence qui détaillent l'application des lignes directrices seront bientôt publiés par l'IAES.

Chère Svetlana,

En référence à l'e-mail daté du 7 juin 2023 et en réponse à vos questions posées le 10 mai 2023 sur la plateforme EvalForward, je joins mon avis dans un fichier word [traduction en Francais ci dessous] pour que vous puissiez en prendre connaissance. 

Je vous prie d'agréer, Madame, Monsieur, l'expression de mes salutations distinguées.

Parshuram Samal

Ancien chercheur principal, ICAR-NRRI, Inde

Comment évaluer la science, la technologie et l'innovation dans un contexte R4D (Recherche pour le développement)?

Discussion sur la version bêta des lignes directrices

1. Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

OUI

2. Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1).

OUI

3. Un critère d'évaluation relatif à la qualité de la science (QdS) serait-il à même de saisir l'essence de la recherche et du développement? 

OUI. Si le critère d'évaluation de la qualité de la science saisit dans une large mesure l'essence de la recherche avec les connaissances disponibles à un moment donné, il ne prend pas suffisamment en compte les aspects liés au développement (adoption et impact des technologies).

4. Avez-vous une expérience d'utilisation d'autres critères d'évaluation pour évaluer les interventions impliquant le nexus science, recherche, innovation et développement ? 

OUI

Au cours de ma carrière au sein du Conseil indien de la recherche agricole, les critères d'évaluation des processus étaient largement pris en compte lors de la formulation et de l'examen des projets par les experts et le Conseil de recherche de l'institut/le Conseil consultatif de recherche.

L'évaluation des performances est prise en charge dans une certaine mesure par les équipes de révision quinquennale. Mais cela n'était pas suffisant du point de vue des décideurs politiques et des agences de financement des projets, qui posent des questions sur les avantages pour la société.  C'est pourquoi j'avais l'habitude de réaliser des évaluations de l'impact des technologies/interventions dans des situations agricoles réelles dans la zone du projet ou dans la zone sélectionnée. Ces évaluations tiennent compte de l'augmentation des revenus et de l'emploi des petits exploitants, ainsi que de l'ampleur de l'adoption des technologies. Au cours des dix dernières années de ma carrière, j'ai eu l'habitude d'évaluer l'efficacité/l'impact de l'institut de recherche au niveau de l'État et au niveau national en utilisant des données secondaires qui montrent non seulement le degré d'adoption au niveau de l'État/du pays, mais aussi le rendement des investissements dans la recherche au niveau de l'institut de recherche.

5. Quelles sont des méthodes de collecte et d'analyse de données complémentaires qui doivent être élaborées pour évaluer la science et la recherche dans les évaluations de processus et de la performance?  (voir encadré 3, figure 8 et tableaux 5, 6 et 8)

Les étapes/critères énumérés pour la collecte de données sont adéquats pour les évaluations de processus. En revanche, ils sont inadéquats pour les évaluations de performance en raison de la durée réduite du projet. Le plein potentiel d'une technologie ou d'un produit réussi est généralement réalisé par les agriculteurs et la société après la fin de la période du projet.

Le CGIAR gère des portefeuilles complexes et les produits sont soumis à des événements climatiques extrêmes et à des stress biotiques dans des situations agricoles réelles. Prenons le cas de la plateforme de sélection végétale. Le développement d'une variété de culture et son processus d'autorisation prennent de 7 à 10 ans, voire plus pour certaines cultures. L'impact complet d'une variété (en termes de couverture de surface) prend encore 5 à 10 ans dans les pays où la zone géographique est étendue. Aujourd'hui, la politique du CGIAR consiste à créer davantage de produits intermédiaires améliorés (par des méthodes conventionnelles/biotechnologiques/mutations/lignes parentales hybrides, etc. ou une combinaison de différentes méthodes) plutôt que des produits finis, car ils se manifestent différemment dans des environnements différents en raison des interactions entre les gènes et l'environnement. Ils sont fournis à différents pays et testés dans différents environnements à travers le monde dans des stations de recherche pendant un certain temps. Il y a des réussites et des échecs. Les produits les plus performants dans l'environnement ne sont recommandés aux agriculteurs que pour la culture/adoption. Les agences de financement sont plus intéressées par le nombre d'agriculteurs pauvres qui bénéficient des investissements qu'elles ont réalisés, ce qui n'est pas disponible et ne peut être évalué à la fin de la période du projet. Il n'est pas possible d'obtenir l'ensemble des données relatives à l'impact au cours de la période du projet (en particulier les avantages pour les petits exploitants), comme l'attendent les organismes de financement. Par conséquent, la collecte de données sur les principaux matériels de sélection fournis à différents pays/stations de recherche et sur les principaux produits issus de ces environnements/stations de recherche doit être effectuée à des fins d'évaluation des performances.

6. Comment le CGIAR peut-il soutenir le déploiement des lignes directrices auprès de la communauté de l'évaluation et des organisations partageant des idées similaires?

Des sessions de brainstorming supplémentaires avec (plus) d'exemples/études de cas/réussites de différentes régions du globe couvrant les instituts du GCRAI et les SNRA (systèmes nationaux de recherche agricole) dans le cadre d'une plateforme doivent être répertoriées afin d'affiner les mesures d'évaluation des performances. Compte tenu de la complexité des portefeuilles du CGIAR et des contraintes de temps et de ressources pour obtenir des données d'impact, les lignes directrices peuvent être déployées. Les enseignements tirés du processus d'évaluation permettront d'affiner les méthodologies à l'avenir.

Chers tous,

J'apprécie les lignes directrices d'évaluation du CGIAR en tant que cadre de référence fournissant des idées, des outils et des conseils sur la manière d'évaluer la qualité de la science, y compris dans le contexte des projets de développement qui comprennent des composantes scientifiques et de recherche. Il s'agit plus particulièrement de mon point de vue, en tant qu'évaluatrice de projets de développement qui peuvent inclure des composantes de recherche ou le développement d'outils scientifiques pour améliorer l'efficacité du projet dans les secteurs agricoles. Je tiens à préciser que je n'ai pas analysé en profondeur les lignes directrices et les documents connexes et que je ne fais pas partie du CGIAR. Toutefois, je pense que les lignes directrices constituent une contribution importante.

En l'absence de lignes directrices similaires pour évaluer la qualité de la recherche et de la science, je me rends compte que mon analyse passée était quelque peu dispersée entre les 6 critères du CAD de l'OCDE, même si elle englobait la plupart des dimensions incluses dans les lignes directrices. Dans le cadre du critère de pertinence, par exemple, j'ai analysé la justification et la valeur ajoutée des produits scientifiques et la qualité de leur conception, ainsi que l'étendue de la "co-conception" avec les parties prenantes locales, que les lignes directrices qualifient de "légitimité", dans le cadre du critère de qualité de service. En ce qui concerne l'efficacité, j'ai analysé l'adéquation des apports de la recherche, la livraison en temps voulu des résultats de la recherche, les synergies internes entre les activités de recherche et les autres composantes du projet, et le rapport coût-efficacité des produits scientifiques. La plupart des analyses se sont concentrées sur l'efficacité et l'utilité des outils scientifiques développés et sur la durabilité potentielle des résultats de la recherche. Il a été plus difficile d'analyser la "crédibilité scientifique", en l'absence d'experts en la matière au sein de l'équipe d'évaluation. Ce concept a été analysé principalement sur la base des perceptions des parties prenantes au moyen d'outils de collecte de données qualitatives. En outre, il est peu probable que la validation scientifique de la recherche et des outils scientifiques soit réalisée au cours de la durée commune du projet, qui est de trois ans. Par conséquent, des évaluations peuvent être menées avant que la validation scientifique n'ait lieu. Les quatre dimensions des lignes directrices sont suffisamment claires et utiles comme fil conducteur pour développer des questions d'évaluation. Je me concentrerais uniquement sur des concepts tels que l'"utilité" des outils scientifiques développés du point de vue des bénéficiaires finaux du projet, l'"adoption" des résultats scientifiques par les parties prenantes impliquées et les "avantages" découlant de la recherche et/ou des outils scientifiques développés. Dans le cadre des projets de développement, les composantes scientifiques sont généralement isolées des autres activités du projet, avec peu de synergies internes. En outre, l'utilisation des résultats scientifiques et la reproduction des résultats posent souvent problème. Je pense qu'il s'agit là d'un point sur lequel il convient de se concentrer clairement en posant des questions d'évaluation appropriées. Par exemple, les questions d'évaluation de la qualité de service (section 3.2) ne se concentrent pas suffisamment sur ces aspects. La QE3 se concentre sur la manière dont les résultats de la recherche contribuent à faire avancer la science, mais pas sur la manière dont les résultats de la recherche contribuent aux objectifs de développement, sur l'application des résultats de la recherche sur le terrain ou dans le cadre de l'élaboration des politiques, sur l'impact des résultats fournis, ce qui, à mon avis, mérite une plus grande attention ainsi que des outils et des conseils pratiques. En outre, sur la base de ma lecture initiale des lignes directrices, je piloterai l'application des lignes directrices dans les évaluations à venir, au cas où l'évalué inclurait des composantes de recherche. Cela permettra d'affiner l'opérationnalisation des lignes directrices grâce à l'expérience pratique.

Merci beaucoup d'avoir partagé ce document et de m'avoir donné l'occasion de le commenter. J'ai examiné les lignes directrices du point de vue d'un évaluateur ayant une connaissance limitée du système du CGIAR et se lançant dans une nouvelle évaluation.

Pour quelqu'un dans ma position, les lignes directrices fournissent un contexte accessible sur l'approche du CGIAR, les définitions, et ainsi de suite, ainsi que des liens utiles vers d'autres documents pertinents.  Dans l'ensemble, le guide fournit un cadre conceptuel intéressant au chapitre 3, un guide flexible au chapitre 4 et un recueil de méthodes et de questions qui seraient également utiles dans d'autres contextes d'évaluation.

Il est difficile de concevoir une approche rationalisée pour examiner l'impact sur des périodes prolongées d'un éventail aussi large de résultats de recherche.  L'accent est peut-être trop mis sur la diffusion par le biais de publications universitaires officielles. Cette tendance est quelque peu contrebalancée par les efforts déployés pour étudier l'impact en temps réel dans le cadre de la recherche sur les systèmes, et il existe d'excellents exemples (CG) d'études pluridisciplinaires à cet égard.  Je n'ai pas vu de référence à l'utilisation d'études de cas d'évaluation. Celles-ci se sont avérées utiles pour fonder une évaluation antérieure du programme du CGIAR à laquelle j'ai participé et ont permis de saisir les voies menant aux résultats du développement qui pourraient ne pas être reflétées dans la littérature formelle ou les rapports de projet.

je pense que les lignes directrices sont un ensemble de recommandations pour évaluer les projets ou les organisations. Si CGIAR veut aider à leur déploiement, ils pourraient peut-être les promouvoir auprès de leur communauté et des organisations qu'ils soutienne.

• Ils pourraient également organiser des sessions de formation pour aider les gens à comprendre comment appliquer les lignes directrices dans leur travail quotidien.
• Ils pourraient aussi créer des ressources en ligne, comme des vidéos ou des guides, pour aider les gens à mieux comprendre les lignes directrices et leur application.
• Ils pourraient également travailler avec des partenaires pour développer des outils et des méthodologies pour évaluer les projets ou les organisations en utilisant les lignes directrices.

• Ces événements pourraient également servir de plateforme pour partager des exemples de projets ou d'organisations qui ont appliqué avec succès les lignes directrices et pour discuter des leçons apprises.
• Ils pourraient travailler avec des partenaires pour développer des programmes de mentorat pour aider les organisations à appliquer les lignes directrices et à s'améliorer au fil du temps.

• Enfin, ils pourraient organiser des événements pour promouvoir les lignes directrices et créer des opportunités pour les parties prenantes de se rencontrer et d'échanger des idées sur la façon de les appliquer dans leur travail.

En tant que technicien supperieur agricole qui a beaucoup d'experience  je suggeré sur la question,  d'aider ou de mettre sur place des personnes ressource qui seront capable à expliquer les lignes directrices aux parties prenantes et à répondre à leurs questions. Vous pourriez également contribuer à la création de ressources pour aider les gens à mieux comprendre les lignes directrices et leur application.

Vous pourriez proposer que le CGIAR travaille avec d'autres organisations pour développer des outils et des méthodologies pour évaluer les projets ou les organisations en utilisant les lignes directrices. Vous pourriez également proposer que le CGIAR organise des événements pour promouvoir les lignes directrices et créer des opportunités pour les parties prenantes de se rencontrer et d'échanger des idées sur la façon de les appliquer dans leur travail.

Comment le CGIAR peut-il soutenir le déploiement des lignes directrices auprès de la communauté de l'évaluation et des organisations partageant partageant des idées similaires?

Je pense que le CGIAR peut aider les organisations de même sensibilité à utiliser les lignes directrices en mettant l'accent sur sa meilleure caractéristique : la flexibilité.

La flexibilité est nécessaire. Les lignes directrices ont été élaborées sur la base des travaux du CGIAR, qui sont extrêmement variés. Un modèle d'évaluation commun ne conviendrait pas au CGIAR. Elle ne conviendrait pas non plus à la plupart des organisations partageant les mêmes idées.

La flexibilité est une solution intermédiaire. Au lieu d'utiliser un modèle d'évaluation commun, chaque projet pourrait être évalué à l'aide d'un modèle unique sur mesure. Souvent, cela n'est pas pratique. Le coût et l'effort d'individualisation limitent le nombre, la portée et l'opportunité des évaluations. Une structure flexible est un moyen terme pratique. Elle suggère ce que les organisations partageant les mêmes valeurs et leurs parties prenantes apprécient et fournit un point de départ pour la conception d'une évaluation.

La flexibilité est utile aux autres organisations. Ce qui rend les lignes directrices utiles au CGIAR les rend également utiles à d'autres organisations. Les organisations peuvent adopter ce qui est utile, puis ajouter et adapter ce qui correspond à leurs objectifs et contextes.

Le CGIAR pourrait peut-être proposer des ateliers et des ressources en ligne (y compris des exemples et des études de cas) qui suggèrent comment sélectionner, adapter et compléter ses critères. Il s'agirait non seulement d'un service rendu à l'ensemble de la communauté, mais aussi d'une opportunité d'apprentissage pour le CGIAR et ses efforts d'évaluation.

Merci, Seda, pour votre importante question. Comme les lignes directrices l'indiquent à plusieurs reprises, elles ont été élaborées sur la base de l'instrument d'évaluation RQ+ du Centre de recherches pour le développement international (CRDI) (www.idrc.ca/RQplus). Par conséquent, certaines idées et suggestions utiles émanant d'une organisation de développement font partie intégrante des lignes directrices.

La façon la plus simple de répondre à votre question est peut-être d'utiliser le tableau 7 de la page 19 - Thèmes de données qualitatives, indicateurs par dimension de la qualité de la science et critères d'évaluation (Lien aux Lignes Directrices en anglais). Ce tableau a été développé pour évaluer la recherche du CGIAR pour les projets de développement. Pour autant que je puisse en juger, la plupart des thèmes et indicateurs de la qualité d'un projet de recherche scientifique pour le développement sont tout aussi pertinents pour l'évaluation de la qualité d'un projet de développement. Dans le cadre de la conception, en tant qu'évaluateur, je voudrais savoir si la conception est cohérente et claire et si les méthodologies sont adaptées aux interventions prévues. En ce qui concerne les intrants, j'examinerais la base de compétences et la diversité de l'équipe du projet, si le financement disponible était suffisant pour achever le projet de manière satisfaisante et si le renforcement des capacités était approprié pour les activités prévues et serait suffisant pour assurer la durabilité de l'impact après l'achèvement du projet. En ce qui concerne les processus, mes principales questions porteraient sur la reconnaissance et l'intégration des partenariats, sur la bonne définition des rôles et des responsabilités et sur l'existence de risques ou de conséquences négatives dont je devrais être conscient. Enfin, en ce qui concerne les résultats, je voudrais savoir si les méthodes et les outils de communication sont adéquats, si la mise en réseau prévue comprend l'engagement des parties prenantes appropriées et nécessaires, si le projet est suffisamment conscient du fait que l'environnement favorable est propice à la réussite du projet, le cas échéant, si des liens sont établis avec les décideurs politiques et si la préparation à la mise à l'échelle fait partie de l'engagement des parties prenantes.

La section 4 des Directives (Lien aux Lignes Directrices en anglais) sur les étapes clés de l'évaluation de la qualité de la science dans la recherche pour le développement propose des méthodes qui sont également pertinentes pour les projets de développement. Il s'agit notamment de l'examen des documents, des entretiens, des discussions de groupe, de l'analyse des réseaux sociaux, de la théorie du changement et de l'utilisation de rubriques pour réduire la subjectivité lors de l'utilisation d'indicateurs qualitatifs. L'utilisation de rubriques est une pierre angulaire de l'instrument d'évaluation RQ+ du CRDI.

Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

En tant qu'expert international en évaluation, j'ai la chance d'évaluer un large éventail de projets et de programmes couvrant la recherche (appliquée et non expérimentale), le développement et les interventions humanitaires. Au cours de la dernière décennie, j'ai eu l'occasion d'utiliser divers cadres et lignes directrices pour évaluer des propositions de projets et de programmes du CGIAR, en particulier avec le Centre mondial d'agroforesterie (ICRAF) et l'Institut international d'agriculture tropicale (IITA) en Afrique centrale (Cameroun et Congo). Par exemple, lorsque nous avons dirigé l'évaluation finale du Programme de cultures arboricoles durables, phase 2 (PAP2CP) géré par l'IITA-Cameroun, nous avons, avec l'équipe, révisé le cadre et les critères du CAD de l'OCDE pour y inclure un critère scientifique afin d'aborder les dimensions de la recherche telles que les critères d'inclusion et d'exclusion de la recherche.

Lors de la conception de protocoles de recherche de haute qualité pour une évaluation scientifique, l'établissement de critères d'inclusion et d'exclusion pour les participants à l'étude est une pratique standard et obligatoire. Par exemple, les critères d'inclusion définissent les principales caractéristiques de la population cible que les évaluateurs utiliseront pour répondre à leur question de recherche (par exemple, les caractéristiques démographiques et géographiques de la zone ciblée dans les deux régions du Cameroun). Il s'agit de critères importants pour comprendre le domaine de recherche et mieux connaître la population étudiée. Inversement, les critères d'exclusion couvrent les caractéristiques des participants potentiels à l'étude qui répondent aux critères d'inclusion mais présentent des caractéristiques supplémentaires qui pourraient interférer avec le succès de l'évaluation ou augmenter le risque d'une issue défavorable (par exemple, les caractéristiques des individus éligibles qui les rendent très susceptibles d'être perdus de vue, de manquer les rendez-vous prévus pour la collecte des données, de fournir des données inexactes, d'avoir des comorbidités qui pourraient fausser les résultats de l'étude, ou d'augmenter le risque d'événements indésirables). Ces critères peuvent également être considérés dans une certaine mesure comme faisant partie des thèmes transversaux, mais ils ne sont toujours pas couverts par les critères et le cadre d'évaluation du CAD de l'OCDE, et peuvent donc devenir un défi pour l'évaluation de la qualité d'une science/recherche et d'une évaluation des performances.

Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? 

Un examen approfondi des quatre dimensions montre qu'elles sont claires et utiles, en particulier lorsqu'il s'agit d'une approche mixte impliquant des méthodes quantitatives et qualitatives et des indicateurs adéquats. Étant donné que le contexte et la justification sont toujours les meilleurs moteurs de l'objectivité pour la conception de la recherche, les processus de recherche, y compris la collecte de données/évidences fiables et valides pour soutenir le processus de prise de décision, il est très important que les évaluateurs définissent non seulement les critères d'inclusion et d'exclusion appropriés lors de la conception d'une recherche scientifique, mais qu'ils évaluent également l'impact de ces décisions sur la validité externe des résultats escomptés. Par conséquent, sur la base de ces critères d'inclusion et d'exclusion, nous pouvons juger de leur impact sur la validité externe des résultats escomptés. La formulation de ces jugements nécessite une connaissance approfondie du domaine de recherche (contexte et justification), ainsi que de la direction dans laquelle chaque critère pourrait affecter la validité externe de l'étude (en plus des quatre dimensions).

Serge Eric

Chère Seda, quelle belle contribution. Merci. Prouver la qualité de la science est important, mais insuffisant. Cela, et les explications qui l'entourent, n'est pas suffisant pour une organisation qui prétend que son programme de recherche est destiné au développement. Les lignes directrices ne sont pas très claires à ce sujet. Comme vous le dites, et comme j'y ai fait allusion dans ma réponse, vous voulez qu'elles soient plus fortes et plus convaincantes.

Je voudrais complémenter les interventions ci-dessous, ainsi que la question de la FAQ sur la qualité de la recherche par rapport au programme de développement. Comme leur titre l'indique, les lignes directrices se concentrent principalement sur l'aspect scientifique. Il convient de noter ici la dimension "résultats", qui fait référence à la qualité des résultats de la recherche et aux contributions à l'avancement de la science. Je pense que les auteurs pourraient identifier plus clairement comment les résultats concrets de développement liés à un domaine de recherche particulier peuvent également être pris en compte. Cela n'est toujours pas clair pour moi en ce qui concerne les trois autres dimensions. Pourriez-vous nous indiquer les parties pertinentes des lignes directrices à ce sujet ?

Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

Les 27 et 28 février 2023, j'ai participé à un atelier à Rome, en Italie, sur le nouvel ensemble de lignes directrices d'évaluation du CGIAR.  Celles-ci s'appuient sur le cadre de référence de la qualité de la recherche pour le développement (QoR4D) du Conseil indépendant de la science pour le développement (ISDC) du CGIAR et fournissent le cadre, les critères, les dimensions et les méthodes d'évaluation de la qualité de la recherche pour le développement  - à la fois au sein du CGIAR et dans d'autres organisations partageant les mêmes idées. L'événement a été conçu pour aider les praticiens à travers et au-delà du système du CGIAR à comprendre et à appliquer les nouvelles lignes directrices dans leurs propres contextes d'évaluation.

J'ai trouvé l'atelier instructif, plein de ressources et d'impact. Les principaux enseignements que j'ai tirés de l'atelier sont les suivants :

• L'amélioration des processus d'évaluation pour évaluer le succès et l'efficacité de la qualité de la science afin de fournir des preuves pour l'élaboration des politiques ;
• La valeur de l'échange de compétences/expériences entre les animateurs et les participants pour un projet d'évaluation particulier ;
• Le partage et la documentation des meilleures pratiques, en s'appuyant sur les connaissances et l'expérience de l'IAES ;
• l'élaboration de "normes" ou de principes de travail pour garantir un engagement efficace avec les donateurs et les acteurs concernés ; et
• Soutenir et défendre les opportunités de financement public et soutenir le gouvernement en identifiant où nous pouvons renforcer les capacités pour un soutien efficace à l'innovation et comment nous pouvons contrôler et évaluer efficacement les projets financés par des fonds publics.

Il reste un défi à relever : comment appliquer le QoR4D pour évaluer la contribution aux ODD ?

J'utiliserai les enseignements tirés de l'atelier dans le chapitre de mon prochain livre intitulé "Nature-based solution to preserve the wetlands along the critical zone of River Nyong" ainsi que dans mon cours de maîtrise.

Dr Norbert Tchouaffe
Institut panafricain pour le développement
Cameroun

Chers collègues, 

Nous apprécions le défi que représente ce sujet, sur la base des lignes directrices (qui ne font que 25 pages) et en tenant compte de la section FAQ. 

Vous pouvez limiter vos commentaires à l'une des questions ci-dessus. 

Afin d'encourager la réflexion, nous vous proposons quelques documents de référence supplémentaires issus de l'atelier (en anglais): 

• Reflections on workshop: Adaptive co-design of research for development (R4D) evaluations – the need for engagement, learning and ongoing reflection
• Q+A: Former ICAR-NAARM head Dr D. Rama Rao on the QoR4D Frame of Reference workshop
• Q+A: International project management expert Hasna Ziraoui on the QoR4D Frame of Reference workshop
• Q+A: John Gargani on evaluation of research and innovation for development
• Preguntas y respuestas: Emma Rotondo y Rodrigo Ybarnegaray, especialistas de evaluación internacional, acerca del taller sobre el Marco de referencia de la QoR4D (en espagnol et aussi en anglais) 

1. Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

Ayant été impliquée dans des évaluations de propositions de projets et programmes du CGIAR mais également dans des évaluations de la performance au cours des dix dernières années, j'ai utilisé une large gamme de cadres et lignes directrices en constante évolution. Pour les évaluations de CRP (Programme de recherche du CGIAR) phase I de 2015, nous avons utilisé une version modifiée du cadre du CAD de l'OCDE comprenant les critères de pertinence/cohérence, efficacité, impact et durabilité. L'absence de critère relatif à la qualité de la science dans le cadre du CAD de l'OCDE a été prise en compte mais cet aspect a été évalué sans éléments ou dimensions définis. Les partenariats ont été évalués comme des éléments transversaux et l'évaluation de la gouvernance et de la gestion n'a pas été directement reliée à l'évaluation de la qualité de la science. Pour les revues d'évaluation de CRP phase II de 2020, nous avons utilisé le Cadre de référence QoR4D (qualité de la recherche pour le développement) avec les éléments de pertinence, crédibilité, légitimité et efficacité et en s'appuyant sur les trois dimensions des intrants, processus et produits. La qualité de la science était fermement ancrée dans les éléments de crédibilité et de légitimité et les trois dimensions disposaient toutes d'indicateurs bien définis. Lors du processus de revue de 2020, l'absence d'une dimension propre à la conception a été soulignée au regard de son importance pour évaluer la cohérence, l'intégrité et l'adaptation méthodologique ainsi que l'avantage comparatif du CGIAR pour répondre aux problèmes aussi bien mondiaux que régionaux.

La version bêta des lignes directrices d'évaluation rassemble tous ces enseignements précieux tirés d'une décennie d'évaluations et, à cet égard, répond aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de la performance. Elle a été développée en consultant également d'autres cadres et lignes directrices d'évaluation pour mieux comprendre l'évaluation tant de la recherche que des activités de développement. Elle se montre ainsi flexible et adaptable et par conséquent utile et utilisable par les organisations de recherche pour le développement, les instituts de recherche et les organismes de développement.

Récemment, les lignes directrices de l'évaluation ont été utilisées rétrospectivement pour revoir les revues d'évaluation des CRP phase II de 2020 avec une meilleure compréhension des indicateurs qualitatifs dans quatre dimensions. L'application des lignes directrices a permis de clarifier les constatations et a amélioré la capacité de synthétiser les questions importantes dans tout le portefeuille CRP.

2. Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)

Les quatre dimensions sont claires et utiles en particulier lorsqu'elles sont accompagnées de critères déterminés assortis d'indicateurs bien définis. Elles sont exploitables pour une approche d'évaluation basée sur des méthodes mixtes utilisant à la fois des indicateurs quantitatifs et qualitatifs. En outre, elles offrent une flexibilité permettant d'utiliser les lignes directrices à différents niveaux du cycle de la recherche: de la phase de proposition, où la conception, les intrants et les processus programmés seraient évalués, jusqu'aux phases de réalisation à mi-parcours et finale du projet où les produits deviendraient plus consistants.

3. Un critère d'évaluation relatif à la qualité de la science (QdS) serait-il à même de saisir l'essence de la recherche et du développement (section 3.1)?

Sur la base de ma propre utilisation du critère de la qualité de la science avec ses éléments intrinsèques de crédibilité (résultats de recherche solides et sources de connaissance sûres) et de légitimité (processus de recherche justes et éthiques et reconnaissance des partenaires), il saisit l'essence de la recherche et de la recherche pour le développement. Sa capacité à saisir seul l'essence du développement dépendra de l'importance de la science dans le contexte du développement.

Chère Svetlana,

Bonjour et merci pour cette possibilité de commenter les lignes directrices. Je les ai lues avec beaucoup d'intérêt mais je n'ai eu le temps de répondre pour l'instant qu'aux deux premières questions.

Voici mes réponses précédées d'une mise en garde: je n'ai pas d'expérience en recherche, mais j'ai observé à l'époque où je travaillais avec des scientifiques dans le domaine agricole que la préoccupation de l'époque concernant l'évaluation de l'impact sur le groupe de bénéficiaires finaux, tel qu'il était mesuré à travers les variations des valeurs relatives des actifs des ménages, tendait à masquer le manque relatif d'informations et d'intérêt quant aux capacités et aux possibilités des systèmes de recherche et développement et de vulgarisation avant, pendant et après les périodes d'investissement. Leur rôle essentiel dans le processus était souvent réduit au point d'être traités comme des hypothèses ou des risques pour les "bons" produits ou services scientifiques.

Cela rendait difficile la possibilité de relier un impact durable sur les bénéficiaires aux informations sur la capacité institutionnelle à l'époque où les produits de la recherche avaient été développés. Cela pouvait aussi expliquer dans quelle mesure le fait de croire aux études sur le taux de rendement (désespérément gonflé) a nécessité de suspendre la croyance, compromettant ainsi les perspectives que les efforts en matière d'évaluation de l'impact de la recherche fassent une grande différence parmi les décideurs.

Mais poursuivons: voici mes réponses à vos deux questions et j'espère que vous les trouverez intéressantes, voire utiles.

1.    Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

La réponse à cette question suppose/dépend de la connaissance de ces défis auxquels les lignes directrices se réfèrent. À cet égard, la section 1.1 est légèrement trompeuse compte tenu de son titre. Pourquoi?

L'exposé ne précise pas comment le contexte a changé et par conséquent ni comment et pourquoi cela pose des difficultés pour évaluer la qualité de la science (QdS). Il décrit au contraire l'ambition du CGIAR pour un changement transformationnel à travers une transformation du système – tautologie? – des systèmes agroalimentaires durables, l'innovation génétique et cinq objectifs de développement durable – non précisés. Il conclut enfin en expliquant que, alors que les fondateurs du CGIAR se concentrent sur les réalisations en matière de développement, l'évaluation des interventions du CGIAR doit répondre à la fois aux cadres de la QoR4D (Qualité de la recherche pour le développement) – recherche orientée vers les réalisations en matière de développement – et du CAD/OCDE – orientation vers le développement.

Les raisons qui expliquent l'insuffisance des six critères du CAD/OCDE pour évaluer les principales activités du CGIAR n'apparaissent pas propres aux activités du CGIAR, par rapport à d'autres aides au développement financées par des fonds publics – à savoir le caractère imprévisible et risqué de la recherche et la longue durée nécessaire pour observer des résultats. Il est vrai, cela peut prendre plus de temps compte tenu de la position du système du CG mais, comme nous l'apprenons tous, les environnements opérationnels sont de manière inhérente tout aussi imprévisibles que les résultats. Le contexte est important. Les résultats défient les prévisions: ils émergent. La recherche scientifique, ce qu'elle offre et l'effet sur le développement qu'elle peut avoir, ne sont sans doute pas aussi différents que le suggèrent les lignes directrices. En ce qui concerne l'évaluation de la recherche scientifique, la spécificité tient aux personnes que le CGIAR emploie et à la nécessité d'assurer un niveau scientifique élevé dans ce qu'elles font – sa légitimité et sa crédibilité. Le fait est qu'il n'est pas évident de comprendre comment ces deux éléments, tirés du cadre de référence QoR4D, couvrent en quelque sorte les spécificités des activités principales du CGIAR et comblent ainsi les insuffisances liées aux six critères du CAD/OCDE. Ou est-ce que quelque chose m'échappe?

Les différences entre les évaluations de processus et de performance ne sont pas perceptibles dans les définitions fournies au début de la section 2.2. En effet, elles apparaissent extrêmement similaires; à tel point que je me suis demandé – pourquoi en avoir deux quand une seule suffirait? Les évaluations de processus sont considérées comme des auto-évaluations de synthèse du CGIAR alors que les réalisations relèvent du champ d'application des évaluations de la performance. Les évaluations de la performance sont considérées comme plus formatives et reproduisent des lignes d'enquête similaires – l'évaluation de la performance organisationnelle et des modèles opérationnels ainsi que des processus – aux évaluations de processus – le fonctionnement, les instruments et les mécanismes organisationnels et les pratiques de gestion ainsi que les évaluations de l'expérience des cadres, politiques et autres du CGIAR. Aucune mention n'est faite aux hypothèses – pourquoi compte tenu du "caractère imprévisible et risqué de la recherche?" Les hypothèses, par procuration, définissent l'inconnu et devraient être considérées, pour les responsables de la recherche et des évaluations (dans des délais opportuns), tout aussi importantes que les résultats eux-mêmes. Voir ci-dessous.

L'explication des différences entre les critères de pertinence et d'efficacité définis par le CAD/OCDE avec la QoR4D dans le tableau 2 est limitée. Alors que la distinction à faire pour la pertinence répond explicitement à la question "pourquoi le CGIAR?", celle relative à l'efficacité est beaucoup trop vague (à prévoir et à évaluer). Qu'est-ce qui est si restrictif dans le fait que les raisons pour lesquelles le CGIAR fournit des connaissances, des produits et des services – pour répondre à un problème et contribuer à des solutions innovantes – ne peuvent pas être énoncées comme des objectifs et/ou des résultats? Et a fortiori lorsque les lignes directrices affirment que les évaluations de la performance évalueront ces éléments.

2. Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)

Cette section apporte une explication claire et utile des quatre dimensions interconnectées – conception de la recherche, intrants, processus et produits dans la figure 3 qui sont utilisées pour fournir une évaluation équilibrée de la qualité générale de la science.

Quelques observations:

"Réfléchir à l'avantage comparé lors du processus de conception de projet peut potentiellement conduire à des partenariats mutuellement bénéfiques, en augmentant l'efficacité du CGIAR à travers la spécialisation et la réorientation des ressources insuffisantes vers la force relative du Système". https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…

1)    En gardant cela à l'esprit, comme mentionné précédemment dans la section 2.3, il serait utile d'expliquer comment la conception de la recherche prévoit de prouver, mais non d'affirmer, que le CGIAR a un avantage comparatif en suivant le processus à quatre étapes décrit dans la note technique précédente. Les étapes qui produisent les preuves permettant d'affirmer que le CGIAR a ou n'a pas d'avantage comparatif pour prendre une décision sur l'opportunité de procéder à un investissement.

2) Le tableau 3 est parfait pour représenter les quatre dimensions de la QdS avec les six critères du CAD/OCDE et j'ai particulièrement apprécié la note qui le suit sur le GDI (genre diversité et inclusion). Je ne comprends toutefois pas pourquoi le critère de cohérence s'arrête aux intrants et limite son utilisation à la cohérence interne. La cohérence externe est tout aussi importante, si ce n'est plus, et en particulier en ce qui concerne la qualité et la mesure dans lesquelles les produits complètent, s'harmonisent et se coordonnent avec les autres tout comme leur capacité à ajouter de la valeur aux autres tout au long du processus.

3)    Tout en reconnaissant la centralité d'une forte crédibilité et légitimité scientifiques, il est également important de gérer et coordonner les processus pour obtenir et maintenir la pertinence des produits telle qu'elle est appréciée par le bénéficiaire.

4)    J'apprécie la description des processus, en particulier la construction et l'optimisation des partenariats.

5)     Le champ d'application de l'enquête pour évaluer la qualité de la science devrait également se référer aux hypothèses, en particulier à celles qui doivent être maintenues pour que les produits soient pris en compte par l'organisation cible, qu'il s'agisse du Service national de vulgarisation ou de toute autre entité. Il convient de le faire sans rester dans l'attente d'une enquête d'impact ou d'une évaluation de la performance. Je le dis car l'incertitude et l'imprévisibilité associées à la recherche, comme mentionné précédemment, sont liées aussi bien au processus conduisant à délivrer des produits qu'à la gestion de l'hypothèse suivant laquelle le processus le long du cheminement de l'impact, une fois que les produits seront "livrés", continuera. Il ne faut pas s'en rendre compte trop tard. Cette démarche permet d'atténuer le risque de rejet. Une bonne note sur le critère de la qualité de la science ne garantit pas que le produit ou le service est accepté et utilisé par le bénéficiaire en gardant à l'esprit que ce sont les progrès le long du cheminement, et non la qualité de la science, qui motivent ceux qui financent le CGIAR.