Comment évaluer la science, la technologie et l'innovation dans un contexte R4D (Recherche pour le développement)? des nouvelles lignes directrices offrent des solutions

Merci beaucoup d'avoir partagé ce document et de m'avoir donné l'occasion de le commenter. J'ai examiné les lignes directrices du point de vue d'un évaluateur ayant une connaissance limitée du système du CGIAR et se lançant dans une nouvelle évaluation.

Pour quelqu'un dans ma position, les lignes directrices fournissent un contexte accessible sur l'approche du CGIAR, les définitions, et ainsi de suite, ainsi que des liens utiles vers d'autres documents pertinents.  Dans l'ensemble, le guide fournit un cadre conceptuel intéressant au chapitre 3, un guide flexible au chapitre 4 et un recueil de méthodes et de questions qui seraient également utiles dans d'autres contextes d'évaluation.

Il est difficile de concevoir une approche rationalisée pour examiner l'impact sur des périodes prolongées d'un éventail aussi large de résultats de recherche.  L'accent est peut-être trop mis sur la diffusion par le biais de publications universitaires officielles. Cette tendance est quelque peu contrebalancée par les efforts déployés pour étudier l'impact en temps réel dans le cadre de la recherche sur les systèmes, et il existe d'excellents exemples (CG) d'études pluridisciplinaires à cet égard.  Je n'ai pas vu de référence à l'utilisation d'études de cas d'évaluation. Celles-ci se sont avérées utiles pour fonder une évaluation antérieure du programme du CGIAR à laquelle j'ai participé et ont permis de saisir les voies menant aux résultats du développement qui pourraient ne pas être reflétées dans la littérature formelle ou les rapports de projet.

je pense que les lignes directrices sont un ensemble de recommandations pour évaluer les projets ou les organisations. Si CGIAR veut aider à leur déploiement, ils pourraient peut-être les promouvoir auprès de leur communauté et des organisations qu'ils soutienne.

• Ils pourraient également organiser des sessions de formation pour aider les gens à comprendre comment appliquer les lignes directrices dans leur travail quotidien.
• Ils pourraient aussi créer des ressources en ligne, comme des vidéos ou des guides, pour aider les gens à mieux comprendre les lignes directrices et leur application.
• Ils pourraient également travailler avec des partenaires pour développer des outils et des méthodologies pour évaluer les projets ou les organisations en utilisant les lignes directrices.

• Ces événements pourraient également servir de plateforme pour partager des exemples de projets ou d'organisations qui ont appliqué avec succès les lignes directrices et pour discuter des leçons apprises.
• Ils pourraient travailler avec des partenaires pour développer des programmes de mentorat pour aider les organisations à appliquer les lignes directrices et à s'améliorer au fil du temps.

• Enfin, ils pourraient organiser des événements pour promouvoir les lignes directrices et créer des opportunités pour les parties prenantes de se rencontrer et d'échanger des idées sur la façon de les appliquer dans leur travail.

En tant que technicien supperieur agricole qui a beaucoup d'experience  je suggeré sur la question,  d'aider ou de mettre sur place des personnes ressource qui seront capable à expliquer les lignes directrices aux parties prenantes et à répondre à leurs questions. Vous pourriez également contribuer à la création de ressources pour aider les gens à mieux comprendre les lignes directrices et leur application.

Vous pourriez proposer que le CGIAR travaille avec d'autres organisations pour développer des outils et des méthodologies pour évaluer les projets ou les organisations en utilisant les lignes directrices. Vous pourriez également proposer que le CGIAR organise des événements pour promouvoir les lignes directrices et créer des opportunités pour les parties prenantes de se rencontrer et d'échanger des idées sur la façon de les appliquer dans leur travail.

Comment le CGIAR peut-il soutenir le déploiement des lignes directrices auprès de la communauté de l'évaluation et des organisations partageant partageant des idées similaires?

Je pense que le CGIAR peut aider les organisations de même sensibilité à utiliser les lignes directrices en mettant l'accent sur sa meilleure caractéristique : la flexibilité.

La flexibilité est nécessaire. Les lignes directrices ont été élaborées sur la base des travaux du CGIAR, qui sont extrêmement variés. Un modèle d'évaluation commun ne conviendrait pas au CGIAR. Elle ne conviendrait pas non plus à la plupart des organisations partageant les mêmes idées.

La flexibilité est une solution intermédiaire. Au lieu d'utiliser un modèle d'évaluation commun, chaque projet pourrait être évalué à l'aide d'un modèle unique sur mesure. Souvent, cela n'est pas pratique. Le coût et l'effort d'individualisation limitent le nombre, la portée et l'opportunité des évaluations. Une structure flexible est un moyen terme pratique. Elle suggère ce que les organisations partageant les mêmes valeurs et leurs parties prenantes apprécient et fournit un point de départ pour la conception d'une évaluation.

La flexibilité est utile aux autres organisations. Ce qui rend les lignes directrices utiles au CGIAR les rend également utiles à d'autres organisations. Les organisations peuvent adopter ce qui est utile, puis ajouter et adapter ce qui correspond à leurs objectifs et contextes.

Le CGIAR pourrait peut-être proposer des ateliers et des ressources en ligne (y compris des exemples et des études de cas) qui suggèrent comment sélectionner, adapter et compléter ses critères. Il s'agirait non seulement d'un service rendu à l'ensemble de la communauté, mais aussi d'une opportunité d'apprentissage pour le CGIAR et ses efforts d'évaluation.

Merci, Seda, pour votre importante question. Comme les lignes directrices l'indiquent à plusieurs reprises, elles ont été élaborées sur la base de l'instrument d'évaluation RQ+ du Centre de recherches pour le développement international (CRDI) (www.idrc.ca/RQplus). Par conséquent, certaines idées et suggestions utiles émanant d'une organisation de développement font partie intégrante des lignes directrices.

La façon la plus simple de répondre à votre question est peut-être d'utiliser le tableau 7 de la page 19 - Thèmes de données qualitatives, indicateurs par dimension de la qualité de la science et critères d'évaluation (Lien aux Lignes Directrices en anglais). Ce tableau a été développé pour évaluer la recherche du CGIAR pour les projets de développement. Pour autant que je puisse en juger, la plupart des thèmes et indicateurs de la qualité d'un projet de recherche scientifique pour le développement sont tout aussi pertinents pour l'évaluation de la qualité d'un projet de développement. Dans le cadre de la conception, en tant qu'évaluateur, je voudrais savoir si la conception est cohérente et claire et si les méthodologies sont adaptées aux interventions prévues. En ce qui concerne les intrants, j'examinerais la base de compétences et la diversité de l'équipe du projet, si le financement disponible était suffisant pour achever le projet de manière satisfaisante et si le renforcement des capacités était approprié pour les activités prévues et serait suffisant pour assurer la durabilité de l'impact après l'achèvement du projet. En ce qui concerne les processus, mes principales questions porteraient sur la reconnaissance et l'intégration des partenariats, sur la bonne définition des rôles et des responsabilités et sur l'existence de risques ou de conséquences négatives dont je devrais être conscient. Enfin, en ce qui concerne les résultats, je voudrais savoir si les méthodes et les outils de communication sont adéquats, si la mise en réseau prévue comprend l'engagement des parties prenantes appropriées et nécessaires, si le projet est suffisamment conscient du fait que l'environnement favorable est propice à la réussite du projet, le cas échéant, si des liens sont établis avec les décideurs politiques et si la préparation à la mise à l'échelle fait partie de l'engagement des parties prenantes.

La section 4 des Directives (Lien aux Lignes Directrices en anglais) sur les étapes clés de l'évaluation de la qualité de la science dans la recherche pour le développement propose des méthodes qui sont également pertinentes pour les projets de développement. Il s'agit notamment de l'examen des documents, des entretiens, des discussions de groupe, de l'analyse des réseaux sociaux, de la théorie du changement et de l'utilisation de rubriques pour réduire la subjectivité lors de l'utilisation d'indicateurs qualitatifs. L'utilisation de rubriques est une pierre angulaire de l'instrument d'évaluation RQ+ du CRDI.

Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

En tant qu'expert international en évaluation, j'ai la chance d'évaluer un large éventail de projets et de programmes couvrant la recherche (appliquée et non expérimentale), le développement et les interventions humanitaires. Au cours de la dernière décennie, j'ai eu l'occasion d'utiliser divers cadres et lignes directrices pour évaluer des propositions de projets et de programmes du CGIAR, en particulier avec le Centre mondial d'agroforesterie (ICRAF) et l'Institut international d'agriculture tropicale (IITA) en Afrique centrale (Cameroun et Congo). Par exemple, lorsque nous avons dirigé l'évaluation finale du Programme de cultures arboricoles durables, phase 2 (PAP2CP) géré par l'IITA-Cameroun, nous avons, avec l'équipe, révisé le cadre et les critères du CAD de l'OCDE pour y inclure un critère scientifique afin d'aborder les dimensions de la recherche telles que les critères d'inclusion et d'exclusion de la recherche.

Lors de la conception de protocoles de recherche de haute qualité pour une évaluation scientifique, l'établissement de critères d'inclusion et d'exclusion pour les participants à l'étude est une pratique standard et obligatoire. Par exemple, les critères d'inclusion définissent les principales caractéristiques de la population cible que les évaluateurs utiliseront pour répondre à leur question de recherche (par exemple, les caractéristiques démographiques et géographiques de la zone ciblée dans les deux régions du Cameroun). Il s'agit de critères importants pour comprendre le domaine de recherche et mieux connaître la population étudiée. Inversement, les critères d'exclusion couvrent les caractéristiques des participants potentiels à l'étude qui répondent aux critères d'inclusion mais présentent des caractéristiques supplémentaires qui pourraient interférer avec le succès de l'évaluation ou augmenter le risque d'une issue défavorable (par exemple, les caractéristiques des individus éligibles qui les rendent très susceptibles d'être perdus de vue, de manquer les rendez-vous prévus pour la collecte des données, de fournir des données inexactes, d'avoir des comorbidités qui pourraient fausser les résultats de l'étude, ou d'augmenter le risque d'événements indésirables). Ces critères peuvent également être considérés dans une certaine mesure comme faisant partie des thèmes transversaux, mais ils ne sont toujours pas couverts par les critères et le cadre d'évaluation du CAD de l'OCDE, et peuvent donc devenir un défi pour l'évaluation de la qualité d'une science/recherche et d'une évaluation des performances.

Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? 

Un examen approfondi des quatre dimensions montre qu'elles sont claires et utiles, en particulier lorsqu'il s'agit d'une approche mixte impliquant des méthodes quantitatives et qualitatives et des indicateurs adéquats. Étant donné que le contexte et la justification sont toujours les meilleurs moteurs de l'objectivité pour la conception de la recherche, les processus de recherche, y compris la collecte de données/évidences fiables et valides pour soutenir le processus de prise de décision, il est très important que les évaluateurs définissent non seulement les critères d'inclusion et d'exclusion appropriés lors de la conception d'une recherche scientifique, mais qu'ils évaluent également l'impact de ces décisions sur la validité externe des résultats escomptés. Par conséquent, sur la base de ces critères d'inclusion et d'exclusion, nous pouvons juger de leur impact sur la validité externe des résultats escomptés. La formulation de ces jugements nécessite une connaissance approfondie du domaine de recherche (contexte et justification), ainsi que de la direction dans laquelle chaque critère pourrait affecter la validité externe de l'étude (en plus des quatre dimensions).

Serge Eric

Chère Seda, quelle belle contribution. Merci. Prouver la qualité de la science est important, mais insuffisant. Cela, et les explications qui l'entourent, n'est pas suffisant pour une organisation qui prétend que son programme de recherche est destiné au développement. Les lignes directrices ne sont pas très claires à ce sujet. Comme vous le dites, et comme j'y ai fait allusion dans ma réponse, vous voulez qu'elles soient plus fortes et plus convaincantes.

Je voudrais complémenter les interventions ci-dessous, ainsi que la question de la FAQ sur la qualité de la recherche par rapport au programme de développement. Comme leur titre l'indique, les lignes directrices se concentrent principalement sur l'aspect scientifique. Il convient de noter ici la dimension "résultats", qui fait référence à la qualité des résultats de la recherche et aux contributions à l'avancement de la science. Je pense que les auteurs pourraient identifier plus clairement comment les résultats concrets de développement liés à un domaine de recherche particulier peuvent également être pris en compte. Cela n'est toujours pas clair pour moi en ce qui concerne les trois autres dimensions. Pourriez-vous nous indiquer les parties pertinentes des lignes directrices à ce sujet ?

Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

Les 27 et 28 février 2023, j'ai participé à un atelier à Rome, en Italie, sur le nouvel ensemble de lignes directrices d'évaluation du CGIAR.  Celles-ci s'appuient sur le cadre de référence de la qualité de la recherche pour le développement (QoR4D) du Conseil indépendant de la science pour le développement (ISDC) du CGIAR et fournissent le cadre, les critères, les dimensions et les méthodes d'évaluation de la qualité de la recherche pour le développement  - à la fois au sein du CGIAR et dans d'autres organisations partageant les mêmes idées. L'événement a été conçu pour aider les praticiens à travers et au-delà du système du CGIAR à comprendre et à appliquer les nouvelles lignes directrices dans leurs propres contextes d'évaluation.

J'ai trouvé l'atelier instructif, plein de ressources et d'impact. Les principaux enseignements que j'ai tirés de l'atelier sont les suivants :

• L'amélioration des processus d'évaluation pour évaluer le succès et l'efficacité de la qualité de la science afin de fournir des preuves pour l'élaboration des politiques ;
• La valeur de l'échange de compétences/expériences entre les animateurs et les participants pour un projet d'évaluation particulier ;
• Le partage et la documentation des meilleures pratiques, en s'appuyant sur les connaissances et l'expérience de l'IAES ;
• l'élaboration de "normes" ou de principes de travail pour garantir un engagement efficace avec les donateurs et les acteurs concernés ; et
• Soutenir et défendre les opportunités de financement public et soutenir le gouvernement en identifiant où nous pouvons renforcer les capacités pour un soutien efficace à l'innovation et comment nous pouvons contrôler et évaluer efficacement les projets financés par des fonds publics.

Il reste un défi à relever : comment appliquer le QoR4D pour évaluer la contribution aux ODD ?

J'utiliserai les enseignements tirés de l'atelier dans le chapitre de mon prochain livre intitulé "Nature-based solution to preserve the wetlands along the critical zone of River Nyong" ainsi que dans mon cours de maîtrise.

Dr Norbert Tchouaffe
Institut panafricain pour le développement
Cameroun

Chers collègues, 

Nous apprécions le défi que représente ce sujet, sur la base des lignes directrices (qui ne font que 25 pages) et en tenant compte de la section FAQ. 

Vous pouvez limiter vos commentaires à l'une des questions ci-dessus. 

Afin d'encourager la réflexion, nous vous proposons quelques documents de référence supplémentaires issus de l'atelier (en anglais): 

• Reflections on workshop: Adaptive co-design of research for development (R4D) evaluations – the need for engagement, learning and ongoing reflection
• Q+A: Former ICAR-NAARM head Dr D. Rama Rao on the QoR4D Frame of Reference workshop
• Q+A: International project management expert Hasna Ziraoui on the QoR4D Frame of Reference workshop
• Q+A: John Gargani on evaluation of research and innovation for development
• Preguntas y respuestas: Emma Rotondo y Rodrigo Ybarnegaray, especialistas de evaluación internacional, acerca del taller sobre el Marco de referencia de la QoR4D (en espagnol et aussi en anglais) 

1. Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

Ayant été impliquée dans des évaluations de propositions de projets et programmes du CGIAR mais également dans des évaluations de la performance au cours des dix dernières années, j'ai utilisé une large gamme de cadres et lignes directrices en constante évolution. Pour les évaluations de CRP (Programme de recherche du CGIAR) phase I de 2015, nous avons utilisé une version modifiée du cadre du CAD de l'OCDE comprenant les critères de pertinence/cohérence, efficacité, impact et durabilité. L'absence de critère relatif à la qualité de la science dans le cadre du CAD de l'OCDE a été prise en compte mais cet aspect a été évalué sans éléments ou dimensions définis. Les partenariats ont été évalués comme des éléments transversaux et l'évaluation de la gouvernance et de la gestion n'a pas été directement reliée à l'évaluation de la qualité de la science. Pour les revues d'évaluation de CRP phase II de 2020, nous avons utilisé le Cadre de référence QoR4D (qualité de la recherche pour le développement) avec les éléments de pertinence, crédibilité, légitimité et efficacité et en s'appuyant sur les trois dimensions des intrants, processus et produits. La qualité de la science était fermement ancrée dans les éléments de crédibilité et de légitimité et les trois dimensions disposaient toutes d'indicateurs bien définis. Lors du processus de revue de 2020, l'absence d'une dimension propre à la conception a été soulignée au regard de son importance pour évaluer la cohérence, l'intégrité et l'adaptation méthodologique ainsi que l'avantage comparatif du CGIAR pour répondre aux problèmes aussi bien mondiaux que régionaux.

La version bêta des lignes directrices d'évaluation rassemble tous ces enseignements précieux tirés d'une décennie d'évaluations et, à cet égard, répond aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de la performance. Elle a été développée en consultant également d'autres cadres et lignes directrices d'évaluation pour mieux comprendre l'évaluation tant de la recherche que des activités de développement. Elle se montre ainsi flexible et adaptable et par conséquent utile et utilisable par les organisations de recherche pour le développement, les instituts de recherche et les organismes de développement.

Récemment, les lignes directrices de l'évaluation ont été utilisées rétrospectivement pour revoir les revues d'évaluation des CRP phase II de 2020 avec une meilleure compréhension des indicateurs qualitatifs dans quatre dimensions. L'application des lignes directrices a permis de clarifier les constatations et a amélioré la capacité de synthétiser les questions importantes dans tout le portefeuille CRP.

2. Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)

Les quatre dimensions sont claires et utiles en particulier lorsqu'elles sont accompagnées de critères déterminés assortis d'indicateurs bien définis. Elles sont exploitables pour une approche d'évaluation basée sur des méthodes mixtes utilisant à la fois des indicateurs quantitatifs et qualitatifs. En outre, elles offrent une flexibilité permettant d'utiliser les lignes directrices à différents niveaux du cycle de la recherche: de la phase de proposition, où la conception, les intrants et les processus programmés seraient évalués, jusqu'aux phases de réalisation à mi-parcours et finale du projet où les produits deviendraient plus consistants.

3. Un critère d'évaluation relatif à la qualité de la science (QdS) serait-il à même de saisir l'essence de la recherche et du développement (section 3.1)?

Sur la base de ma propre utilisation du critère de la qualité de la science avec ses éléments intrinsèques de crédibilité (résultats de recherche solides et sources de connaissance sûres) et de légitimité (processus de recherche justes et éthiques et reconnaissance des partenaires), il saisit l'essence de la recherche et de la recherche pour le développement. Sa capacité à saisir seul l'essence du développement dépendra de l'importance de la science dans le contexte du développement.

Chère Svetlana,

Bonjour et merci pour cette possibilité de commenter les lignes directrices. Je les ai lues avec beaucoup d'intérêt mais je n'ai eu le temps de répondre pour l'instant qu'aux deux premières questions.

Voici mes réponses précédées d'une mise en garde: je n'ai pas d'expérience en recherche, mais j'ai observé à l'époque où je travaillais avec des scientifiques dans le domaine agricole que la préoccupation de l'époque concernant l'évaluation de l'impact sur le groupe de bénéficiaires finaux, tel qu'il était mesuré à travers les variations des valeurs relatives des actifs des ménages, tendait à masquer le manque relatif d'informations et d'intérêt quant aux capacités et aux possibilités des systèmes de recherche et développement et de vulgarisation avant, pendant et après les périodes d'investissement. Leur rôle essentiel dans le processus était souvent réduit au point d'être traités comme des hypothèses ou des risques pour les "bons" produits ou services scientifiques.

Cela rendait difficile la possibilité de relier un impact durable sur les bénéficiaires aux informations sur la capacité institutionnelle à l'époque où les produits de la recherche avaient été développés. Cela pouvait aussi expliquer dans quelle mesure le fait de croire aux études sur le taux de rendement (désespérément gonflé) a nécessité de suspendre la croyance, compromettant ainsi les perspectives que les efforts en matière d'évaluation de l'impact de la recherche fassent une grande différence parmi les décideurs.

Mais poursuivons: voici mes réponses à vos deux questions et j'espère que vous les trouverez intéressantes, voire utiles.

1.    Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

La réponse à cette question suppose/dépend de la connaissance de ces défis auxquels les lignes directrices se réfèrent. À cet égard, la section 1.1 est légèrement trompeuse compte tenu de son titre. Pourquoi?

L'exposé ne précise pas comment le contexte a changé et par conséquent ni comment et pourquoi cela pose des difficultés pour évaluer la qualité de la science (QdS). Il décrit au contraire l'ambition du CGIAR pour un changement transformationnel à travers une transformation du système – tautologie? – des systèmes agroalimentaires durables, l'innovation génétique et cinq objectifs de développement durable – non précisés. Il conclut enfin en expliquant que, alors que les fondateurs du CGIAR se concentrent sur les réalisations en matière de développement, l'évaluation des interventions du CGIAR doit répondre à la fois aux cadres de la QoR4D (Qualité de la recherche pour le développement) – recherche orientée vers les réalisations en matière de développement – et du CAD/OCDE – orientation vers le développement.

Les raisons qui expliquent l'insuffisance des six critères du CAD/OCDE pour évaluer les principales activités du CGIAR n'apparaissent pas propres aux activités du CGIAR, par rapport à d'autres aides au développement financées par des fonds publics – à savoir le caractère imprévisible et risqué de la recherche et la longue durée nécessaire pour observer des résultats. Il est vrai, cela peut prendre plus de temps compte tenu de la position du système du CG mais, comme nous l'apprenons tous, les environnements opérationnels sont de manière inhérente tout aussi imprévisibles que les résultats. Le contexte est important. Les résultats défient les prévisions: ils émergent. La recherche scientifique, ce qu'elle offre et l'effet sur le développement qu'elle peut avoir, ne sont sans doute pas aussi différents que le suggèrent les lignes directrices. En ce qui concerne l'évaluation de la recherche scientifique, la spécificité tient aux personnes que le CGIAR emploie et à la nécessité d'assurer un niveau scientifique élevé dans ce qu'elles font – sa légitimité et sa crédibilité. Le fait est qu'il n'est pas évident de comprendre comment ces deux éléments, tirés du cadre de référence QoR4D, couvrent en quelque sorte les spécificités des activités principales du CGIAR et comblent ainsi les insuffisances liées aux six critères du CAD/OCDE. Ou est-ce que quelque chose m'échappe?

Les différences entre les évaluations de processus et de performance ne sont pas perceptibles dans les définitions fournies au début de la section 2.2. En effet, elles apparaissent extrêmement similaires; à tel point que je me suis demandé – pourquoi en avoir deux quand une seule suffirait? Les évaluations de processus sont considérées comme des auto-évaluations de synthèse du CGIAR alors que les réalisations relèvent du champ d'application des évaluations de la performance. Les évaluations de la performance sont considérées comme plus formatives et reproduisent des lignes d'enquête similaires – l'évaluation de la performance organisationnelle et des modèles opérationnels ainsi que des processus – aux évaluations de processus – le fonctionnement, les instruments et les mécanismes organisationnels et les pratiques de gestion ainsi que les évaluations de l'expérience des cadres, politiques et autres du CGIAR. Aucune mention n'est faite aux hypothèses – pourquoi compte tenu du "caractère imprévisible et risqué de la recherche?" Les hypothèses, par procuration, définissent l'inconnu et devraient être considérées, pour les responsables de la recherche et des évaluations (dans des délais opportuns), tout aussi importantes que les résultats eux-mêmes. Voir ci-dessous.

L'explication des différences entre les critères de pertinence et d'efficacité définis par le CAD/OCDE avec la QoR4D dans le tableau 2 est limitée. Alors que la distinction à faire pour la pertinence répond explicitement à la question "pourquoi le CGIAR?", celle relative à l'efficacité est beaucoup trop vague (à prévoir et à évaluer). Qu'est-ce qui est si restrictif dans le fait que les raisons pour lesquelles le CGIAR fournit des connaissances, des produits et des services – pour répondre à un problème et contribuer à des solutions innovantes – ne peuvent pas être énoncées comme des objectifs et/ou des résultats? Et a fortiori lorsque les lignes directrices affirment que les évaluations de la performance évalueront ces éléments.

2. Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)

Cette section apporte une explication claire et utile des quatre dimensions interconnectées – conception de la recherche, intrants, processus et produits dans la figure 3 qui sont utilisées pour fournir une évaluation équilibrée de la qualité générale de la science.

Quelques observations:

"Réfléchir à l'avantage comparé lors du processus de conception de projet peut potentiellement conduire à des partenariats mutuellement bénéfiques, en augmentant l'efficacité du CGIAR à travers la spécialisation et la réorientation des ressources insuffisantes vers la force relative du Système". https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…

1)    En gardant cela à l'esprit, comme mentionné précédemment dans la section 2.3, il serait utile d'expliquer comment la conception de la recherche prévoit de prouver, mais non d'affirmer, que le CGIAR a un avantage comparatif en suivant le processus à quatre étapes décrit dans la note technique précédente. Les étapes qui produisent les preuves permettant d'affirmer que le CGIAR a ou n'a pas d'avantage comparatif pour prendre une décision sur l'opportunité de procéder à un investissement.

2) Le tableau 3 est parfait pour représenter les quatre dimensions de la QdS avec les six critères du CAD/OCDE et j'ai particulièrement apprécié la note qui le suit sur le GDI (genre diversité et inclusion). Je ne comprends toutefois pas pourquoi le critère de cohérence s'arrête aux intrants et limite son utilisation à la cohérence interne. La cohérence externe est tout aussi importante, si ce n'est plus, et en particulier en ce qui concerne la qualité et la mesure dans lesquelles les produits complètent, s'harmonisent et se coordonnent avec les autres tout comme leur capacité à ajouter de la valeur aux autres tout au long du processus.

3)    Tout en reconnaissant la centralité d'une forte crédibilité et légitimité scientifiques, il est également important de gérer et coordonner les processus pour obtenir et maintenir la pertinence des produits telle qu'elle est appréciée par le bénéficiaire.

4)    J'apprécie la description des processus, en particulier la construction et l'optimisation des partenariats.

5)     Le champ d'application de l'enquête pour évaluer la qualité de la science devrait également se référer aux hypothèses, en particulier à celles qui doivent être maintenues pour que les produits soient pris en compte par l'organisation cible, qu'il s'agisse du Service national de vulgarisation ou de toute autre entité. Il convient de le faire sans rester dans l'attente d'une enquête d'impact ou d'une évaluation de la performance. Je le dis car l'incertitude et l'imprévisibilité associées à la recherche, comme mentionné précédemment, sont liées aussi bien au processus conduisant à délivrer des produits qu'à la gestion de l'hypothèse suivant laquelle le processus le long du cheminement de l'impact, une fois que les produits seront "livrés", continuera. Il ne faut pas s'en rendre compte trop tard. Cette démarche permet d'atténuer le risque de rejet. Une bonne note sur le critère de la qualité de la science ne garantit pas que le produit ou le service est accepté et utilisé par le bénéficiaire en gardant à l'esprit que ce sont les progrès le long du cheminement, et non la qualité de la science, qui motivent ceux qui financent le CGIAR.