RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions | Eval Forward

Chère Svetlana,

Bonjour et merci pour cette possibilité de commenter les lignes directrices. Je les ai lues avec beaucoup d'intérêt mais je n'ai eu le temps de répondre pour l'instant qu'aux deux premières questions.

Voici mes réponses précédées d'une mise en garde: je n'ai pas d'expérience en recherche, mais j'ai observé à l'époque où je travaillais avec des scientifiques dans le domaine agricole que la préoccupation de l'époque concernant l'évaluation de l'impact sur le groupe de bénéficiaires finaux, tel qu'il était mesuré à travers les variations des valeurs relatives des actifs des ménages, tendait à masquer le manque relatif d'informations et d'intérêt quant aux capacités et aux possibilités des systèmes de recherche et développement et de vulgarisation avant, pendant et après les périodes d'investissement. Leur rôle essentiel dans le processus était souvent réduit au point d'être traités comme des hypothèses ou des risques pour les "bons" produits ou services scientifiques.

Cela rendait difficile la possibilité de relier un impact durable sur les bénéficiaires aux informations sur la capacité institutionnelle à l'époque où les produits de la recherche avaient été développés. Cela pouvait aussi expliquer dans quelle mesure le fait de croire aux études sur le taux de rendement (désespérément gonflé) a nécessité de suspendre la croyance, compromettant ainsi les perspectives que les efforts en matière d'évaluation de l'impact de la recherche fassent une grande différence parmi les décideurs.

Mais poursuivons: voici mes réponses à vos deux questions et j'espère que vous les trouverez intéressantes, voire utiles.

1.    Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

La réponse à cette question suppose/dépend de la connaissance de ces défis auxquels les lignes directrices se réfèrent. À cet égard, la section 1.1 est légèrement trompeuse compte tenu de son titre. Pourquoi?

L'exposé ne précise pas comment le contexte a changé et par conséquent ni comment et pourquoi cela pose des difficultés pour évaluer la qualité de la science (QdS). Il décrit au contraire l'ambition du CGIAR pour un changement transformationnel à travers une transformation du système – tautologie? – des systèmes agroalimentaires durables, l'innovation génétique et cinq objectifs de développement durable – non précisés. Il conclut enfin en expliquant que, alors que les fondateurs du CGIAR se concentrent sur les réalisations en matière de développement, l'évaluation des interventions du CGIAR doit répondre à la fois aux cadres de la QoR4D (Qualité de la recherche pour le développement) – recherche orientée vers les réalisations en matière de développement – et du CAD/OCDE – orientation vers le développement.

Les raisons qui expliquent l'insuffisance des six critères du CAD/OCDE pour évaluer les principales activités du CGIAR n'apparaissent pas propres aux activités du CGIAR, par rapport à d'autres aides au développement financées par des fonds publics – à savoir le caractère imprévisible et risqué de la recherche et la longue durée nécessaire pour observer des résultats. Il est vrai, cela peut prendre plus de temps compte tenu de la position du système du CG mais, comme nous l'apprenons tous, les environnements opérationnels sont de manière inhérente tout aussi imprévisibles que les résultats. Le contexte est important. Les résultats défient les prévisions: ils émergent. La recherche scientifique, ce qu'elle offre et l'effet sur le développement qu'elle peut avoir, ne sont sans doute pas aussi différents que le suggèrent les lignes directrices. En ce qui concerne l'évaluation de la recherche scientifique, la spécificité tient aux personnes que le CGIAR emploie et à la nécessité d'assurer un niveau scientifique élevé dans ce qu'elles font – sa légitimité et sa crédibilité. Le fait est qu'il n'est pas évident de comprendre comment ces deux éléments, tirés du cadre de référence QoR4D, couvrent en quelque sorte les spécificités des activités principales du CGIAR et comblent ainsi les insuffisances liées aux six critères du CAD/OCDE. Ou est-ce que quelque chose m'échappe?

Les différences entre les évaluations de processus et de performance ne sont pas perceptibles dans les définitions fournies au début de la section 2.2. En effet, elles apparaissent extrêmement similaires; à tel point que je me suis demandé – pourquoi en avoir deux quand une seule suffirait? Les évaluations de processus sont considérées comme des auto-évaluations de synthèse du CGIAR alors que les réalisations relèvent du champ d'application des évaluations de la performance. Les évaluations de la performance sont considérées comme plus formatives et reproduisent des lignes d'enquête similaires – l'évaluation de la performance organisationnelle et des modèles opérationnels ainsi que des processus – aux évaluations de processus – le fonctionnement, les instruments et les mécanismes organisationnels et les pratiques de gestion ainsi que les évaluations de l'expérience des cadres, politiques et autres du CGIAR. Aucune mention n'est faite aux hypothèses – pourquoi compte tenu du "caractère imprévisible et risqué de la recherche?" Les hypothèses, par procuration, définissent l'inconnu et devraient être considérées, pour les responsables de la recherche et des évaluations (dans des délais opportuns), tout aussi importantes que les résultats eux-mêmes. Voir ci-dessous.

L'explication des différences entre les critères de pertinence et d'efficacité définis par le CAD/OCDE avec la QoR4D dans le tableau 2 est limitée. Alors que la distinction à faire pour la pertinence répond explicitement à la question "pourquoi le CGIAR?", celle relative à l'efficacité est beaucoup trop vague (à prévoir et à évaluer). Qu'est-ce qui est si restrictif dans le fait que les raisons pour lesquelles le CGIAR fournit des connaissances, des produits et des services – pour répondre à un problème et contribuer à des solutions innovantes – ne peuvent pas être énoncées comme des objectifs et/ou des résultats? Et a fortiori lorsque les lignes directrices affirment que les évaluations de la performance évalueront ces éléments.

2. Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)

Cette section apporte une explication claire et utile des quatre dimensions interconnectées – conception de la recherche, intrants, processus et produits dans la figure 3 qui sont utilisées pour fournir une évaluation équilibrée de la qualité générale de la science.

Quelques observations:

"Réfléchir à l'avantage comparé lors du processus de conception de projet peut potentiellement conduire à des partenariats mutuellement bénéfiques, en augmentant l'efficacité du CGIAR à travers la spécialisation et la réorientation des ressources insuffisantes vers la force relative du Système". https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…

1)    En gardant cela à l'esprit, comme mentionné précédemment dans la section 2.3, il serait utile d'expliquer comment la conception de la recherche prévoit de prouver, mais non d'affirmer, que le CGIAR a un avantage comparatif en suivant le processus à quatre étapes décrit dans la note technique précédente. Les étapes qui produisent les preuves permettant d'affirmer que le CGIAR a ou n'a pas d'avantage comparatif pour prendre une décision sur l'opportunité de procéder à un investissement.

2) Le tableau 3 est parfait pour représenter les quatre dimensions de la QdS avec les six critères du CAD/OCDE et j'ai particulièrement apprécié la note qui le suit sur le GDI (genre diversité et inclusion). Je ne comprends toutefois pas pourquoi le critère de cohérence s'arrête aux intrants et limite son utilisation à la cohérence interne. La cohérence externe est tout aussi importante, si ce n'est plus, et en particulier en ce qui concerne la qualité et la mesure dans lesquelles les produits complètent, s'harmonisent et se coordonnent avec les autres tout comme leur capacité à ajouter de la valeur aux autres tout au long du processus.

3)    Tout en reconnaissant la centralité d'une forte crédibilité et légitimité scientifiques, il est également important de gérer et coordonner les processus pour obtenir et maintenir la pertinence des produits telle qu'elle est appréciée par le bénéficiaire.

4)    J'apprécie la description des processus, en particulier la construction et l'optimisation des partenariats.

5)     Le champ d'application de l'enquête pour évaluer la qualité de la science devrait également se référer aux hypothèses, en particulier à celles qui doivent être maintenues pour que les produits soient pris en compte par l'organisation cible, qu'il s'agisse du Service national de vulgarisation ou de toute autre entité. Il convient de le faire sans rester dans l'attente d'une enquête d'impact ou d'une évaluation de la performance. Je le dis car l'incertitude et l'imprévisibilité associées à la recherche, comme mentionné précédemment, sont liées aussi bien au processus conduisant à délivrer des produits qu'à la gestion de l'hypothèse suivant laquelle le processus le long du cheminement de l'impact, une fois que les produits seront "livrés", continuera. Il ne faut pas s'en rendre compte trop tard. Cette démarche permet d'atténuer le risque de rejet. Une bonne note sur le critère de la qualité de la science ne garantit pas que le produit ou le service est accepté et utilisé par le bénéficiaire en gardant à l'esprit que ce sont les progrès le long du cheminement, et non la qualité de la science, qui motivent ceux qui financent le CGIAR.