Merci, Svetlana, de m'avoir donné l'occasion de participer à cette discussion. Je réponds à deux de vos questions ci-dessous.
Pensez-vous que les lignes directrices répondent aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance ?
Les lignes directrices semblent répondre aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance grâce à un cadre flexible et bien documenté. Je ne suis pas certain qu'un seul critère d'évaluation permette de saisir l'essence de la recherche et du développement. Je pense que la réponse se trouve dans la réflexion sur son application dans les divers exercices d'évaluation à venir au CGIAR, ainsi que dans la réflexion sur l'expérience organisationnelle antérieure. Cela peut impliquer d'identifier comment il est interprété dans différents contextes, et si un développement plus poussé des critères recommandés peut être envisagé pour une éventuelle deuxième version des lignes directrices.
Comment le CGIAR peut-il soutenir le déploiement des lignes directrices avec la communauté de l'évaluation et les organisations partageant les mêmes idées ?
Je suis d'accord avec d'autres personnes pour dire que des ateliers et/ou des formations sur les lignes directrices pourraient être un moyen de diffuser les lignes directrices et de s'engager avec la communauté de l'évaluation. Il serait productif de mettre l'accent sur la flexibilité des lignes directrices et de favoriser la réflexion sur leur utilisation dans différents contextes organisationnels.
Conformément à ma réponse à la première question ci-dessus, je suggérerais qu'un exercice de méta-évaluation soit réalisé lorsque les organisations auront acquis une plus grande expérience dans l'application des lignes directrices. L'intérêt pour le GCRAI serait évident et pourrait conduire à une deuxième version améliorée. Il serait également très utile à la communauté de l'évaluation, le CGIAR jouant un rôle important dans la facilitation de l'apprentissage continu par l'utilisation de la méta-évaluation - ce que le théoricien de l'évaluation Michael Scriven a appelé un effort scientifique et moral important pour le domaine de l'évaluation.
À la Western Michigan University, nous sommes engagés dans une étude de synthèse sur la pratique de la méta-évaluation sur une période de 50 ans. Nous avons trouvé de nombreux exemples de méta-évaluation de systèmes d'évaluation dans différents contextes. Nous pensions que très peu de méta-évaluations étaient effectuées et nous avons été surpris de constater qu'il existe de nombreux exemples intéressants dans la littérature grise et universitaire. La documentation de ces travaux de méta-évaluation renforcerait encore les lignes directrices et leur applicabilité et apporterait une valeur ajoutée significative à l'engagement continu avec la communauté internationale de l'évaluation.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Merci, Svetlana, de m'avoir donné l'occasion de participer à cette discussion. Je réponds à deux de vos questions ci-dessous.
Pensez-vous que les lignes directrices répondent aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance ?
Les lignes directrices semblent répondre aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance grâce à un cadre flexible et bien documenté. Je ne suis pas certain qu'un seul critère d'évaluation permette de saisir l'essence de la recherche et du développement. Je pense que la réponse se trouve dans la réflexion sur son application dans les divers exercices d'évaluation à venir au CGIAR, ainsi que dans la réflexion sur l'expérience organisationnelle antérieure. Cela peut impliquer d'identifier comment il est interprété dans différents contextes, et si un développement plus poussé des critères recommandés peut être envisagé pour une éventuelle deuxième version des lignes directrices.
Comment le CGIAR peut-il soutenir le déploiement des lignes directrices avec la communauté de l'évaluation et les organisations partageant les mêmes idées ?
Je suis d'accord avec d'autres personnes pour dire que des ateliers et/ou des formations sur les lignes directrices pourraient être un moyen de diffuser les lignes directrices et de s'engager avec la communauté de l'évaluation. Il serait productif de mettre l'accent sur la flexibilité des lignes directrices et de favoriser la réflexion sur leur utilisation dans différents contextes organisationnels.
Conformément à ma réponse à la première question ci-dessus, je suggérerais qu'un exercice de méta-évaluation soit réalisé lorsque les organisations auront acquis une plus grande expérience dans l'application des lignes directrices. L'intérêt pour le GCRAI serait évident et pourrait conduire à une deuxième version améliorée. Il serait également très utile à la communauté de l'évaluation, le CGIAR jouant un rôle important dans la facilitation de l'apprentissage continu par l'utilisation de la méta-évaluation - ce que le théoricien de l'évaluation Michael Scriven a appelé un effort scientifique et moral important pour le domaine de l'évaluation.
À la Western Michigan University, nous sommes engagés dans une étude de synthèse sur la pratique de la méta-évaluation sur une période de 50 ans. Nous avons trouvé de nombreux exemples de méta-évaluation de systèmes d'évaluation dans différents contextes. Nous pensions que très peu de méta-évaluations étaient effectuées et nous avons été surpris de constater qu'il existe de nombreux exemples intéressants dans la littérature grise et universitaire. La documentation de ces travaux de méta-évaluation renforcerait encore les lignes directrices et leur applicabilité et apporterait une valeur ajoutée significative à l'engagement continu avec la communauté internationale de l'évaluation.