Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?
Ayant été impliquée dans des évaluations de propositions de projets et programmes du CGIAR mais également dans des évaluations de la performance au cours des dix dernières années, j'ai utilisé une large gamme de cadres et lignes directrices en constante évolution. Pour les évaluations de CRP (Programme de recherche du CGIAR) phase I de 2015, nous avons utilisé une version modifiée du cadre du CAD de l'OCDE comprenant les critères de pertinence/cohérence, efficacité, impact et durabilité. L'absence de critère relatif à la qualité de la science dans le cadre du CAD de l'OCDE a été prise en compte mais cet aspect a été évalué sans éléments ou dimensions définis. Les partenariats ont été évalués comme des éléments transversaux et l'évaluation de la gouvernance et de la gestion n'a pas été directement reliée à l'évaluation de la qualité de la science. Pour les revues d'évaluation de CRP phase II de 2020, nous avons utilisé le Cadre de référence QoR4D (qualité de la recherche pour le développement) avec les éléments de pertinence, crédibilité, légitimité et efficacité et en s'appuyant sur les trois dimensions des intrants, processus et produits. La qualité de la science était fermement ancrée dans les éléments de crédibilité et de légitimité et les trois dimensions disposaient toutes d'indicateurs bien définis. Lors du processus de revue de 2020, l'absence d'une dimension propre à la conception a été soulignée au regard de son importance pour évaluer la cohérence, l'intégrité et l'adaptation méthodologique ainsi que l'avantage comparatif du CGIAR pour répondre aux problèmes aussi bien mondiaux que régionaux.
La version bêta des lignes directrices d'évaluation rassemble tous ces enseignements précieux tirés d'une décennie d'évaluations et, à cet égard, répond aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de la performance. Elle a été développée en consultant également d'autres cadres et lignes directrices d'évaluation pour mieux comprendre l'évaluation tant de la recherche que des activités de développement. Elle se montre ainsi flexible et adaptable et par conséquent utile et utilisable par les organisations de recherche pour le développement, les instituts de recherche et les organismes de développement.
Récemment, les lignes directrices de l'évaluation ont été utilisées rétrospectivement pour revoir les revues d'évaluation des CRP phase II de 2020 avec une meilleure compréhension des indicateurs qualitatifs dans quatre dimensions. L'application des lignes directrices a permis de clarifier les constatations et a amélioré la capacité de synthétiser les questions importantes dans tout le portefeuille CRP.
Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)
Les quatre dimensions sont claires et utiles en particulier lorsqu'elles sont accompagnées de critères déterminés assortis d'indicateurs bien définis. Elles sont exploitables pour une approche d'évaluation basée sur des méthodes mixtes utilisant à la fois des indicateurs quantitatifs et qualitatifs. En outre, elles offrent une flexibilité permettant d'utiliser les lignes directrices à différents niveaux du cycle de la recherche: de la phase de proposition, où la conception, les intrants et les processus programmés seraient évalués, jusqu'aux phases de réalisation à mi-parcours et finale du projet où les produits deviendraient plus consistants.
Un critère d'évaluation relatif à la qualité de la science (QdS) serait-il à même de saisir l'essence de la recherche et du développement (section 3.1)?
Sur la base de ma propre utilisation du critère de la qualité de la science avec ses éléments intrinsèques de crédibilité (résultats de recherche solides et sources de connaissance sûres) et de légitimité (processus de recherche justes et éthiques et reconnaissance des partenaires), il saisit l'essence de la recherche et de la recherche pour le développement. Sa capacité à saisir seul l'essence du développement dépendra de l'importance de la science dans le contexte du développement.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Ayant été impliquée dans des évaluations de propositions de projets et programmes du CGIAR mais également dans des évaluations de la performance au cours des dix dernières années, j'ai utilisé une large gamme de cadres et lignes directrices en constante évolution. Pour les évaluations de CRP (Programme de recherche du CGIAR) phase I de 2015, nous avons utilisé une version modifiée du cadre du CAD de l'OCDE comprenant les critères de pertinence/cohérence, efficacité, impact et durabilité. L'absence de critère relatif à la qualité de la science dans le cadre du CAD de l'OCDE a été prise en compte mais cet aspect a été évalué sans éléments ou dimensions définis. Les partenariats ont été évalués comme des éléments transversaux et l'évaluation de la gouvernance et de la gestion n'a pas été directement reliée à l'évaluation de la qualité de la science. Pour les revues d'évaluation de CRP phase II de 2020, nous avons utilisé le Cadre de référence QoR4D (qualité de la recherche pour le développement) avec les éléments de pertinence, crédibilité, légitimité et efficacité et en s'appuyant sur les trois dimensions des intrants, processus et produits. La qualité de la science était fermement ancrée dans les éléments de crédibilité et de légitimité et les trois dimensions disposaient toutes d'indicateurs bien définis. Lors du processus de revue de 2020, l'absence d'une dimension propre à la conception a été soulignée au regard de son importance pour évaluer la cohérence, l'intégrité et l'adaptation méthodologique ainsi que l'avantage comparatif du CGIAR pour répondre aux problèmes aussi bien mondiaux que régionaux.
La version bêta des lignes directrices d'évaluation rassemble tous ces enseignements précieux tirés d'une décennie d'évaluations et, à cet égard, répond aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de la performance. Elle a été développée en consultant également d'autres cadres et lignes directrices d'évaluation pour mieux comprendre l'évaluation tant de la recherche que des activités de développement. Elle se montre ainsi flexible et adaptable et par conséquent utile et utilisable par les organisations de recherche pour le développement, les instituts de recherche et les organismes de développement.
Récemment, les lignes directrices de l'évaluation ont été utilisées rétrospectivement pour revoir les revues d'évaluation des CRP phase II de 2020 avec une meilleure compréhension des indicateurs qualitatifs dans quatre dimensions. L'application des lignes directrices a permis de clarifier les constatations et a amélioré la capacité de synthétiser les questions importantes dans tout le portefeuille CRP.
Les quatre dimensions sont claires et utiles en particulier lorsqu'elles sont accompagnées de critères déterminés assortis d'indicateurs bien définis. Elles sont exploitables pour une approche d'évaluation basée sur des méthodes mixtes utilisant à la fois des indicateurs quantitatifs et qualitatifs. En outre, elles offrent une flexibilité permettant d'utiliser les lignes directrices à différents niveaux du cycle de la recherche: de la phase de proposition, où la conception, les intrants et les processus programmés seraient évalués, jusqu'aux phases de réalisation à mi-parcours et finale du projet où les produits deviendraient plus consistants.
Sur la base de ma propre utilisation du critère de la qualité de la science avec ses éléments intrinsèques de crédibilité (résultats de recherche solides et sources de connaissance sûres) et de légitimité (processus de recherche justes et éthiques et reconnaissance des partenaires), il saisit l'essence de la recherche et de la recherche pour le développement. Sa capacité à saisir seul l'essence du développement dépendra de l'importance de la science dans le contexte du développement.