Nous apprécions la Note technique "Analyse bibliométrique pour évaluer la qualité de la science dans le contexte d'un seul CGIAR" (Note technique du CAS). Au Fonds international pour la recherche agricole (FIA) de la GIZ, nous avons récemment commandé une étude bibliométrique à Science Metrix (voir Evans, 2021) et nous nous félicitons de la valeur croissante que le système du CGIAR accorde à une évaluation rigoureuse de la qualité scientifique de ses recherches. Nous considérons la qualité scientifique comme un prérequis nécessaire sur la voie de l'impact sur le développement, car les innovations sont d'abord développées et testées par les scientifiques du CGIAR. Dans les paragraphes suivants, nous aimerions répondre à vos questions du point de vue des donateurs.
1. Selon vous, quels sont les défis à relever pour évaluer la qualité de la science et de la recherche?
En tant que bailleurs de fonds, nous attendons que les projets de recherche que nous commanditons effectuent leur travail conformément aux 4 éléments clés de la qualité de la recherche pour le développement (QoR4D), à savoir 1) la pertinence, 2) la crédibilité scientifique, 3) la légitimité, 4) l'efficacité. Cependant, ces critères s'appliquent principalement au processus de "faire" de la recherche et de la science. Toutefois, nous sommes également intéressés par les résultats (produits, résultats, impacts). Si nous parlons de la qualité de la science, nous trouvons les analyses bibliométriques très utiles pour déterminer l'impact scientifique de nos travaux financés dans les domaines scientifiques pertinents. Et l'impact dans un domaine scientifique se mesure toujours mieux par le nombre de citations que reçoit un article ou un chapitre de livre. Dans le domaine des sciences, les publications évaluées par les pairs (et les citations que les articles reçoivent) sont considérées comme l'"étalon-or" en termes d'impact. Pourtant, la mesure de l'impact scientifique présente certaines difficultés :
Les longues périodes de temps. Un grand défi, que le rapport SOAR 2020 (Alston et al. 2020) a souligné, est que "la recherche agricole est une magie lente" - il peut falloir des décennies pour que les résultats des investissements dans la recherche agricole deviennent visibles, mais les décideurs ont besoin de démontrer les résultats rapidement et d'évaluer le retour sur investissement du projet à l'avenir pour justifier une augmentation du financement. Comme nous l'a également appris la note technique du CAS, une mesure solide de l'impact scientifique en termes de bibliométrie n'est possible qu'environ 5 ans après la fin d'un projet ou d'un portefeuille de recherche. Le cycle d'examen par les pairs, les exigences des revues individuelles et le statut des citations, qui reflète souvent le nombre de lecteurs, signifient qu'il faut du temps avant que l'impact devienne évident, surtout si le travail est nouveau ou très innovant. Ce long horizon temporel pose des problèmes, car nous ne pouvons pas utiliser ces informations directement pour la programmation.
Altmetrics. Nous comprenons parfaitement que la bibliométrie est une mesure imparfaite du véritable impact scientifique. Certaines recherches peuvent avoir une grande influence et atteindre un large public via des canaux alternatifs tels que Twitter, les blogs ou la littérature grise. Cela est pris en compte dans les mesures altermétriques, mais il est difficile de combiner la bibliométrie et les mesures altermétriques pour obtenir une image complète de l'impact scientifique.
Le rapport coût-efficacité. Comme le souligne Science Metrix, et en particulier pour les articles ayant des co-auteurs externes, la fraction du soutien attribuable à chaque source de financement n'est pas facile à déterminer. Les donateurs sont souvent intéressés à "suivre l'argent", mais en mesurant la qualité de la science, l'investissement direct n'est pas si facilement attribuable aux résultats et les impacts à plus long terme de l'application et de la mise à l'échelle des contributions scientifiques publiées finissent par apporter le véritable "retour sur investissement". Dans notre propre étude sur la qualité scientifique (voir Evans 2021), nous avons également évalué l'efficacité en termes de coûts-avantages. Plus précisément, nous avons évalué le nombre de publications par million d'euros investis. Nous avons ensuite comparé le rapport coût-efficacité de nos projets de recherche financés à celui de projets comparables financés par l'UE et avons découvert que nos projets de recherche étaient plus efficaces. Cependant, le calcul de ces mesures de rentabilité comporte de nombreuses limites. Nous avons toutefois été heureux de constater qu'un tel indicateur est également proposé comme "indicateur prioritaire de niveau 2" (E10) suggéré dans la note technique du CAS.
1a. Quels critères d'évaluation avez-vous utilisés ou jugez-vous les meilleurs pour évaluer des interventions impliquant le nexus sciences, recherche, innovation et développement? Pourquoi?
Accent sur l'impact. Dans notre évaluation de la qualité de la science, nous nous sommes concentrés sur les critères d'évaluation du CAD de l'OCDE, à savoir "l'impact" (quels sont les résultats de la recherche ? Quelle est sa contribution ?) et, dans une moindre mesure, "l'efficacité" (dans quelle mesure les ressources ont-elles été utilisées, quels sont les résultats obtenus par rapport au montant dépensé ?) Les deux critères d'évaluation, l'impact et l'efficacité, revêtent une importance particulière pour nous, en tant que financeurs, en termes de responsabilité et de transparence, afin de démontrer que l'argent des contributeurs est utilisé à bon escient.
Dans notre évaluation (voir Evans 2021), Science Metrix s'est surtout concentré sur les indicateurs bibliométriques, en comparant les publications de nos projets financés avec celles d'autres recherches agricoles internationales (en dehors du système CGIAR). La contribution aux ODD, basée sur la recherche de mots clés et l'analyse du contenu, faisait également partie de l'analyse, afin de saisir la mesure dans laquelle les questions transversales telles que le genre, les droits de l'homme, la durabilité, la résilience ainsi que l'atténuation et l'adaptation au changement climatique étaient abordées dans les publications évaluées par les pairs. La plupart des indicateurs bibliométriques ont cherché à évaluer l'impact des publications, via des indicateurs tels que la moyenne des citations relatives (ARC), les publications hautement citées (HCP) et l'indice de distribution des citations (CDI).
1b. Un critère d'évaluation désigné de la qualité de la science (QoS) pourrait-il aider à saisir les aspects scientifiques utilisés dans la recherche et le développement ?
Oui, en effet, un critère d'évaluation de la qualité de la science (QoS) tel que décrit dans la note technique de l'ISDC "Qualité de la recherche pour le développement dans le contexte du CGIAR" peut être très approprié pour évaluer la recherche dans le cadre du CGIAR. Reflétant l'avantage comparatif et l'objectif principal du GCRAI, la qualité de la science, et pas seulement les indicateurs de développement, souvent en dehors de la sphère d'influence, et du mandat, des instituts de recherche, devraient être reflétés dans les évaluations. Les sous-composantes du critère d'évaluation QoS (Pertinence, Crédibilité scientifique, Légitimité, Efficacité) sont importantes pour mesurer la qualité de "faire de la science". Néanmoins, nous tenons à souligner qu'un tel critère devrait toujours être accompagné d'une évaluation des critères d'impact et d'efficacité du CAD de l'OCDE afin de saisir non seulement le "faire" mais aussi les "résultats" de l'entreprise de recherche pour le développement.
2. Quelles sont les méthodes et les indicateurs qui pourraient fonctionner dans l'évaluation de la science et de la recherche ?
QoS. L'évaluation du critère d'évaluation de la qualité de la science (QoS) et de ses sous-composantes (Pertinence, Crédibilité scientifique, Légitimité, Efficacité) nécessite une approche de méthodes mixtes. Comme cela a été fait dans les évaluations des programmes de recherche du CGIAR (CRP), l'accent sera mis sur les intrants (composition du personnel de recherche, collaborations, argent, infrastructure de gestion, politiques, etc.) Les méthodes de recherche qualitative seront les plus appropriées lorsqu'il s'agira d'évaluer la pertinence d'une certaine question de recherche ou si le processus de recherche est perçu comme équitable et éthique. Cela peut nécessiter de mener des entretiens avec les principales parties prenantes et/ou de réaliser des enquêtes pour recueillir des informations et des idées sur les conditions favorables et les obstacles à un impact efficace et durable.
IS. En revanche, l'évaluation de l'impact scientifique (IS) nécessitera le recours à une analyse quantitative utilisant des méthodes et des mesures bibliométriques sophistiquées, telles que décrites par Science Metrix dans la note technique du CAS. Nous considérons tous les " indicateurs prioritaires de niveau 1 " (Note technique du CAS, tableau 6) comme des indicateurs d'impact scientifique très pertinents qui, nous l'espérons, seront calculés lors de l'évaluation de l'impact scientifique de la série actuelle d'initiatives OneCGIAR.
3. Avez-vous observé des pratiques de suivi, d'évaluation et d'apprentissage (SEA) qui pourraient faciliter les évaluations de la science, de la technologie et de l'innovation ?
Le suivi continu de la qualité de la science (QoS) et de l'impact scientifique (SI) sera difficile. De notre point de vue, les deux critères doivent être évalués à l'aide d'un format d'évaluation (étude à un certain moment). Notre propre étude sur la qualité scientifique (voir Evans 2021) est un exemple de la manière dont le SI pourrait être évalué à l'aide de méthodes et de mesures bibliométriques rigoureuses. Cependant, l'objectif de notre étude de qualité scientifique était d'examiner la portée et l'impact de nos travaux de recherche financés sur le domaine scientifique de l'agriculture de développement. L'étude a servi à des fins de responsabilité et de transparence. Nous n'avons pas utilisé les résultats pour la dimension "L" (learning - apprentissage) de la MEL. Une véritable étude qualitative ou de méthodes mixtes de QoS serait plus naturelle lorsque l'objectif est de tirer des leçons qui peuvent être utilisées à des fins de gestion adaptative et de pilotage. Les évaluations des programmes de recherche du CGIAR (CRP) fournissent un bon exemple de la manière dont les résultats d'une évaluation pourraient être utilisés pour améliorer la "pratique de la science".
Cordialement,
Raphael Nawrotzki et Hanna Ewell (Unité M&E, FIA, GIZ)
RE: How to evaluate science, technology and innovation in a development context?
Chère Svetlana et l'équipe du CAS,
Nous apprécions la Note technique "Analyse bibliométrique pour évaluer la qualité de la science dans le contexte d'un seul CGIAR" (Note technique du CAS). Au Fonds international pour la recherche agricole (FIA) de la GIZ, nous avons récemment commandé une étude bibliométrique à Science Metrix (voir Evans, 2021) et nous nous félicitons de la valeur croissante que le système du CGIAR accorde à une évaluation rigoureuse de la qualité scientifique de ses recherches. Nous considérons la qualité scientifique comme un prérequis nécessaire sur la voie de l'impact sur le développement, car les innovations sont d'abord développées et testées par les scientifiques du CGIAR. Dans les paragraphes suivants, nous aimerions répondre à vos questions du point de vue des donateurs.
1. Selon vous, quels sont les défis à relever pour évaluer la qualité de la science et de la recherche?
En tant que bailleurs de fonds, nous attendons que les projets de recherche que nous commanditons effectuent leur travail conformément aux 4 éléments clés de la qualité de la recherche pour le développement (QoR4D), à savoir 1) la pertinence, 2) la crédibilité scientifique, 3) la légitimité, 4) l'efficacité. Cependant, ces critères s'appliquent principalement au processus de "faire" de la recherche et de la science. Toutefois, nous sommes également intéressés par les résultats (produits, résultats, impacts). Si nous parlons de la qualité de la science, nous trouvons les analyses bibliométriques très utiles pour déterminer l'impact scientifique de nos travaux financés dans les domaines scientifiques pertinents. Et l'impact dans un domaine scientifique se mesure toujours mieux par le nombre de citations que reçoit un article ou un chapitre de livre. Dans le domaine des sciences, les publications évaluées par les pairs (et les citations que les articles reçoivent) sont considérées comme l'"étalon-or" en termes d'impact. Pourtant, la mesure de l'impact scientifique présente certaines difficultés :
Les longues périodes de temps. Un grand défi, que le rapport SOAR 2020 (Alston et al. 2020) a souligné, est que "la recherche agricole est une magie lente" - il peut falloir des décennies pour que les résultats des investissements dans la recherche agricole deviennent visibles, mais les décideurs ont besoin de démontrer les résultats rapidement et d'évaluer le retour sur investissement du projet à l'avenir pour justifier une augmentation du financement. Comme nous l'a également appris la note technique du CAS, une mesure solide de l'impact scientifique en termes de bibliométrie n'est possible qu'environ 5 ans après la fin d'un projet ou d'un portefeuille de recherche. Le cycle d'examen par les pairs, les exigences des revues individuelles et le statut des citations, qui reflète souvent le nombre de lecteurs, signifient qu'il faut du temps avant que l'impact devienne évident, surtout si le travail est nouveau ou très innovant. Ce long horizon temporel pose des problèmes, car nous ne pouvons pas utiliser ces informations directement pour la programmation.
Altmetrics. Nous comprenons parfaitement que la bibliométrie est une mesure imparfaite du véritable impact scientifique. Certaines recherches peuvent avoir une grande influence et atteindre un large public via des canaux alternatifs tels que Twitter, les blogs ou la littérature grise. Cela est pris en compte dans les mesures altermétriques, mais il est difficile de combiner la bibliométrie et les mesures altermétriques pour obtenir une image complète de l'impact scientifique.
Le rapport coût-efficacité. Comme le souligne Science Metrix, et en particulier pour les articles ayant des co-auteurs externes, la fraction du soutien attribuable à chaque source de financement n'est pas facile à déterminer. Les donateurs sont souvent intéressés à "suivre l'argent", mais en mesurant la qualité de la science, l'investissement direct n'est pas si facilement attribuable aux résultats et les impacts à plus long terme de l'application et de la mise à l'échelle des contributions scientifiques publiées finissent par apporter le véritable "retour sur investissement". Dans notre propre étude sur la qualité scientifique (voir Evans 2021), nous avons également évalué l'efficacité en termes de coûts-avantages. Plus précisément, nous avons évalué le nombre de publications par million d'euros investis. Nous avons ensuite comparé le rapport coût-efficacité de nos projets de recherche financés à celui de projets comparables financés par l'UE et avons découvert que nos projets de recherche étaient plus efficaces. Cependant, le calcul de ces mesures de rentabilité comporte de nombreuses limites. Nous avons toutefois été heureux de constater qu'un tel indicateur est également proposé comme "indicateur prioritaire de niveau 2" (E10) suggéré dans la note technique du CAS.
1a. Quels critères d'évaluation avez-vous utilisés ou jugez-vous les meilleurs pour évaluer des interventions impliquant le nexus sciences, recherche, innovation et développement? Pourquoi?
Accent sur l'impact. Dans notre évaluation de la qualité de la science, nous nous sommes concentrés sur les critères d'évaluation du CAD de l'OCDE, à savoir "l'impact" (quels sont les résultats de la recherche ? Quelle est sa contribution ?) et, dans une moindre mesure, "l'efficacité" (dans quelle mesure les ressources ont-elles été utilisées, quels sont les résultats obtenus par rapport au montant dépensé ?) Les deux critères d'évaluation, l'impact et l'efficacité, revêtent une importance particulière pour nous, en tant que financeurs, en termes de responsabilité et de transparence, afin de démontrer que l'argent des contributeurs est utilisé à bon escient.
Dans notre évaluation (voir Evans 2021), Science Metrix s'est surtout concentré sur les indicateurs bibliométriques, en comparant les publications de nos projets financés avec celles d'autres recherches agricoles internationales (en dehors du système CGIAR). La contribution aux ODD, basée sur la recherche de mots clés et l'analyse du contenu, faisait également partie de l'analyse, afin de saisir la mesure dans laquelle les questions transversales telles que le genre, les droits de l'homme, la durabilité, la résilience ainsi que l'atténuation et l'adaptation au changement climatique étaient abordées dans les publications évaluées par les pairs. La plupart des indicateurs bibliométriques ont cherché à évaluer l'impact des publications, via des indicateurs tels que la moyenne des citations relatives (ARC), les publications hautement citées (HCP) et l'indice de distribution des citations (CDI).
1b. Un critère d'évaluation désigné de la qualité de la science (QoS) pourrait-il aider à saisir les aspects scientifiques utilisés dans la recherche et le développement ?
Oui, en effet, un critère d'évaluation de la qualité de la science (QoS) tel que décrit dans la note technique de l'ISDC "Qualité de la recherche pour le développement dans le contexte du CGIAR" peut être très approprié pour évaluer la recherche dans le cadre du CGIAR. Reflétant l'avantage comparatif et l'objectif principal du GCRAI, la qualité de la science, et pas seulement les indicateurs de développement, souvent en dehors de la sphère d'influence, et du mandat, des instituts de recherche, devraient être reflétés dans les évaluations. Les sous-composantes du critère d'évaluation QoS (Pertinence, Crédibilité scientifique, Légitimité, Efficacité) sont importantes pour mesurer la qualité de "faire de la science". Néanmoins, nous tenons à souligner qu'un tel critère devrait toujours être accompagné d'une évaluation des critères d'impact et d'efficacité du CAD de l'OCDE afin de saisir non seulement le "faire" mais aussi les "résultats" de l'entreprise de recherche pour le développement.
2. Quelles sont les méthodes et les indicateurs qui pourraient fonctionner dans l'évaluation de la science et de la recherche ?
QoS. L'évaluation du critère d'évaluation de la qualité de la science (QoS) et de ses sous-composantes (Pertinence, Crédibilité scientifique, Légitimité, Efficacité) nécessite une approche de méthodes mixtes. Comme cela a été fait dans les évaluations des programmes de recherche du CGIAR (CRP), l'accent sera mis sur les intrants (composition du personnel de recherche, collaborations, argent, infrastructure de gestion, politiques, etc.) Les méthodes de recherche qualitative seront les plus appropriées lorsqu'il s'agira d'évaluer la pertinence d'une certaine question de recherche ou si le processus de recherche est perçu comme équitable et éthique. Cela peut nécessiter de mener des entretiens avec les principales parties prenantes et/ou de réaliser des enquêtes pour recueillir des informations et des idées sur les conditions favorables et les obstacles à un impact efficace et durable.
IS. En revanche, l'évaluation de l'impact scientifique (IS) nécessitera le recours à une analyse quantitative utilisant des méthodes et des mesures bibliométriques sophistiquées, telles que décrites par Science Metrix dans la note technique du CAS. Nous considérons tous les " indicateurs prioritaires de niveau 1 " (Note technique du CAS, tableau 6) comme des indicateurs d'impact scientifique très pertinents qui, nous l'espérons, seront calculés lors de l'évaluation de l'impact scientifique de la série actuelle d'initiatives OneCGIAR.
3. Avez-vous observé des pratiques de suivi, d'évaluation et d'apprentissage (SEA) qui pourraient faciliter les évaluations de la science, de la technologie et de l'innovation ?
Le suivi continu de la qualité de la science (QoS) et de l'impact scientifique (SI) sera difficile. De notre point de vue, les deux critères doivent être évalués à l'aide d'un format d'évaluation (étude à un certain moment). Notre propre étude sur la qualité scientifique (voir Evans 2021) est un exemple de la manière dont le SI pourrait être évalué à l'aide de méthodes et de mesures bibliométriques rigoureuses. Cependant, l'objectif de notre étude de qualité scientifique était d'examiner la portée et l'impact de nos travaux de recherche financés sur le domaine scientifique de l'agriculture de développement. L'étude a servi à des fins de responsabilité et de transparence. Nous n'avons pas utilisé les résultats pour la dimension "L" (learning - apprentissage) de la MEL. Une véritable étude qualitative ou de méthodes mixtes de QoS serait plus naturelle lorsque l'objectif est de tirer des leçons qui peuvent être utilisées à des fins de gestion adaptative et de pilotage. Les évaluations des programmes de recherche du CGIAR (CRP) fournissent un bon exemple de la manière dont les résultats d'une évaluation pourraient être utilisés pour améliorer la "pratique de la science".
Cordialement,
Raphael Nawrotzki et Hanna Ewell (Unité M&E, FIA, GIZ)
References:
Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/
Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun