1. Selon vous, quels sont les défis à relever pour évaluer la qualité de la science et de la recherche?
Dans le cas du CGIAR, peut-être faut-il consolider et adopter une approche standardisée pour mesurer la qualité de la science au-delà de l'évaluation unique par chaque centre du CGIAR. Cela pourrait aider à mieux mesurer les résultats, à évaluer l'efficacité, à améliorer la qualité des données, à identifier les lacunes et à regrouper les données entre les centres.
a. Quels critères d'évaluation avez-vous utilisés ou jugez-vous les meilleurs pour évaluer des interventions impliquant le nexus sciences, recherche, innovation et développement? Pourquoi?
Dans le cadre du suivi, de l'évaluation et de l'apprentissage, nous avons utilisé par le passé une combinaison de méthodes quantitatives et qualitatives. Par exemple, la bibliométrie (par exemple, l'indexation des collections de base du Web of Science, le pourcentage d'articles en libre accès, le classement des revues en quartiles, Altmetrics) pour les articles de revues publiés et les rapports de cas d'impact sur les résultats (OICR) pour décrire la contribution de la recherche du CGIAR aux résultats et à l'impact.
Nous avons aussi récemment entrepris une étude qui utilise l'analyse des réseaux sociaux (SNA) et l'analyse des réseaux d'impact (INA) pour étudier les réseaux de collaboration de recherche de deux programmes de recherche du CGIAR (CRP). Les réseaux sont générés à partir des articles de journaux publiés sur une période de quatre ans et leurs métadonnées sont utilisées pour explorer des aspects allant des structures d'équipe à l'évolution des collaborations entre organisations.
En général, un mélange de méthodes quantitatives et qualitatives pourrait être la stratégie la plus utile, permettant une combinaison de différentes approches et métriques pour mesurer les impacts des interventions.
b. Un critère d'évaluation de la qualité de la science donné a-t-il pu contribuer à appréhender les aspects scientifiques utilisés en recherche et développement?
Il ne s'agit pas d'un critère unique, mais d'une combinaison de différents critères. Les travaux de Rünzel, Sarfatti, Negroustoueva (2021) nous ont appris l'utilité d'utiliser la pertinence, la crédibilité scientifique, la légitimité et l'efficacité dans le cadre de l'évaluation de la qualité de la recherche pour le développement.
RE: How to evaluate science, technology and innovation in a development context?
1. Selon vous, quels sont les défis à relever pour évaluer la qualité de la science et de la recherche?
Dans le cas du CGIAR, peut-être faut-il consolider et adopter une approche standardisée pour mesurer la qualité de la science au-delà de l'évaluation unique par chaque centre du CGIAR. Cela pourrait aider à mieux mesurer les résultats, à évaluer l'efficacité, à améliorer la qualité des données, à identifier les lacunes et à regrouper les données entre les centres.
a. Quels critères d'évaluation avez-vous utilisés ou jugez-vous les meilleurs pour évaluer des interventions impliquant le nexus sciences, recherche, innovation et développement? Pourquoi?
Dans le cadre du suivi, de l'évaluation et de l'apprentissage, nous avons utilisé par le passé une combinaison de méthodes quantitatives et qualitatives. Par exemple, la bibliométrie (par exemple, l'indexation des collections de base du Web of Science, le pourcentage d'articles en libre accès, le classement des revues en quartiles, Altmetrics) pour les articles de revues publiés et les rapports de cas d'impact sur les résultats (OICR) pour décrire la contribution de la recherche du CGIAR aux résultats et à l'impact.
Nous avons aussi récemment entrepris une étude qui utilise l'analyse des réseaux sociaux (SNA) et l'analyse des réseaux d'impact (INA) pour étudier les réseaux de collaboration de recherche de deux programmes de recherche du CGIAR (CRP). Les réseaux sont générés à partir des articles de journaux publiés sur une période de quatre ans et leurs métadonnées sont utilisées pour explorer des aspects allant des structures d'équipe à l'évolution des collaborations entre organisations.
En général, un mélange de méthodes quantitatives et qualitatives pourrait être la stratégie la plus utile, permettant une combinaison de différentes approches et métriques pour mesurer les impacts des interventions.
b. Un critère d'évaluation de la qualité de la science donné a-t-il pu contribuer à appréhender les aspects scientifiques utilisés en recherche et développement?
Il ne s'agit pas d'un critère unique, mais d'une combinaison de différents critères. Les travaux de Rünzel, Sarfatti, Negroustoueva (2021) nous ont appris l'utilité d'utiliser la pertinence, la crédibilité scientifique, la légitimité et l'efficacité dans le cadre de l'évaluation de la qualité de la recherche pour le développement.
Rünzel, M., Sarfatti, P. & Negroustoueva (2021), Evaluating quality of science in CGIAR research programs: Use of bibliometrics