Nous avons été très heureux d'entendre les commentaires de 23 participants venant de divers horizons. Cette riche discussion menée par un large éventail d'experts, y compris des non-évaluateurs, met en évidence un accord général sur l'importance de l'encadrement et de l'utilisation de critères d'évaluation spécifiques au contexte pour contextualiser les évaluations de la science, de la technologie et de l'innovation (STI). Vous trouverez ci-dessous un résumé des points abordés et nous vous invitons à lire les contributions originales des différents participants si vous les avez manquées.
La discussion a porté sur les éléments du cadre de référence de la qualité de la recherche pour le développement, directement ou indirectement liés aux critères d'évaluation: pertinence, légitimité, efficacité et crédibilité scientifique.
Pour Serdar Bayryyev et Lennart Raetzell, le contexte d'utilisation des produits est essentiel pour déterminer leur pertinence. Pour évaluer l'efficacité (ou la qualité), Serdar Bayryyev suggère: (i) d'évaluer l'influence des activités et la mesure dans laquelle la science, l'innovation et les produits de la recherche ont influencé les politiques, les approches ou les processus; (ii) d'évaluer le degré de «mise en réseau», c'est-à-dire la mesure dans laquelle les chercheurs et les institutions scientifiques ont interagi avec toutes les parties prenantes concernées. Lennart Raetzell a partagé son expérience récente d'évaluation de l'impact thématique pour VLIR-UOS (https://www.vliruos.be) portant sur les voies d'accès à la recherche, principalement dans le domaine de l'agriculture.
Nanae Yabuki et Serdar Bayryyev soulignent l'importance de l'évaluation de la nature transformationnelle des activités de recherche afin de déterminer si elles provoquent un véritable changement transformationnel ou, du moins, un discours politique important encourageant l'évolution vers un tel changement transformationnel. La pertinence de la STI est spécifique au contexte, tout comme la manière dont la STI déclenche un changement transformationnel.
Sonal D. Zaveri affirme pour sa part que les chercheurs du Sud sont unanimes sur le fait que la recherche doit être pertinente par rapport aux préoccupations actuelles, aux utilisateurs de la recherche et aux communautés au sein desquelles le changement est attendu. L'appropriation et l'influence étant tout aussi importantes que la qualité de la recherche dans un contexte de développement, les évaluations se doivent de mesurer ce qui est important pour les communautés et les personnes. De nombreuses évaluations sont conçues à distance et certains choix d'évaluation sont effectués en fonction l'expertise disponible, de la position ou des ressources. Il serait en outre difficile de reconnaître la qualité d'une science dépourvue de toute valeur liée aux droits de l'homme, à l'inclusion et à l'équité. Si les résultats ne sont pas utilisés et adoptés par les personnes, et en particulier par celles peu entendues dans le cadre du programme, il est impossible de prétendre que les évaluations ont conduit au bien public ou ont été utilisées au bénéfice de tous les peuples. À ce sujet, Richard Tinsley souligne l'importance de considérer le bénéficiaire final des résultats scientifiques. Il insiste sur la nécessité de comprendre les clients primaires (les systèmes nationaux de recherche agricole des pays hôtes ou NARS pour le CGIAR) et les bénéficiaires finaux (une multitude de petits exploitants agricoles généralement anonymes), qui sont toujours à une certaine distance des clients des NARS du CGIAR.
Du point de vue des bailleurs de fonds, Raphael Nawrotzki estime que les sous-composantes du cadre de référence QoR4D sont importantes pour mesurer la qualité du processus consistant à «faire de la science» plutôt que les résultats (production, résultats, impacts). D'où la nécessité d'utiliser les critères d'impact et d'efficacitédu Comité d'aide au développement (CAD) de l'OCDE pour saisir le «faire» (processus) mais aussi les «résultats» de l'entreprise de recherche pour le développement, en complément du cadre de référence. Il affirme qu'un bailleur de fonds se concentre sur l'impact (Que réalise la recherche? Quelle est sa contribution?) et, à un moindre degré, l'efficacité (Les ressources ont-elles été bien utilisées? Combien a-t-on obtenu par rapport au montant dépensé?).
Selon Nanae Yabuki, l'utilisation des preuves scientifiques pour renforcer l'impact des interventions reflète le mandat de la FAO. Pour évaluer ces aspects, l'«utilité» des résultats de la recherche apparaît plus pertinente que son «importance». D'où la nécessité de définir des critères appropriés pour chaque évaluation.
Norbert Tchouaffe a présenté enfin la théorie du changement comme un outil permettant d'évaluer l'impact du réseau d'interface science-politique sur une société donnée, sur la base de cinq critères (sensibilisation, savoir-faire, attitude, participation et auto-évaluation).
Méthodes
Les participants à la discussion ont convenu de l'importance d'utiliser une approche mixte permettant de combiner les indicateurs qualitatifs et quantitatifs. Selon Raphael Nawrotzki, l'approche mixte est nécessaire, notamment pour évaluer la pertinence de la question de recherche et l'équité du processus.
Méthodes quantitatives: forces et limites
Parmi les méthodes quantitatives, l'utilisation de l'analyse bibliométrique a été mentionnée pour:
évaluer l'impact de la science, c'est-à-dire l'impact au sein d'un domaine scientifique, toujours mesuré au mieux par le nombre de citations que reçoit un article ou un chapitre de livre (Raphael Nawrotzki);
évaluer la légitimité des résultats de la recherche et la crédibilité des produits de la connaissance (Nanae Yabuki);
fournir une bonne indication de la qualité de la science (QoS), car les articles publiés ont déjà franchi un seuil de qualité dans la mesure où ils ont été examinés par des scientifiques expérimentés (Jillian Lenne);
fournir un aperçu important des efforts déployés et de la portée scientifique atteinte (Paul Engel).
Dans une réflexion sur la qualité de service et l'évaluation de l'innovation, Rachid Serraj a illustré l'utilisation des indices bibliométriques et de citation du Web of Science.
Etienne Vignola-Gagné, co-autheur de la note technique (disponible en anglais), a souligné la nouvelle gamme d'indicateurs bibliométriques élargie à de nouvelles dimensions, à savoir l'interdisciplinarité, l'égalité des sexes, la pré-impression en tant que pratique scientifique ouverte ou la prévalence de collaborations multinationales complexes – utiles pour évaluer la pertinence et la légitimité. Certains indicateurs bibliométriques peuvent également être utilisés comme indicateurs de processus ou même d'entrée plutôt que comme indicateurs traditionnellement voués à mesurer l'efficacité de produits. La bibliométrie peut être utilisée pour vérifier si les programmes de recherche transdisciplinaire contribuent effectivement à une intégration disciplinaire accrue dans la pratique quotidienne de la recherche, les équipes de projet et les bailleurs de fonds sous-estimant souvent la complexité de ces propositions pour la recherche.
Pour Valentina de Col, la bibliométrie (par exemple, l'indexation des collections de base du Web of Science, le pourcentage d'articles en libre accès, le classement des revues en quartiles, l'altmetrics) a été utilisée pour les articles de revues publiés et les rapports de cas d'impact de résultat (OICR) pour décrire la contribution de la recherche du CGIAR aux résultats et à l'impact. Raphael Nawrotzki a suggéré d'autres indicateurs bibliométriques connexes: (i) la contribution aux objectifs de développement durable (ODD); (ii) la moyenne des citations relatives; (iii) les publications très largement citées; (iv) l'indice de distribution des citations.
Keith Child et Serdar Bayryyev ont relevé les limites de l'analyse bibliométrique. Par exemple, les produits de la science, de l'innovation et de la recherche ne sont pas tous inclus et correctement enregistrés dans les bases de données bibliographiques voire même ne sont pas tous publiés: tous les produits ne peuvent donc pas être évalués. En outre, le calcul du nombre moyen de citations prête également le flanc à certains biais: (i) une attention exagérée accordée à un auteur spécifique; (ii) une exclusion délibérée par certains auteurs de certains matériaux de référence de leurs publications. Raphael Nawrotzki a noté les limites spécifiques associées à la mesure de l'impact scientifique par la bibliométrie: (i) des périodes de temps longues: il faut parfois des décennies pour que les résultats des investissements dans la recherche agricole deviennent visibles, une mesure solide de l'impact scientifique en termes de bibliométrie n'étant possible qu'environ cinq ans après la fin d'un projet ou d'un portefeuille de recherche; (ii) l'altmetrics: il est difficile de combiner la bibliométrie et l'altmetrics pour obtenir une image complète de l'impact scientifique; (iii) la rentabilité: la part du soutien attribuable à chaque source de financement n'est pas facile à déterminer et le calcul des mesures de rentabilité s'accompagne d'une multitude de limitations. Paul Engel convient lui aussi des limites de la bibliométrie qui fournit selon lui très peu d'informations sur la portée politique, la pertinence contextuelle, la durabilité, l'innovation et la mise à l'échelle des contributions générées par les partenariats de recherche. Ola Ogunyinka a affirmé que les bénéficiaires ultimes du CGIAR (les petits exploitants et les systèmes nationaux) sont très éloignés (en termes d'accès, de fonds, de structures, etc.) des revues qui comptent.
Dans l'ensemble, Jill Lenne et Raphael Nawrotzki ont reconnu la valeur de l'utilisation de l'altmetrics.
Graham Thiele a suggéré l'utilisation de l'analyse des réseaux sociaux (SNA) des publications afin d'examiner les parties qui collaborent pour publier et leur contexte social et organisationnel, en complément de l'analyse bibliométrique en particulier pour la dimension de la légitimité. Valentina de Col a utilisé la SNA et l'analyse des réseaux d'impact (INA) pour étudier les réseaux de collaboration de recherche de deux programmes de recherche du CGIAR.
Enfin, Graham Thiele a mis en garde contre le risque d'utiliser des méthodes de pointe et la précision accrue de l'analyse bibliométrique (très disponible et produite en continu) au détriment de l'image arrondie que d'autres études, telles que les études de cas de résultats et les études d'impact, fournissent – comme l'a soutenu également Paul Engel sur la base de son expérience de l'évaluation de la qualité de la science dans les programmes de recherche du CGIAR (disponible en anglais).
Guy Poppy a présenté le cadre d'excellence en matière de recherche (REF) (disponible en anglais) qui, outre l'évaluation des résultats de la recherche, évalue également les études de cas sur l'impact et l'environnement de la recherche, produisant ainsi une notation mixte où les résultats ont un poids prépondérant mais où l'impact prend de l'importance.
Méthodes qualitatives: forces et limites
L'utilisation de méthodes qualitatives, parallèlement à la bibliométrie et à l'altmetrics, est essentielle pour obtenir une vue d'ensemble de l'évaluation de la qualité de la science.
Les évaluations qualitatives peuvent être réalisées au moyen d'entretiens et/ou d'enquêtes. En ce qui concerne la mesure de l'impact, Valeria Pesce a souligné que les indicateurs qualitatifs sont souvent basés sur des entretiens ou des rapports et qu'il n'est pas facile de donner un sens au récit. Elle a fait référence au post de Claudio Proietti présentant ImpresS (disponible en français).
Ibtissem Jouini a souligné la fiabilité de la synthèse des preuves tout en admettant le défi que représente la variété possible des preuves, des critères d'évaluation, des approches, des objectifs, des contextes, etc.
Les limites des méthodes qualitatives ont également été observées, par exemple par Jillian Lenne et Keith Child: les évaluations qualitatives obligent l'évaluateur à porter des jugements subjectifs.
Des considérations relatives aux approches et méthodes participatives ont été soulignées par Sonal D. Zaveri telles que la différence entre «accès» et «participation» ou le concept de pouvoir (caché ou explicite). Les femmes, en tant que porteuses traditionnelles des connaissances locales et indigènes, se retrouvent coupées de la société en réseau, où l'information, la communication et les connaissances sont des «biens échangeables».
Valeria Pesce, Etienne Vignola-Gagné et Valentina de Col ont analysé les outils actuels et les moyens permettant de relever les défis posés par les indicateurs qualitatifs et quantitatifs: certains outils informatiques permettent de classer (parfois automatiquement) des concepts sélectionnés, d'identifier des modèles, la fréquence de mots, concepts ou groupes de concepts, etc., en utilisant des techniques d'exploration de texte et d'apprentissage automatique, parfois même en partant directement de fichiers vidéo et audio. Ils ont mentionné par exemple: pour l'analyse narrative, ATLAS.ti, MAXQDA, NVivo; Cynefin Sensemaker et Sprockler pour les fonctionnalités de conception et de collecte; NarraFirma comme solide colonne vertébrale conceptuelle, aidant à la conception de l'enquête narrative et soutenant un processus d'analyse participatif.
Conclusion et prochaines étapes
Même à défaut de standardisation des méthodes, les évaluations STI doivent être conçues de manière à ce que les résultats de l'évaluation soient comparables, dans la mesure du possible, afin de favoriser un apprentissage à l'échelle du système (Nanae Yabuki), mais aussi au niveau de ceux qui sont touchés et impactés (Sonal Zaveri et autres).
Valentina de Col a souligné l'intérêt de consolider et d'adopter une approche standardisée pour mesurer la qualité de la science au sein d'une organisation comme le CGIAR, afin de mieux mesurer les résultats, d'évaluer l'efficacité, d'améliorer la qualité des données, d'identifier les lacunes et de regrouper les données entre les centres du CGIAR.
Concluons sur l'intérêt de cette discussion pour l'apprentissage. Au sein du CGIAR, au CAS/Évaluation, nous travaillons actuellement à l'élaboration de directives visant à rendre opérationnel le critère d'évaluation de la qualité de la science dans la politique d'évaluation révisée du CGIAR (disponible en anglais). Contactez-nous si vous souhaitez participer directement!
Belcher, B. M., Rasmussen, K. E., Kemshaw, M. R., & Zornes, D. A. (2016). Defining and assessing research quality in a transdisciplinary context. Research Evaluation, 25(1), 1-17. DOI: 10.1093/reseval/rvv025
IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. http://hdl.handle.net/10625/56528
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135. https://doi.org/10.1093/reseval/rvy026
Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC). http://hdl.handle.net/10625/56528
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140. https://doi.org/10.1177/00307270211024271
Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.
Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South Perspective.pdf (amaltas.asia)
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs. https://doi.org/10.5424/sjar/2020183-16399
Zaveri, Sonal (2019). “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation. https://bit.ly/3wX5pg8
Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian 2021-IDEAS-book-Transformational-Evaluation.pdf (ideas-global.org)
Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press. https://bit.ly/2RFEMw5
RE: How to evaluate science, technology and innovation in a development context?
Chers collègues,
Nous avons été très heureux d'entendre les commentaires de 23 participants venant de divers horizons. Cette riche discussion menée par un large éventail d'experts, y compris des non-évaluateurs, met en évidence un accord général sur l'importance de l'encadrement et de l'utilisation de critères d'évaluation spécifiques au contexte pour contextualiser les évaluations de la science, de la technologie et de l'innovation (STI). Vous trouverez ci-dessous un résumé des points abordés et nous vous invitons à lire les contributions originales des différents participants si vous les avez manquées.
Cadre de référence
Les cadres suivants ont été présentés : le cadre de référence de la qualité de la recherche pour le développement (QoR4D, disponible en anglais), le cadre d'excellence de la recherche (REF) et le cadre d'évaluation RQ+.
La discussion a porté sur les éléments du cadre de référence de la qualité de la recherche pour le développement, directement ou indirectement liés aux critères d'évaluation: pertinence, légitimité, efficacité et crédibilité scientifique.
Pour Serdar Bayryyev et Lennart Raetzell, le contexte d'utilisation des produits est essentiel pour déterminer leur pertinence. Pour évaluer l'efficacité (ou la qualité), Serdar Bayryyev suggère: (i) d'évaluer l'influence des activités et la mesure dans laquelle la science, l'innovation et les produits de la recherche ont influencé les politiques, les approches ou les processus; (ii) d'évaluer le degré de «mise en réseau», c'est-à-dire la mesure dans laquelle les chercheurs et les institutions scientifiques ont interagi avec toutes les parties prenantes concernées. Lennart Raetzell a partagé son expérience récente d'évaluation de l'impact thématique pour VLIR-UOS (https://www.vliruos.be) portant sur les voies d'accès à la recherche, principalement dans le domaine de l'agriculture.
Nanae Yabuki et Serdar Bayryyev soulignent l'importance de l'évaluation de la nature transformationnelle des activités de recherche afin de déterminer si elles provoquent un véritable changement transformationnel ou, du moins, un discours politique important encourageant l'évolution vers un tel changement transformationnel. La pertinence de la STI est spécifique au contexte, tout comme la manière dont la STI déclenche un changement transformationnel.
Sonal D. Zaveri affirme pour sa part que les chercheurs du Sud sont unanimes sur le fait que la recherche doit être pertinente par rapport aux préoccupations actuelles, aux utilisateurs de la recherche et aux communautés au sein desquelles le changement est attendu. L'appropriation et l'influence étant tout aussi importantes que la qualité de la recherche dans un contexte de développement, les évaluations se doivent de mesurer ce qui est important pour les communautés et les personnes. De nombreuses évaluations sont conçues à distance et certains choix d'évaluation sont effectués en fonction l'expertise disponible, de la position ou des ressources. Il serait en outre difficile de reconnaître la qualité d'une science dépourvue de toute valeur liée aux droits de l'homme, à l'inclusion et à l'équité. Si les résultats ne sont pas utilisés et adoptés par les personnes, et en particulier par celles peu entendues dans le cadre du programme, il est impossible de prétendre que les évaluations ont conduit au bien public ou ont été utilisées au bénéfice de tous les peuples. À ce sujet, Richard Tinsley souligne l'importance de considérer le bénéficiaire final des résultats scientifiques. Il insiste sur la nécessité de comprendre les clients primaires (les systèmes nationaux de recherche agricole des pays hôtes ou NARS pour le CGIAR) et les bénéficiaires finaux (une multitude de petits exploitants agricoles généralement anonymes), qui sont toujours à une certaine distance des clients des NARS du CGIAR.
Du point de vue des bailleurs de fonds, Raphael Nawrotzki estime que les sous-composantes du cadre de référence QoR4D sont importantes pour mesurer la qualité du processus consistant à «faire de la science» plutôt que les résultats (production, résultats, impacts). D'où la nécessité d'utiliser les critères d'impact et d'efficacité du Comité d'aide au développement (CAD) de l'OCDE pour saisir le «faire» (processus) mais aussi les «résultats» de l'entreprise de recherche pour le développement, en complément du cadre de référence. Il affirme qu'un bailleur de fonds se concentre sur l'impact (Que réalise la recherche? Quelle est sa contribution?) et, à un moindre degré, l'efficacité (Les ressources ont-elles été bien utilisées? Combien a-t-on obtenu par rapport au montant dépensé?).
Selon Nanae Yabuki, l'utilisation des preuves scientifiques pour renforcer l'impact des interventions reflète le mandat de la FAO. Pour évaluer ces aspects, l'«utilité» des résultats de la recherche apparaît plus pertinente que son «importance». D'où la nécessité de définir des critères appropriés pour chaque évaluation.
Norbert Tchouaffe a présenté enfin la théorie du changement comme un outil permettant d'évaluer l'impact du réseau d'interface science-politique sur une société donnée, sur la base de cinq critères (sensibilisation, savoir-faire, attitude, participation et auto-évaluation).
Méthodes
Les participants à la discussion ont convenu de l'importance d'utiliser une approche mixte permettant de combiner les indicateurs qualitatifs et quantitatifs. Selon Raphael Nawrotzki, l'approche mixte est nécessaire, notamment pour évaluer la pertinence de la question de recherche et l'équité du processus.
Méthodes quantitatives: forces et limites
Parmi les méthodes quantitatives, l'utilisation de l'analyse bibliométrique a été mentionnée pour:
Dans une réflexion sur la qualité de service et l'évaluation de l'innovation, Rachid Serraj a illustré l'utilisation des indices bibliométriques et de citation du Web of Science.
Etienne Vignola-Gagné, co-autheur de la note technique (disponible en anglais), a souligné la nouvelle gamme d'indicateurs bibliométriques élargie à de nouvelles dimensions, à savoir l'interdisciplinarité, l'égalité des sexes, la pré-impression en tant que pratique scientifique ouverte ou la prévalence de collaborations multinationales complexes – utiles pour évaluer la pertinence et la légitimité. Certains indicateurs bibliométriques peuvent également être utilisés comme indicateurs de processus ou même d'entrée plutôt que comme indicateurs traditionnellement voués à mesurer l'efficacité de produits. La bibliométrie peut être utilisée pour vérifier si les programmes de recherche transdisciplinaire contribuent effectivement à une intégration disciplinaire accrue dans la pratique quotidienne de la recherche, les équipes de projet et les bailleurs de fonds sous-estimant souvent la complexité de ces propositions pour la recherche.
Pour Valentina de Col, la bibliométrie (par exemple, l'indexation des collections de base du Web of Science, le pourcentage d'articles en libre accès, le classement des revues en quartiles, l'altmetrics) a été utilisée pour les articles de revues publiés et les rapports de cas d'impact de résultat (OICR) pour décrire la contribution de la recherche du CGIAR aux résultats et à l'impact. Raphael Nawrotzki a suggéré d'autres indicateurs bibliométriques connexes: (i) la contribution aux objectifs de développement durable (ODD); (ii) la moyenne des citations relatives; (iii) les publications très largement citées; (iv) l'indice de distribution des citations.
Keith Child et Serdar Bayryyev ont relevé les limites de l'analyse bibliométrique. Par exemple, les produits de la science, de l'innovation et de la recherche ne sont pas tous inclus et correctement enregistrés dans les bases de données bibliographiques voire même ne sont pas tous publiés: tous les produits ne peuvent donc pas être évalués. En outre, le calcul du nombre moyen de citations prête également le flanc à certains biais: (i) une attention exagérée accordée à un auteur spécifique; (ii) une exclusion délibérée par certains auteurs de certains matériaux de référence de leurs publications. Raphael Nawrotzki a noté les limites spécifiques associées à la mesure de l'impact scientifique par la bibliométrie: (i) des périodes de temps longues: il faut parfois des décennies pour que les résultats des investissements dans la recherche agricole deviennent visibles, une mesure solide de l'impact scientifique en termes de bibliométrie n'étant possible qu'environ cinq ans après la fin d'un projet ou d'un portefeuille de recherche; (ii) l'altmetrics: il est difficile de combiner la bibliométrie et l'altmetrics pour obtenir une image complète de l'impact scientifique; (iii) la rentabilité: la part du soutien attribuable à chaque source de financement n'est pas facile à déterminer et le calcul des mesures de rentabilité s'accompagne d'une multitude de limitations. Paul Engel convient lui aussi des limites de la bibliométrie qui fournit selon lui très peu d'informations sur la portée politique, la pertinence contextuelle, la durabilité, l'innovation et la mise à l'échelle des contributions générées par les partenariats de recherche. Ola Ogunyinka a affirmé que les bénéficiaires ultimes du CGIAR (les petits exploitants et les systèmes nationaux) sont très éloignés (en termes d'accès, de fonds, de structures, etc.) des revues qui comptent.
Dans l'ensemble, Jill Lenne et Raphael Nawrotzki ont reconnu la valeur de l'utilisation de l'altmetrics.
Graham Thiele a suggéré l'utilisation de l'analyse des réseaux sociaux (SNA) des publications afin d'examiner les parties qui collaborent pour publier et leur contexte social et organisationnel, en complément de l'analyse bibliométrique en particulier pour la dimension de la légitimité. Valentina de Col a utilisé la SNA et l'analyse des réseaux d'impact (INA) pour étudier les réseaux de collaboration de recherche de deux programmes de recherche du CGIAR.
Enfin, Graham Thiele a mis en garde contre le risque d'utiliser des méthodes de pointe et la précision accrue de l'analyse bibliométrique (très disponible et produite en continu) au détriment de l'image arrondie que d'autres études, telles que les études de cas de résultats et les études d'impact, fournissent – comme l'a soutenu également Paul Engel sur la base de son expérience de l'évaluation de la qualité de la science dans les programmes de recherche du CGIAR (disponible en anglais).
Guy Poppy a présenté le cadre d'excellence en matière de recherche (REF) (disponible en anglais) qui, outre l'évaluation des résultats de la recherche, évalue également les études de cas sur l'impact et l'environnement de la recherche, produisant ainsi une notation mixte où les résultats ont un poids prépondérant mais où l'impact prend de l'importance.
Méthodes qualitatives: forces et limites
L'utilisation de méthodes qualitatives, parallèlement à la bibliométrie et à l'altmetrics, est essentielle pour obtenir une vue d'ensemble de l'évaluation de la qualité de la science.
Les évaluations qualitatives peuvent être réalisées au moyen d'entretiens et/ou d'enquêtes. En ce qui concerne la mesure de l'impact, Valeria Pesce a souligné que les indicateurs qualitatifs sont souvent basés sur des entretiens ou des rapports et qu'il n'est pas facile de donner un sens au récit. Elle a fait référence au post de Claudio Proietti présentant ImpresS (disponible en français).
Ibtissem Jouini a souligné la fiabilité de la synthèse des preuves tout en admettant le défi que représente la variété possible des preuves, des critères d'évaluation, des approches, des objectifs, des contextes, etc.
Les limites des méthodes qualitatives ont également été observées, par exemple par Jillian Lenne et Keith Child: les évaluations qualitatives obligent l'évaluateur à porter des jugements subjectifs.
Des considérations relatives aux approches et méthodes participatives ont été soulignées par Sonal D. Zaveri telles que la différence entre «accès» et «participation» ou le concept de pouvoir (caché ou explicite). Les femmes, en tant que porteuses traditionnelles des connaissances locales et indigènes, se retrouvent coupées de la société en réseau, où l'information, la communication et les connaissances sont des «biens échangeables».
Valeria Pesce, Etienne Vignola-Gagné et Valentina de Col ont analysé les outils actuels et les moyens permettant de relever les défis posés par les indicateurs qualitatifs et quantitatifs: certains outils informatiques permettent de classer (parfois automatiquement) des concepts sélectionnés, d'identifier des modèles, la fréquence de mots, concepts ou groupes de concepts, etc., en utilisant des techniques d'exploration de texte et d'apprentissage automatique, parfois même en partant directement de fichiers vidéo et audio. Ils ont mentionné par exemple: pour l'analyse narrative, ATLAS.ti, MAXQDA, NVivo; Cynefin Sensemaker et Sprockler pour les fonctionnalités de conception et de collecte; NarraFirma comme solide colonne vertébrale conceptuelle, aidant à la conception de l'enquête narrative et soutenant un processus d'analyse participatif.
Conclusion et prochaines étapes
Même à défaut de standardisation des méthodes, les évaluations STI doivent être conçues de manière à ce que les résultats de l'évaluation soient comparables, dans la mesure du possible, afin de favoriser un apprentissage à l'échelle du système (Nanae Yabuki), mais aussi au niveau de ceux qui sont touchés et impactés (Sonal Zaveri et autres).
Valentina de Col a souligné l'intérêt de consolider et d'adopter une approche standardisée pour mesurer la qualité de la science au sein d'une organisation comme le CGIAR, afin de mieux mesurer les résultats, d'évaluer l'efficacité, d'améliorer la qualité des données, d'identifier les lacunes et de regrouper les données entre les centres du CGIAR.
Concluons sur l'intérêt de cette discussion pour l'apprentissage. Au sein du CGIAR, au CAS/Évaluation, nous travaillons actuellement à l'élaboration de directives visant à rendre opérationnel le critère d'évaluation de la qualité de la science dans la politique d'évaluation révisée du CGIAR (disponible en anglais). Contactez-nous si vous souhaitez participer directement!
Références
Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/
Belcher, B. M., Rasmussen, K. E., Kemshaw, M. R., & Zornes, D. A. (2016). Defining and assessing research quality in a transdisciplinary context. Research Evaluation, 25(1), 1-17.
DOI: 10.1093/reseval/rvv025
Norbert F. Tchiadjé, Michel Tchotsoua, Mathias Fonteh, Martin Tchamba (2021). Ecological engineering to mitigate eutrophication in the flooding zone of River Nyong, Cameroon, Pages 613-633: https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8
Chambers, R. (1997). Whose reality counts (Vol. 25). London: Intermediate technology publications.
Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun
Holderness, M., Howard, J., Jouini, I., Templeton, D., Iglesias, C., Molden, D., & Maxted, N. (2021). Synthesis of Learning from a Decade of CGIAR Research Programs. https://cas.cgiar.org/evaluation/publications/2021-Synthesis
IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. http://hdl.handle.net/10625/56528
Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018. A better measure of research from the global south (nature.com)
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135. https://doi.org/10.1093/reseval/rvy026
Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC). http://hdl.handle.net/10625/56528
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140. https://doi.org/10.1177/00307270211024271
Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.
Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South Perspective.pdf (amaltas.asia)
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs. https://doi.org/10.5424/sjar/2020183-16399
Vliruous (2019). Thematic Evaluation of Departmental Projects: Creating the Conditions for Impact. https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf
Zaveri, Sonal (2019). “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation. https://bit.ly/3wX5pg8
Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian 2021-IDEAS-book-Transformational-Evaluation.pdf (ideas-global.org)
Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press. https://bit.ly/2RFEMw5