Comment évaluer la science, la technologie et l'innovation dans un contexte de développement?

Comment évaluer la science, la technologie et l'innovation dans un contexte de développement?
24 contributions

Comment évaluer la science, la technologie et l'innovation dans un contexte de développement?

image

Chers membres d'EvalForward,

Je dirige la fonction d'évaluation du CGIAR, partenariat de recherche mondial pour la science et l'innovation visant à faire progresser la transformation des systèmes alimentaires, terrestres et hydriques dans une situation de crise climatique. Je suis rejointe aujourd'hui par Nanae Yabuki du Bureau de l'évaluation de l'Organisation des Nations Unies pour l'alimentation et l'agriculture (FAO), qui dirige les efforts internationaux en vue d'éradiquer la faim et d'atteindre la sécurité alimentaire pour tous.

Le CGIAR et la FAO diffusent leurs connaissances à travers des produits de connaissance tels que des publications et des bases de données. Or, quand il s'agit d'évaluer la qualité de la science, de la technologie et/ou de l'innovation (STI) utilisées dans nos activités de connaissance, cela n'est pas toujours évident.

L'évaluation de la qualité de la STI devrait couvrir à la fois la connaissance réglementaire au niveau des sièges et le travail opérationnel sur le terrain. Elle exige des critères et des méthodologies appropriés tels que l'emploi d'analyse bibliométrique, d'entretiens, d'enquêtes, d'études de cas et de synthèses.

S'appuyant sur les expériences d'évaluation de la qualité de la science et afin de s'aligner davantage sur la Qualité de la recherche au service du développement (Quality of Research for Development, QoR4D) et sur les pratiques de l'industrie, la fonction d'évaluation du CGIAR a récemment publié une note technique concernant l'emploi de la bibliométrie pour mesurer et évaluer la qualité de la science, en vue d'élaborer des orientations en matière d'évaluation de la qualité de la science.

En outre, le Bureau de l'évaluation de la FAO a conçu, à cette fin, une évaluation de la qualité de la science afin de mieux répondre aux besoins des utilisateurs dans le contexte évolutif du développement.

Nous souhaiterions connaître vos points de vue et expériences sur les questions suivantes:

  1. Selon vous, quels sont les défis à relever pour évaluer la qualité de la science et de la recherche?
    • a. Quels critères d'évaluation avez-vous utilisés ou jugez-vous les meilleurs pour évaluer des interventions impliquant le nexus sciences, recherche, innovation et développement? Pourquoi?
    • b. Un critère d'évaluation de la qualité de la science donné a-t-il pu contribuer à appréhender les aspects scientifiques utilisés en recherche et développement?
  2. Quels sont les méthodes et les indicateurs qui pourraient fonctionner pour l'évaluation de la science et de la recherche ?
  3. Avez-vous observé des pratiques de suivi, évaluation et apprentissage qui pourraient faciliter les évaluations de la science, de la technologie et de l'innovation ?

En raison de l'expertise spécifique de la communauté d'Evalforward dans l'application des processus de suivi et d'évaluation, nous sommes heureux de recevoir vos commentaires qui nous permettront d'apprendre ensemble.

Documentation de référence:

Au plaisir de recevoir vos commentaires!

Svetlana Negroustoueva 
Responsable de l'évaluation, Services de conseil du CGIAR

CGIAR Logo

 

 

 

 

 

Cette discussion est terminée. Veuillez contacter info@evalforward.org pour plus d'informations.
  • Chers collègues,

    Nous avons été très heureux d'entendre les commentaires de 23 participants venant de divers horizons. Cette riche discussion menée par un large éventail d'experts, y compris des non-évaluateurs, met en évidence un accord général sur l'importance de l'encadrement et de l'utilisation de critères d'évaluation spécifiques au contexte pour contextualiser les évaluations de la science, de la technologie et de l'innovation (STI).  Vous trouverez ci-dessous un résumé des points abordés et nous vous invitons à lire les contributions originales des différents participants si vous les avez manquées.

    Cadre de référence

    Les cadres suivants ont été présentés : le cadre de référence de la qualité de la recherche pour le développement (QoR4D, disponible en anglais), le cadre d'excellence de la recherche (REF) et le cadre d'évaluation RQ+.

    La discussion a porté sur les éléments du cadre de référence de la qualité de la recherche pour le développement, directement ou indirectement liés aux critères d'évaluation: pertinence, légitimité, efficacité et crédibilité scientifique.

    Pour Serdar Bayryyev et Lennart Raetzell, le contexte d'utilisation des produits est essentiel pour déterminer leur pertinence. Pour évaluer l'efficacité (ou la qualité), Serdar Bayryyev suggère: (i) d'évaluer l'influence des activités et la mesure dans laquelle la science, l'innovation et les produits de la recherche ont influencé les politiques, les approches ou les processus; (ii) d'évaluer le degré de «mise en réseau», c'est-à-dire la mesure dans laquelle les chercheurs et les institutions scientifiques ont interagi avec toutes les parties prenantes concernées. Lennart Raetzell a partagé son expérience récente d'évaluation de l'impact thématique pour VLIR-UOS (https://www.vliruos.be) portant sur les voies d'accès à la recherche, principalement dans le domaine de l'agriculture.

    Nanae Yabuki et Serdar Bayryyev soulignent l'importance de l'évaluation de la nature transformationnelle des activités de recherche afin de déterminer si elles provoquent un véritable changement transformationnel ou, du moins, un discours politique important encourageant l'évolution vers un tel changement transformationnel. La pertinence de la STI est spécifique au contexte, tout comme la manière dont la STI déclenche un changement transformationnel.

    Sonal D. Zaveri affirme pour sa part que les chercheurs du Sud sont unanimes sur le fait que la recherche doit être pertinente par rapport aux préoccupations actuelles, aux utilisateurs de la recherche et aux communautés au sein desquelles le changement est attendu. L'appropriation et l'influence étant tout aussi importantes que la qualité de la recherche dans un contexte de développement, les évaluations se doivent de mesurer ce qui est important pour les communautés et les personnes. De nombreuses évaluations sont conçues à distance et certains choix d'évaluation sont effectués en fonction l'expertise disponible, de la position ou des ressources. Il serait en outre difficile de reconnaître la qualité d'une science dépourvue de toute valeur liée aux droits de l'homme, à l'inclusion et à l'équité. Si les résultats ne sont pas utilisés et adoptés par les personnes, et en particulier par celles peu entendues dans le cadre du programme, il est impossible de prétendre que les évaluations ont conduit au bien public ou ont été utilisées au bénéfice de tous les peuples. À ce sujet, Richard Tinsley souligne l'importance de considérer le bénéficiaire final des résultats scientifiques. Il insiste sur la nécessité de comprendre les clients primaires (les systèmes nationaux de recherche agricole des pays hôtes ou NARS pour le CGIAR) et les bénéficiaires finaux (une multitude de petits exploitants agricoles généralement anonymes), qui sont toujours à une certaine distance des clients des NARS du CGIAR.

    Du point de vue des bailleurs de fonds, Raphael Nawrotzki estime que les sous-composantes du cadre de référence QoR4D sont importantes pour mesurer la qualité du processus consistant à «faire de la science» plutôt que les résultats (production, résultats, impacts). D'où la nécessité d'utiliser les critères d'impact et d'efficacité du Comité d'aide au développement (CAD) de l'OCDE pour saisir le «faire» (processus) mais aussi les «résultats» de l'entreprise de recherche pour le développement, en complément du cadre de référence. Il affirme qu'un bailleur de fonds se concentre sur l'impact (Que réalise la recherche? Quelle est sa contribution?) et, à un moindre degré, l'efficacité (Les ressources ont-elles été bien utilisées? Combien a-t-on obtenu par rapport au montant dépensé?).

    Selon Nanae Yabuki, l'utilisation des preuves scientifiques pour renforcer l'impact des interventions reflète le mandat de la FAO. Pour évaluer ces aspects, l'«utilité» des résultats de la recherche apparaît plus pertinente que son «importance». D'où la nécessité de définir des critères appropriés pour chaque évaluation.

    Norbert Tchouaffe a présenté enfin la théorie du changement comme un outil permettant d'évaluer l'impact du réseau d'interface science-politique sur une société donnée, sur la base de cinq critères (sensibilisation, savoir-faire, attitude, participation et auto-évaluation).

    Méthodes

    Les participants à la discussion ont convenu de l'importance d'utiliser une approche mixte permettant de combiner les indicateurs qualitatifs et quantitatifs. Selon Raphael Nawrotzki, l'approche mixte est nécessaire, notamment pour évaluer la pertinence de la question de recherche et l'équité du processus.

    Méthodes quantitatives: forces et limites

    Parmi les méthodes quantitatives, l'utilisation de l'analyse bibliométrique a été mentionnée pour:

    • évaluer l'impact de la science, c'est-à-dire l'impact au sein d'un domaine scientifique, toujours mesuré au mieux par le nombre de citations que reçoit un article ou un chapitre de livre (Raphael Nawrotzki);
    • évaluer la légitimité des résultats de la recherche et la crédibilité des produits de la connaissance (Nanae Yabuki);
    • fournir une bonne indication de la qualité de la science (QoS), car les articles publiés ont déjà franchi un seuil de qualité dans la mesure où ils ont été examinés par des scientifiques expérimentés (Jillian Lenne);
    • fournir un aperçu important des efforts déployés et de la portée scientifique atteinte (Paul Engel).

    Dans une réflexion sur la qualité de service et l'évaluation de l'innovation, Rachid Serraj a illustré l'utilisation des indices bibliométriques et de citation du Web of Science.

    Etienne Vignola-Gagné, co-autheur de la note technique (disponible en anglais), a souligné la nouvelle gamme d'indicateurs bibliométriques élargie à de nouvelles dimensions, à savoir l'interdisciplinarité, l'égalité des sexes, la pré-impression en tant que pratique scientifique ouverte ou la prévalence de collaborations multinationales complexes – utiles pour évaluer la pertinence et la légitimité. Certains indicateurs bibliométriques peuvent également être utilisés comme indicateurs de processus ou même d'entrée plutôt que comme indicateurs traditionnellement voués à mesurer l'efficacité de produits. La bibliométrie peut être utilisée pour vérifier si les programmes de recherche transdisciplinaire contribuent effectivement à une intégration disciplinaire accrue dans la pratique quotidienne de la recherche, les équipes de projet et les bailleurs de fonds sous-estimant souvent la complexité de ces propositions pour la recherche.

    Pour Valentina de Col, la bibliométrie (par exemple, l'indexation des collections de base du Web of Science, le pourcentage d'articles en libre accès, le classement des revues en quartiles, l'altmetrics) a été utilisée pour les articles de revues publiés et les rapports de cas d'impact de résultat (OICR) pour décrire la contribution de la recherche du CGIAR aux résultats et à l'impact. Raphael Nawrotzki a suggéré d'autres indicateurs bibliométriques connexes: (i) la contribution aux objectifs de développement durable (ODD); (ii) la moyenne des citations relatives; (iii) les publications très largement citées; (iv) l'indice de distribution des citations.

    Keith Child et Serdar Bayryyev ont relevé les limites de l'analyse bibliométrique. Par exemple, les produits de la science, de l'innovation et de la recherche ne sont pas tous inclus et correctement enregistrés dans les bases de données bibliographiques voire même ne sont pas tous publiés: tous les produits ne peuvent donc pas être évalués. En outre, le calcul du nombre moyen de citations prête également le flanc à certains biais: (i) une attention exagérée accordée à un auteur spécifique; (ii) une exclusion délibérée par certains auteurs de certains matériaux de référence de leurs publications. Raphael Nawrotzki a noté les limites spécifiques associées à la mesure de l'impact scientifique par la bibliométrie: (i) des périodes de temps longues: il faut parfois des décennies pour que les résultats des investissements dans la recherche agricole deviennent visibles, une mesure solide de l'impact scientifique en termes de bibliométrie n'étant possible qu'environ cinq ans après la fin d'un projet ou d'un portefeuille de recherche; (ii) l'altmetrics: il est difficile de combiner la bibliométrie et l'altmetrics pour obtenir une image complète de l'impact scientifique; (iii) la rentabilité: la part du soutien attribuable à chaque source de financement n'est pas facile à déterminer et le calcul des mesures de rentabilité s'accompagne d'une multitude de limitations. Paul Engel convient lui aussi des limites de la bibliométrie qui fournit selon lui très peu d'informations sur la portée politique, la pertinence contextuelle, la durabilité, l'innovation et la mise à l'échelle des contributions générées par les partenariats de recherche. Ola Ogunyinka a affirmé que les bénéficiaires ultimes du CGIAR (les petits exploitants et les systèmes nationaux) sont très éloignés (en termes d'accès, de fonds, de structures, etc.) des revues qui comptent.

    Dans l'ensemble, Jill Lenne et Raphael Nawrotzki ont reconnu la valeur de l'utilisation de l'altmetrics.

    Graham Thiele a suggéré l'utilisation de l'analyse des réseaux sociaux (SNA) des publications afin d'examiner les parties qui collaborent pour publier et leur contexte social et organisationnel, en complément de l'analyse bibliométrique en particulier pour la dimension de la légitimité. Valentina de Col a utilisé la SNA et l'analyse des réseaux d'impact (INA) pour étudier les réseaux de collaboration de recherche de deux programmes de recherche du CGIAR.

    Enfin, Graham Thiele a mis en garde contre le risque d'utiliser des méthodes de pointe et la précision accrue de l'analyse bibliométrique (très disponible et produite en continu) au détriment de l'image arrondie que d'autres études, telles que les études de cas de résultats et les études d'impact, fournissent – comme l'a soutenu également Paul Engel sur la base de son expérience de l'évaluation de la qualité de la science dans les programmes de recherche du CGIAR (disponible en anglais).

    Guy Poppy a présenté le cadre d'excellence en matière de recherche (REF) (disponible en anglais) qui, outre l'évaluation des résultats de la recherche, évalue également les études de cas sur l'impact et l'environnement de la recherche, produisant ainsi une notation mixte où les résultats ont un poids prépondérant mais où l'impact prend de l'importance.

    Méthodes qualitatives: forces et limites

    L'utilisation de méthodes qualitatives, parallèlement à la bibliométrie et à l'altmetrics, est essentielle pour obtenir une vue d'ensemble de l'évaluation de la qualité de la science.

    Les évaluations qualitatives peuvent être réalisées au moyen d'entretiens et/ou d'enquêtes. En ce qui concerne la mesure de l'impact, Valeria Pesce a souligné que les indicateurs qualitatifs sont souvent basés sur des entretiens ou des rapports et qu'il n'est pas facile de donner un sens au récit. Elle a fait référence au post de Claudio Proietti présentant ImpresS (disponible en français).

    Ibtissem Jouini a souligné la fiabilité de la synthèse des preuves tout en admettant le défi que représente la variété possible des preuves, des critères d'évaluation, des approches, des objectifs, des contextes, etc.

    Les limites des méthodes qualitatives ont également été observées, par exemple par Jillian Lenne et Keith Child: les évaluations qualitatives obligent l'évaluateur à porter des jugements subjectifs.

    Des considérations relatives aux approches et méthodes participatives ont été soulignées par Sonal D. Zaveri telles que la différence entre «accès» et «participation» ou le concept de pouvoir (caché ou explicite). Les femmes, en tant que porteuses traditionnelles des connaissances locales et indigènes, se retrouvent coupées de la société en réseau, où l'information, la communication et les connaissances sont des «biens échangeables».

    Valeria Pesce, Etienne Vignola-Gagné et Valentina de Col ont analysé les outils actuels et les moyens permettant de relever les défis posés par les indicateurs qualitatifs et quantitatifs: certains outils informatiques permettent de classer (parfois automatiquement) des concepts sélectionnés, d'identifier des modèles, la fréquence de mots, concepts ou groupes de concepts, etc., en utilisant des techniques d'exploration de texte et d'apprentissage automatique, parfois même en partant directement de fichiers vidéo et audio. Ils ont mentionné par exemple: pour l'analyse narrative, ATLAS.ti, MAXQDA, NVivo; Cynefin Sensemaker et Sprockler pour les fonctionnalités de conception et de collecte; NarraFirma comme solide colonne vertébrale conceptuelle, aidant à la conception de l'enquête narrative et soutenant un processus d'analyse participatif.

    Conclusion et prochaines étapes

    Même à défaut de standardisation des méthodes, les évaluations STI doivent être conçues de manière à ce que les résultats de l'évaluation soient comparables, dans la mesure du possible, afin de favoriser un apprentissage à l'échelle du système (Nanae Yabuki), mais aussi au niveau de ceux qui sont touchés et impactés (Sonal Zaveri et autres).

    Valentina de Col a souligné l'intérêt de consolider et d'adopter une approche standardisée pour mesurer la qualité de la science au sein d'une organisation comme le CGIAR, afin de mieux mesurer les résultats, d'évaluer l'efficacité, d'améliorer la qualité des données, d'identifier les lacunes et de regrouper les données entre les centres du CGIAR.

    Concluons sur l'intérêt de cette discussion pour l'apprentissage. Au sein du CGIAR, au CAS/Évaluation, nous travaillons actuellement à l'élaboration de directives visant à rendre opérationnel le critère d'évaluation de la qualité de la science dans la politique d'évaluation révisée du CGIAR (disponible en anglais). Contactez-nous si vous souhaitez participer directement!

    Références 

    Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/

    Belcher, B. M., Rasmussen, K. E., Kemshaw, M. R., & Zornes, D. A. (2016). Defining and assessing research quality in a transdisciplinary context. Research Evaluation, 25(1), 1-17. DOI: 10.1093/reseval/rvv025

    Norbert F. Tchiadjé, Michel Tchotsoua, Mathias Fonteh, Martin Tchamba (2021). Ecological engineering to mitigate eutrophication in the flooding zone of River Nyong, Cameroon, Pages 613-633: https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8

    Chambers, R. (1997). Whose reality counts (Vol. 25). London: Intermediate technology publications.

    Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun

    Holderness, M., Howard, J., Jouini, I., Templeton, D., Iglesias, C., Molden, D., & Maxted, N. (2021). Synthesis of Learning from a Decade of CGIAR Research Programs.  https://cas.cgiar.org/evaluation/publications/2021-Synthesis

    IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. http://hdl.handle.net/10625/56528

    Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018. A better measure of research from the global south (nature.com)

    McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135. https://doi.org/10.1093/reseval/rvy026

    Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC). http://hdl.handle.net/10625/56528

    Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140. https://doi.org/10.1177/00307270211024271

    Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.

    Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South Perspective.pdf (amaltas.asia)

    Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs. https://doi.org/10.5424/sjar/2020183-16399

    Vliruous (2019). Thematic Evaluation of Departmental Projects: Creating the Conditions for Impact. https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf

    Zaveri, Sonal (2019). “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation. https://bit.ly/3wX5pg8

    Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian 2021-IDEAS-book-Transformational-Evaluation.pdf (ideas-global.org)

    Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press. https://bit.ly/2RFEMw5

     

  • Merci pour ces précieux commentaires. La discussion a confirmé qu'un mélange de méthodes qualitatives et quantitatives serait nécessaire pour évaluer la qualité de la science (QoS) dans le contexte du développement.

    L'analyse bibliométrique pourrait être utile pour évaluer la légitimité des résultats de la recherche et la crédibilité des produits de connaissance. La FAO entreprend des recherches appliquées et produit des connaissances telles que des publications. L'analyse bibliométrique peut aider à évaluer la qualité de nos produits de connaissance.

    La FAO entreprend non seulement un travail de connaissance mais aussi des activités de terrain. Nous utilisons les preuves scientifiques pour renforcer l'impact des interventions, résoudre des problèmes de développement spécifiques, etc. Pour évaluer ces aspects, l'"utilité" des résultats de la recherche est plus pertinente que leur " significativité ". La pertinence de la science, de la technologie et de l'innovation (STI) est spécifique au contexte. La façon dont la STI déclenche un changement transformationnel est également spécifique au contexte. Par conséquent, nous devons trouver des critères appropriés pour chaque évaluation.

    Bien que la standardisation puisse être difficile, il vaudrait la peine de faire des efforts pour concevoir les évaluations de la STI de manière à ce que les résultats de l'évaluation puissent être utilisés, dans la mesure du possible, au niveau institutionnel, pourpour un apprentissage à l'échelle du système.

    Différentes organisations de développement utilisent la STI dans leur travail et évaluent leur travail. Je pense que nous pouvons apprendre de nos expériences respectives.

  • Merci pour ces commentaires. La contribution à la société ou l'impact est la cible recherchée par les bailleurs de fonds. Ainsi, de mon point de vue, traduire les objectifs en impacts nécessite de nouvelles stratégies de transformation comme la théorie du changement que j'ai conçue comme un concept intitulé "Théorie du changement de Tchouaffe : TToC" (Tchouaffé, 2021) comme outil d'évaluation de l'impact du réseau d'interface science-politique sur une société particulière, sur la base de cinq déterminants (fiches d'évaluation de la sensibilisation, du savoir-faire, de l'attitude, de la participation et de l'auto-évaluation).

    Bonne journée à tous.

    Norbert TCHOUAFFE PhD

    Institut Panafricain pour le Développement Cameroun

     

    N'hésitez pas à consulter mon chapitre "ecological engineering to mitigate eutrophication in the flooding zone of River Nyong, Cameroon", Pages 613-633 (en anglais) : https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8. Du Handbook of climate management, publié par Springer nature, 2021

  • Merci d'avoir gardé le forum ouvert plus longtemps que prévu. J'ai lu tous les commentaires avec beaucoup d'intérêt, sans oser contribuer, à la fois parce que je suis nouvelle dans la communauté EvalForward et parce que je ne suis pas une évaluatrice expérimentée, en particulier dans le domaine scientifique, mais plutôt une praticienne générale du S&E / MEL au niveau du projet.

    Je ne poste quelque chose que maintenant, à la dernière minute, en réponse à la question 3 sur les pratiques de MEL, et plus particulièrement en ce qui concerne la mesure de l'impact (qui a beaucoup été abordée dans d'autres messages, merci à Claudio Proietti d'avoir présenté ImpresS), où les indicateurs qualitatifs sont souvent basés sur des entretiens ou des rapports, et il n'est pas facile de donner un sens à la narration.

    Je ne sais pas si, en termes de pratiques, les outils informatiques sont intéressants, mais je pense que dans ce type de mesure, certains outils informatiques peuvent être d'une grande aide. Bien sûr, la qualité de l'évaluation dépend de la façon dont les questions narratives sont conçues et du type d'analyse prévu (classifications, mots-clés, structure de l'histoire, métadonnées), mais une fois la conception faite, il est très pratique d'utiliser des outils qui vous permettent de classifier (parfois automatiquement) par rapport à des concepts sélectionnés, d'identifier des modèles, la fréquence des mots/concepts, des groupes de concepts, etc. en utilisant des techniques d'exploration de texte et d'apprentissage automatique, dans certains cas même en partant directement de fichiers vidéo et audio.

    Quelques outils d'analyse narrative que je suis en train d'examiner sont : ATLAS.ti, MAXQDA, NVivo. D'autres outils que je vérifie, qui font une analyse narrative moins puissante mais qui ont aussi des fonctionnalités de conception et de collecte, sont Cynefin Sensemaker et Sprockler. Un outil intéressant, avec des fonctionnalités plus basiques mais une forte colonne vertébrale conceptuelle, qui aide à la conception de l'enquête narrative et soutient un processus d'analyse participatif, est NarraFirma.

    (O.T. : Je serais en fait intéressée par un échange de vues sur ces outils avec d'autres membres de la communauté qui les ont utilisés). 

     

  • Je suis tout à fait d'accord avec Graham [commentaire précédent ci-dessous] sur ce point. J'ai effectué l'un de ces examens des programmes de recherche du GCRAI et les études de résultats et d'impact ont été des éléments clés qui nous ont permis d'obtenir davantage d'informations sur ce qui s'est réellement passé. Et il y en avait trop peu. L'analyse bibliométrique a fourni un aperçu important des efforts déployés et de la portée scientifique atteinte. Entre autres choses, elle a fourni très peu d'informations sur la portée politique, la pertinence contextuelle, la durabilité, l'innovation et la mise à l'échelle des contributions générées par les partenariats de recherche. 

  • 1. Selon vous, quels sont les défis à relever pour évaluer la qualité de la science et de la recherche?

    Dans le cas du CGIAR, peut-être faut-il consolider et adopter une approche standardisée pour mesurer la qualité de la science au-delà de l'évaluation unique par chaque centre du CGIAR. Cela pourrait aider à mieux mesurer les résultats, à évaluer l'efficacité, à améliorer la qualité des données, à identifier les lacunes et à regrouper les données entre les centres.

    a. Quels critères d'évaluation avez-vous utilisés ou jugez-vous les meilleurs pour évaluer des interventions impliquant le nexus sciences, recherche, innovation et développement? Pourquoi?

    Dans le cadre du suivi, de l'évaluation et de l'apprentissage, nous avons utilisé par le passé une combinaison de méthodes quantitatives et qualitatives. Par exemple, la bibliométrie (par exemple, l'indexation des collections de base du Web of Science, le pourcentage d'articles en libre accès, le classement des revues en quartiles, Altmetrics) pour les articles de revues publiés et les rapports de cas d'impact sur les résultats (OICR) pour décrire la contribution de la recherche du CGIAR aux résultats et à l'impact.

    Nous avons aussi récemment entrepris une étude qui utilise l'analyse des réseaux sociaux (SNA) et l'analyse des réseaux d'impact (INA) pour étudier les réseaux de collaboration de recherche de deux programmes de recherche du CGIAR (CRP). Les réseaux sont générés à partir des articles de journaux publiés sur une période de quatre ans et leurs métadonnées sont utilisées pour explorer des aspects allant des structures d'équipe à l'évolution des collaborations entre organisations.

    En général, un mélange de méthodes quantitatives et qualitatives pourrait être la stratégie la plus utile, permettant une combinaison de différentes approches et métriques pour mesurer les impacts des interventions.

    b. Un critère d'évaluation de la qualité de la science donné a-t-il pu contribuer à appréhender les aspects scientifiques utilisés en recherche et développement?

    Il ne s'agit pas d'un critère unique, mais d'une combinaison de différents critères. Les travaux de Rünzel, Sarfatti, Negroustoueva (2021) nous ont appris l'utilité d'utiliser la pertinence, la crédibilité scientifique, la légitimité et l'efficacité dans le cadre de l'évaluation de la qualité de la recherche pour le développement.

    Rünzel, M., Sarfatti, P. & Negroustoueva (2021), Evaluating quality of science in CGIAR research programs: Use of bibliometrics

     

  • Les examens de cas des résultats à l'impact (OICR) qui faisaient partie des examens des programmes de recherche du CGIAR 2020 devraient être étendus en tant que partie intégrante des évaluations futures des initiatives de One CGIAR. Ils constituent un moyen efficace de combiner les évaluations quantitatives, bibliométriques et qualitatives de la qualité de la recherche agricole pour le développement.

  • C'est un outil très bien conçu qui garantira l'uniformité de la méthodologie dans les programmes de recherche du CGIAR au fur et à mesure que le système avance vers l'actualisation du CGIAR unique.

    Mon inquiétude est que même si la qualité de la science est jugée bonne, que se passera-t-il ensuite ? Comment cela se traduit-il dans l'essence même de la naissance du CGIAR : augmentation de la production alimentaire au niveau des petits exploitants, amélioration de la nutrition, de la santé et des moyens de subsistance au niveau des ménages. Les bénéficiaires ultimes du CGIAR sont les petits exploitants agricoles et les systèmes nationaux. Ces derniers sont très éloignés (accès, fonds, structures faibles, etc.) des revues qui comptent.

    C'est pourquoi, à mon avis, cet outil doit être combiné à un processus d'étude de cas sur les résultats et l'impact qui profite à la science au sein du CGIAR, d'une part, et à son effet sur les petits exploitants, les systèmes nationaux et la société dans son ensemble, d'autre part.

    Nous devons définir/élaborer la qualité de la science/qualité de la recherche de manière à saisir la raison du besoin de la science en premier lieu et son effet/résultat sur la société en général. La composante "suivi, évaluation et apprentissage" (MEL) devrait être renforcée pour aborder ces questions plus larges et garantir que, lorsque nous évaluons la science, nous ne perdons pas de vue son objectif ultime.

  • J'ai participé à deux exercices du Research Excellence Framework (REF) au Royaume-Uni (2014 et 2021) qui évaluent l'excellence de la recherche dans de nombreuses disciplines et institutions différentes. En plus de l'évaluation des résultats de la recherche, il évalue également les études de cas sur l'impact et l'environnement de la recherche, produisant un score mixte où les résultats ont le plus de poids, mais où l'impact prend de plus en plus de poids entre 2014 et 2021. 

    L'évaluation se fait principalement par le biais de l'examen par les pairs, mais elle comprend également des données bibliométriques (réalisées de manière centralisée et qui vous sont fournies, de sorte que tout est fait de la même manière). La bibliométrie peut être "utilisée" pour améliorer un score plutôt que de le faire baisser.

    Il est intéressant de noter que les mêmes chercheurs et institutions obtiennent de bons résultats dans tous les domaines, même si l'on observe des "sommets" dans certains domaines de recherche spécifiques et/ou un impact plus élevé, etc. Ainsi, ceux qui obtiennent des scores élevés de 3 et 4 * (excellence internationale et leader mondial) ont souvent un impact et/ou des environnements de recherche élevés, comme on peut s'y attendre.

    Ce qui précède bénéficie d'une période avant le Research Excellence Framework (REF) et de beaucoup d'informations connues sur l'établissement de bases et la normalisation. Par exemple, dans le domaine de l'agriculture/de l'alimentation/de la médecine vétérinaire (mon panel), nous disposions d'informations sur les citations typiques, etc. pour le sous-thème, etc. et nous pouvions donc voir si nous étions au-dessus ou au-dessous de la norme, parallèlement à notre propre évaluation par les pairs.

    Vous trouverez plus d'informations ici : https://www.ref.ac.uk pour 2021 et ici https://www.ref.ac.uk/2014/ pour l'exercice 2014 qui a été analysé par de nombreuses personnes et il existe une véritable science sur les REF et sur les meilleures façons de procéder à l'avenir.

    Il y a une incitation à la fois financière et pour la réputation, ce qui signifie que "c'est une affaire importante" pour les universités britanniques qui y consacrent beaucoup de temps et d'argent. 

    Je pense que l'étendue de la couverture et la prise en compte de la rigueur, de l'originalité et de la nouveauté, etc. pour les résultats et la portée/signification et l'impact pour les études de cas d'impact, puis une série de mesures sur la culture de la recherche pour l'environnement de la recherche, offrent une vision large de l'excellence. La question de savoir dans quelle mesure il est possible d'utiliser des algorithmes et de ne pas recourir à l'examen par les pairs pour les sujets plus STEM (science, technologie, ingénierie et mathématiques) reste un enjeu.

     

     

     

     

     

  • Chers tous,

    Je souhaite vous faire part de l'expérience du Cirad, organisme français de recherche agronomique et de coopération internationale œuvrant pour le développement durable des régions tropicales et méditerranéennes, et des efforts déployés ces dernières années pour renforcer une culture de l'impact par la promotion d'une pensée évaluative. Je pense que ce travail résonne avec les défis et la volonté d'utiliser l'évaluation pour mieux orienter le développement scientifique et technologique et contribuer aux processus d'innovation.  

    Le Cirad a déjà fait un premier effort pour reconstruire ce qu'ils appellent le processus de "construction d'une culture d'impact" et vous pouvez accéder à des informations plus détaillées ici : https://doi.org/10.1093/reseval/rvy033.  

    J'ai rejoint le Cirad il y a un an et, venant du CGIAR, je n'ai pas été surpris de voir qu'un référentiel accessible au public était en place et qu'un ensemble d'indicateurs bibliométriques standardisés était régulièrement suivi : https://indicateurs-publication.cirad.lodex.fr/

    J'ai appris que, le Cirad étant un établissement public, il fait l'objet d'une évaluation régulière (tous les quatre ans) coordonnée par une autorité publique indépendante, le Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur (Hcéres). Trois points ont retenu mon attention lorsque j'ai examiné pour la première fois le cadre et la méthode d'évaluation du Hcéres. https://www.hceres.fr/fr/referentiels-devaluation 

    Le premier point est qu'avant qu'un panel externe d'experts nationaux et internationaux de haut niveau ne procède à l'évaluation, il y a un processus d'auto-évaluation interne qui est réalisé par le Cirad lui-même. 

    Le deuxième point est que le cadre d'évaluation identifie clairement la capacité de l'organisation à orienter et à mettre en œuvre sa stratégie en fonction des défis et des demandes de la société, la centralité des partenariats et la qualité de la science comme des critères clés.  

    Le troisième point est la granularité de l'évaluation qui a été réalisée à la fois au niveau institutionnel et pour chacune des unités de recherche.  

    Parallèlement à cette évaluation externe, des évaluations régulières sont également réalisées pour évaluer les principaux réseaux régionaux de recherche et de développement (https://www.cirad.fr/en/worldwide/platforms-in-partnership). 

    Vous trouverez ici le dernier rapport d'évaluation du Hcéres (2021) en français : https://www.cirad.fr/les-actualites-du-cirad/actualites/2021/evaluation…

    Le dispositif institutionnel que j'ai brièvement décrit s'est enrichi, à partir d'une dizaine d'années, grâce aux efforts scientifiques et méthodologiques menés par une équipe de chercheurs et d'experts sous l'égide de l'initiative Impact de la Recherche au Sud (ImpresS). https://impress-impact-recherche.cirad.fr/  

    ImpresS a défini un ensemble de principes méthodologiques (apprentissage réflexif, perspective systémique, analyse d'études de cas, analyse de la contribution, approche centrée sur l'acteur et participative, orientation vers les résultats, accent mis sur le développement des capacités et les processus d'appui aux politiques) pour développer et mettre en œuvre des approches et des outils d'évaluation qui sont actuellement utilisés pour évaluer les trajectoires d'innovation à long terme (ImpresS ex post : https://www.cirad.fr/nos-activites-notre-impact/notre-impact) et pour concevoir de nouvelles interventions (ImpresS ex ante : https://www.cirad.fr/les-actualites-du-cirad/actualites/2021/impress-co…). Ces dernières années, le portefeuille de projets de recherche pour le développement coordonnés par le Cirad n'a cessé d'augmenter. Un mécanisme a été récemment mis en place pour favoriser et améliorer l'utilisation systématique des évaluations de résultats pour la gestion adaptative et l'apprentissage, et construire un corpus cohérent de connaissances sur la contribution de la recherche aux changements sociétaux et environnementaux. Ce mécanisme fournira un financement et un soutien méthodologique aux équipes qui mettent en œuvre des interventions phares et stratégiques. 

    Vous trouverez ici les documents méthodologiques et autres publications liés au travail d'ImpresS : https://impress-impact-recherche.cirad.fr/resources/impress-publications.  

    La diversité des perspectives et des approches me semble être un facteur clé pour évaluer des dimensions importantes des performances et des contributions d'une organisation de recherche pour le développement et démêler, autant que possible, la complexité des interactions et des boucles de rétroaction qui caractérisent la majorité de ces interventions dans les contextes de développement. Néanmoins, le cadre d'évaluation le plus complet ne serait pas suffisant si les organes de gouvernance et de gestion à différents niveaux de l'organisation et l'organisation dans son ensemble ne sont pas désireux et capables d'apprendre et de s'adapter en fonction de l'utilisation des résultats de l'évaluation. 

     

  • Chers tous,

    Il s'agit en effet de questions intéressantes et d'un débat passionnant.

    En ce qui concerne l'évaluation de la qualité de service et de l'innovation, dans le contexte spécifique du GCRAI, bien que je sois d'accord avec la plupart de ce qui a déjà été dit, je n'ai pas pu résister - par curiosité - à la tentation de visiter le Web of Science, pour vérifier les indices bibliométriques et de citation de certains des grands pionniers de la R&D, tels que Norman Borlaug ou MS Swaminathan.

    Ces héros de la soi-disant révolution verte ont bâti la réputation du CGIAR et ont eu un impact à grande échelle sur la sécurité alimentaire mondiale, etc. Mais étonnamment, ils n'ont pas vraiment publié beaucoup. Par exemple, Borlaug n'a qu'un H-Index de 13 et un total de 54 publications (Web-of-Science vérifié aujourd'hui) ; MSS a un HI de 15. Ce qui serait probablement le score d'un post-doctorant moyen de nos jours !  Alors, qu'est-ce que cela nous apprend en fin de compte ?

    Beaucoup a déjà été dit sur l'impact et les compromis de la GR, mais en parcourant les vieux dossiers des scientifiques pionniers qui ont fait l'IRRI, le CIMMYT, etc. dans le passé, nous sentons un grand engagement et un dévouement à la science au profit des pauvres. La noble mission qui a incité de brillants scientifiques, pour la plupart originaires de l'hémisphère nord, à troquer leurs confortables laboratoires pour des champs poussiéreux à travers l'Asie, l'Afrique et le LAM. Nous pouvons également supposer que la plupart de ces "volontaires militants" ne cherchaient pas vraiment à obtenir des citations ou une reconnaissance facile, mais qu'ils avaient des idées très claires sur ce qui devait être fait et pourquoi...

    Soixante ans après sa création, le CGIAR doit trouver le moyen de revisiter son histoire et de s'inspirer de la manière dont il peut renouveler sa mission et ses engagements en faveur d'une science pertinente et ayant un impact, au-delà des mesures alambiquées et du "comptage des haricots"... Tous les paramètres du cadre de référence QoR4D sont effectivement importants, et les paramètres bibliométriques font également partie de l'équation QoS. Mais ce qui est encore plus crucial, c'est la culture scientifique et les valeurs éthiques qui attirent, maintiennent et inspirent les nouvelles générations de brillants scientifiques internationaux à rejoindre le système. Le scientifique du GCRAI doit être placé au centre des voies d'impact de la recherche, son profil doit être réévalué. D'autre part, les "bureaucraties du système" doivent être maintenues au minimum, en tant que services de soutien pour aider les scientifiques dans leur mission. Il y a quelque chose à faire sur la L de la MEL, en revenant aux fondamentaux.

    Je m'excuse d'être franc et probablement "hors sujet", mais ayant travaillé pendant de nombreuses années en tant que scientifique dans 3 centres du CGIAR, successivement l'ICRISAT, l'IRRI et l'ICARDA, puis au secrétariat du conseil scientifique (ISPC), ceci est en quelque sorte inspiré par ma modeste expérience et mon dévouement pour le CG.

    Cordialement,

    RS

  • Il existe plusieurs outils innovants permettant d'exploiter les données bibliométriques pour obtenir des informations allant au-delà de la métrique des citations, ce qui peut donner plus de profondeur à l'évaluation de la science - comme indiqué dans d'autres contributions, les techniques d'analyse des réseaux sociaux peuvent être appliquées pour identifier les réseaux de collaboration scientifique ou d'institutions de financement sur un sujet donné. 

    En outre, reconnaissant que les mesures traditionnelles et nouvelles (telles que l'altmetrics) ont tendance à se concentrer sur l'importance de la recherche au sein de la communauté scientifique et ne parviennent pas à comprendre la portée au-delà des réseaux de chercheurs, nous avons récemment publié un article dans lequel nous avons utilisé une approche de méthodes numériques pour évaluer les formes "douces" d'influence de la science climatique dans l'espace politique. Notre étude propose un cadre pour évaluer l'influence plus large du programme de recherche du CGIAR sur le changement climatique, l'agriculture et la sécurité alimentaire (CCAFS) à travers les représentations médiatiques en ligne. 

    En considérant les réseaux et les récits en ligne comme des preuves d'influence, nous avons réutilisé des artefacts numériques accessibles au public pour évaluer la portée du CCAFS parmi les parties prenantes à différents niveaux. Nous avons évalué la dynamique de la diffusion de l'information, de l'interaction et de l'amplification du discours en tant que représentations de la façon dont le CCAFS a soutenu l'élaboration de politiques à divers niveaux d'engagement, par opposition au simple examen des résultats " formels " des politiques signalés dans les mécanismes de surveillance ou les mesures d'impact universitaires.

    En mettant l'accent sur l'importance de traduire la science du climat en politiques concrètes, Google Trends, l'analyse des hyperliens, l'analyse de réseau et l'exploration de texte ont été appliqués dans un cadre intégré pour évaluer la centralité et l'influence du CCAFS dans l'interface science du climat-politique. Notre approche montre qu'il est possible de s'appuyer sur des méthodes axées sur les données pour évaluer les interactions et estimer l'influence. En tant que tel, le développement de cadres d'évaluation complets par les programmes de recherche climatique nécessite l'établissement d'indicateurs qui capturent l'influence d'un point de vue holistique, non seulement sur la base d'indicateurs traditionnels, mais aussi en relation avec la messagerie, la visibilité, l'échange de connaissances et l'engagement.

    Référence : 

    Carneiro B., Resce G., Läderach, P., Schapendonk, F., Pacillo, G. (2022) What is the importance of climate research? An innovative web-based approach to assess the influence and reach of climate research programs, Environmental Science & Policy, 133, https://doi.org/10.1016/j.envsci.2022.03.018

     

  • Chers tous, 

    C'est formidable de voir des contributions aussi riches et perspicaces. Il semble qu'il y ait un large consensus sur l'importance de l'utilisation de méthodes mixtes pour évaluer la science et s'appuyer sur le cadre de référence QoR4D. J'ai vraiment apprécié de lire vos opinions et ce que vous avez trouvé de difficile au cours de vos expériences. 

    Avec un jour supplémentaire pour la discussion (jusqu'à demain, 13 avril), nous espérons encore recevoir des contributions supplémentaires. Ce qui suit pourrait éclairer et guider ceux qui n'ont pas encore partagé leurs points de vue et leurs expériences, surtout en dehors du contexte du CGIAR.  

    Il y a un débat intéressant possible entre ce que les bailleurs de fonds peuvent trouver important à évaluer par rapport aux priorités des chercheurs du Sud. Je crois comprendre que les bailleurs de fonds sont largement intéressés par les résultats (produits, résultats, impacts) et que les critères d'évaluation du CAD de l'OCDE "impact" et "efficacité" sont particulièrement pertinents en termes de responsabilité et de transparence pour démontrer que l'argent des contribuables est utilisé à bon escient. Cependant, les chercheurs du Sud accordent la priorité à la nécessité que la recherche soit pertinente par rapport aux préoccupations actuelles, aux utilisateurs de la recherche et aux communautés dans lesquelles le changement est recherché. L'importance de la dimension de la pertinence a été soulignée dans plusieurs contributions et est principalement liée à l'importance, à la signification et à l'utilité des objectifs, des processus et des résultats de la recherche pour le contexte du problème et pour la société.  

    Comment mesurer la pertinence de manière à faire converger les besoins des chercheurs et des bailleurs de fonds du Sud ? En ce qui concerne les impacts, Raphael Nawrotzki mentionne que l'impact dans un domaine scientifique est toujours mesuré par le nombre de citations qu'un article ou un chapitre de livre reçoit.  

    La question à poser à l'auditoire est la suivante : "Comment l'impact au sein d'un domaine scientifique peut-il refléter l'importance d'un certain projet de recherche et son impact/contribution à la société dans laquelle le changement est recherché ?". Il semble y avoir un consensus sur l'importance de la composante "pertinence" et sur la relation entre les résultats de la recherche et la théorie du changement initiale, ainsi que sur le processus qui a été suivi pour son élaboration. Peut-on aligner cela sur la mesure de la "pertinence" d'une manière qui puisse également être considérée comme solide et crédible par les bailleurs de fonds ?  

    Et enfin, mais non des moindres, qu'en est-il de la pratique : "Avez-vous vu des pratiques de suivi, d'évaluation et d'apprentissage (MEL) qui pourraient faciliter les évaluations de la science, de la technologie et de l'innovation ?

    Nous attendons avec impatience de pouvoir échanger davantage afin de clore cette discussion et d'identifier les possibilités d'engagement ultérieur.  

    Cordialement, 

     

  • Un autre sujet de discussion intéressant et important. Les commentaires reçus jusqu'à présent restent pour la plupart confinés à la communauté universitaire/de recherche et n'atteignent pas le bénéficiaire final des résultats scientifiques. Pour le CIGAR, cela peut être critique car le CIGAR est considérablement isolé des bénéficiaires finaux prévus. En d'autres termes, les principaux clients du CIGAR sont les systèmes nationaux de recherche agricole (SNRA) du pays hôte, tandis que les bénéficiaires finaux sont une multitude de petits exploitants agricoles, généralement anonymes, qui sont encore éloignés des clients des SNRA du CGIAR. Il s'agit du programme national de vulgarisation agricole. Ces bénéficiaires finaux n'ont généralement pas d'accès direct aux résultats de la recherche et ne peuvent pas s'offrir les revues techniques mentionnées comme produit primaire de la recherche. 

    Ainsi, même si je pense que le CGIAR fait un excellent travail de recherche fondamentale, en particulier en ce qui concerne l'amélioration variétale pour de nombreux pays hôtes, je m'interroge sur l'efficacité avec laquelle les résultats peuvent être utilisés par les petits exploitants bénéficiaires finaux. Je pense que la plupart des améliorations variétales dans les pays en développement tels que ceux de l'Afrique sub-saharienne sont facilitées par des programmes de "collaboration" entre le centre CGIAR approprié et les SNRA hôtes. Cependant, la collaboration est soutenue par un financement externe à l'équipe du CGIAR pour couvrir les coûts de fonctionnement. Ainsi, il s'agit plus d'un effort du CGIAR que d'un effort entièrement collaboratif. Du point de vue opérationnel des petits exploitants, le programme d'amélioration variétale est l'intervention de recherche la plus efficace du CGIAR. La raison en est qu'il s'agit d'une simple substitution de ce que les petits exploitants font déjà, avec peu, voire pas du tout, de travail supplémentaire requis. Il peut y avoir des exigences logistiques importantes pour mettre à la disposition des petits exploitants des semences de variétés nouvellement homologuées, et la logistique peut être un obstacle majeur dans de nombreux pays hôtes.

    Le problème se pose lorsque l'on s'éloigne de l'effort d'amélioration variétale et que l'on travaille avec des innovations nécessitant une main-d'œuvre ou d'autres exigences opérationnelles plus élevées. C'est alors que les limites de la recherche sur les petites parcelles, la base de la plupart des analyses agronomiques, deviennent un problème. Bien que la recherche sur les petites parcelles permette de déterminer le potentiel physique d'une innovation dans la région où elle est entreprise et qu'elle puisse donner lieu à des articles de haute qualité bien appréciés par la communauté universitaire/de recherche, elle n'aborde pas les exigences opérationnelles, comme la main-d'œuvre, nécessaires pour étendre les résultats à une communauté de petits exploitants. Elle part simplement du principe que ce n'est pas un problème. Cependant, la main-d'œuvre peut être très limitée dans la plupart des communautés de petits exploitants, tout comme l'énergie alimentaire pour alimenter le travail. Combien de fois les innovations du CGIAR en matière de recherche sur l'amélioration non variétale demandent-elles plus de travail que ce que font actuellement les petits exploitants ? La question est de savoir qui, au sein de l'effort de collaboration du GCRAI pour aider les petits exploitants agricoles, est responsable de :

    • Déterminer les besoins en main d'œuvre pour étendre les résultats de la recherche sur les petites parcelles à l'ensemble de la ferme des petits exploitants.
    • Si cette main d'œuvre est disponible pour les petits producteurs, et
    • Si elle n'est pas disponible, quels sont les compromis rationnels que les agriculteurs font pour adapter les résultats de recherche de haute qualité à leur capacité opérationnelle limitée.

    Cela relève-t-il d'un vide administratif entre les agronomes ou autres bioscientifiques appliqués et les spécialistes des sciences sociales qui aident les communautés de petits exploitants ? Jusqu'à ce que ce problème soit reconnu et résolu, la recherche de haute qualité des centres du CGIAR sera-t-elle peu acceptée par les petits exploitants agricoles ? Il est très intéressant de noter que l'analyse de l'écart de rendement de Baker/Hurd, lancée à l'IRRI il y a environ 40 ans, n'a jamais abordé la question de la main-d'œuvre en tant que facteur majeur de l'analyse de l'écart de rendement. Je pense que cela ferait une grande différence et expliquerait en grande partie l'écart de rendement et le faible niveau d'acceptation des résultats de la recherche de qualité du CGIAR.

    Le problème est exacerbé par l'énergie alimentaire limitée dont disposent la plupart des petits exploitants agricoles, ce qui fait que la recherche et la vulgarisation tentent de contraindre les petits exploitants agricoles à faire jusqu'à deux fois plus d'efforts que les calories alimentaires disponibles. Il est intéressant de constater que nous reconnaissons que les petits exploitants agricoles sont pauvres et affamés, mais que nous ne considérons jamais cela comme un obstacle majeur à leur capacité à tirer parti de la recherche de qualité menée à leur intention. Il est également intéressant de constater qu'il existe très peu de données concrètes sur les calories dont disposent les petits exploitants pauvres et affamés, sans parler de la comparaison avec les 4000 kcal/jour nécessaires pour une journée complète de travail agronomique sur le terrain. Le peu de données disponibles montre généralement que les petits exploitants n'ont accès qu'à environ 2 000 à 2 500 kcal/jour, ce qui suffit à peine à couvrir les besoins métaboliques de base et ne laisse que peu d'énergie pour le travail sur le terrain, comme les 300 kcal/h nécessaires à la préparation manuelle de base du sol. Le résultat est de prolonger les périodes d'établissement des cultures contre le potentiel de rendement décroissant associé à un établissement tardif des cultures jusqu'à ce qu'il ne soit plus possible de répondre aux besoins de sécurité alimentaire de la famille. Cela limitera encore une fois sévèrement l'utilité de la recherche de haute qualité provenant des centres du CGIAR et des SNRA collaborateurs, pour une grande partie de la recherche agronomique, l'efficacité est sensible au temps.

    Il est fait mention du processus d'évaluation de la MEL. Il doit être examiné avec soin pour s'assurer qu'il s'agit d'un véritable processus d'évaluation qui guide les projets futurs afin de mieux servir les bénéficiaires avec des programmes plus efficaces et non d'un outil de propagande pour couvrir et promouvoir des programmes qui ont échoué comme cela semble souvent être le cas. Le problème réside à la fois dans les critères inclus ou exclus dans une évaluation de la MEL et dans l'utilisation d'une analyse globale par rapport à une analyse en pourcentage. Par exemple, combien de fois l'analyse MEL pour les programmes agronomiques inclut-elle le calendrier des opérations sur le terrain qui peuvent être très visibles et qui permettraient de détecter les contraintes de travail mentionnées ci-dessus, puis de guider les programmes pour faciliter l'accès des petits exploitants à la mécanisation contractuelle qui accélérerait l'établissement des cultures, améliorerait le calendrier, la conformité avec les recommandations de la recherche, les rendements, et renforcerait la sécurité alimentaire des familles ? Je ne l'ai jamais vu inclus. En regardant l'effort de l'USAID MEL sur la dépendance des organisations de producteurs pour aider les petits exploitants, lorsque vous faites une analyse globale, vous obtenez des chiffres très impressionnants qui ne mesurent que la masse du programme total, tout en disant peu ou rien sur l'efficacité ou l'appréciation de l'effort pour les bénéficiaires. Cependant, si vous convertissez les mêmes données en pourcentages tels que

    • Pourcentage de bénéficiaires potentiels participant activement,
    • pourcentage de la part de marché de la communauté,
    • pourcentage de vente latérale, ou
    • pourcentage d'augmentation du revenu familial,

    l'impact sur les individus et les communautés peut être insignifiant. Dans ce cas, la MEL représentera un peu de suivi, mais pas de véritable évaluation, et le seul apprentissage sera "comment tromper les contribuables souscripteurs". Cependant, une telle analyse MEL assure la poursuite et l'enracinement de programmes que les bénéficiaires évitent comme la peste noire ou peut-être dans le contexte actuel COVID-19. Ce serait vraiment un mauvais service à rendre aux bénéficiaires, tout en assurant à l'exécutant des opportunités futures.

    Permettez-moi d'étayer les préoccupations ci-dessus à l'aide de quelques pages Web du site Web sur l'agriculture des petits exploitants que je gère.

    https://smallholderagriculture.agsci.colostate.edu/

    Pour les limites opérationnelles et le bilan énergétique alimentaire :

    https://webdoc.agsci.colostate.edu/smallholderagriculture/OperationalFe…

    https://agsci.colostate.edu/smallholderagriculture/calorie-energy-balan…

    https://agsci.colostate.edu/smallholderagriculture/ethiopia-diet-analys…

    Pour la MEL

    https://agsci.colostate.edu/smallholderagriculture/mel-impressive-numbe…

    https://agsci.colostate.edu/smallholderagriculture/appeasement-reportin…

    https://agsci.colostate.edu/smallholderagriculture/perpetuating-coopera…

    https://agsci.colostate.edu/smallholderagriculture/request-for-informat…

    https://agsci.colostate.edu/smallholderagriculture/vulnerability-for-cl…

    Merci à vous

    Dick Tinsley

    Professeur émérite,

    Sciences du sol et des cultures

    Université d'État du Colorado

     

  • J'ai été directeur de la recherche du CGIAR sur les racines, les tubercules et les bananes jusqu'en décembre 2021 et j'ai participé à deux cycles d'examen des programmes de recherche du CGIAR (CRP) et en ai bénéficié. Je crois qu'il est vraiment essentiel de construire une culture d'évaluation plus forte au sein du CGIAR et d'apprendre de ce que nous faisons. 

    Pour faire écho à certaines contributions antérieures ci-dessous, pour une évaluation équilibrée, il est d'une importance vitale que le GCRAI maintienne son investissement dans les études de cas de résultats et en particulier dans les études d'impact. Ces dernières ont considérablement diminué ces dernières années dans le GCRAI et ne sont pas produites habituellement dans le cadre de projets de routine ou d'enquêtes de fin d'intervention, mais nécessitent des méthodes spécialisées et un financement spécifique. Sinon, il y a un risque avec les idées de la note technique que nous utilisions des méthodes de pointe et une précision accrue de l'analyse bibliométrique, ce dont nous disposons et qui continue toujours d'être produit, mais nous manquons l'image complète que ces autres études fournissent. Cela rappelle l'anecdote de quelqu'un qui cherche sous le lampadaire un objet qu'il a laissé tomber alors qu'en fait il est tombé ailleurs parce que c'est là que la lumière brille le plus fort.

    Il est également possible d'utiliser l'analyse des réseaux sociaux de publications, comme un outil d'analyse qualitative, pour explorer qui collabore pour publier et quel est leur contexte social et organisationnel, en complément de l'analyse bibliométrique, particulièrement pertinente pour la dimension de la légitimité. Une publication sur ce sujet est en préparation avec des experts en analyse des réseaux sociaux de l'Université de Floride.

     

  • Chers tous,

    merci beaucoup pour vos précieuses contributions. C'est un plaisir de les lire. J'aimerais également attirer votre attention sur un autre aspect de l'évaluation de la science, de la technologie et de l'innovation dans un contexte de développement, à savoir l'assimilation de la recherche réussie par le groupe cible de la recherche. À notre avis, ici à Syspons (www.syspons.com), c'est l'un des aspects les plus importants, car il s'agit en fait de l'une des voies permettant d'obtenir un impact sur le développement par le biais de la recherche. À cet égard, nous avons eu la chance de mener une évaluation d'impact thématique pour VLIR-UOS (https://www.vliruos.be) sur les voies d'accès à la recherche, principalement dans le domaine de l'agriculture. À cet égard, nous avons été en mesure de tester et de construire un modèle pour générer plus d'utilisation de la recherche dans les projets de recherche.

    Je suis heureux de partager le lien et de vous inviter à poursuivre les discussions : https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf .

    Meilleures salutations,

    Lennart

     

  • En tant que l'un des coauteurs de Science-Metrix de la note technique mentionnée dans la documentation de base de cette discussion, je voulais fournir un peu plus de contexte sur l'orientation générale que ma coauteure, Christina Zdawczyk, et moi-même avons donnée à ce cadre pour le déploiement de stratégies bibliométriques dans le cadre des évaluations de la qualité de service du GCRAI.

    Vous remarquerez peut-être que les indicateurs omniprésents que sont le nombre de publications et l'impact des citations n'ont reçu qu'une petite partie de notre attention dans cette note technique. L'une de nos intentions avec cette note était de montrer comment la bibliométrie offre maintenant des indicateurs pour une gamme beaucoup plus large de dimensions, y compris l'interdisciplinarité, l'égalité des sexes, la préimpression comme pratique de science ouverte, ou la prévalence de collaborations multinationales complexes.

    Autrement dit, l'utilisation de la bibliométrie comme indicateur de pertinence et de légitimité présente un potentiel (à notre avis, souvent inexploité). Simultanément, certaines des données bibliométriques que nous avons suggérées peuvent également être utilisées comme indicateurs de processus ou même d'entrée, au lieu de leur utilisation traditionnelle comme indicateurs d'efficacité de résultat. Par exemple, la bibliométrie peut être utilisée pour vérifier si les programmes de recherche transdisciplinaire contribuent effectivement à une intégration disciplinaire accrue dans la pratique quotidienne de la recherche, étant donné que les équipes de projet et les bailleurs de fonds sous-estiment souvent la complexité de ces propositions de recherche. En outre, un soutien spécifique est souvent nécessaire pour ces projets, à des niveaux qui sont rarement planifiés de manière adéquate (Schneider et al 2019). Sous réserve que les publications à suivre ne soient disponibles que plus tard dans le cycle de vie du projet, les résultats sur l'interdisciplinarité peuvent aider à moduler et à réajuster les programmes de recherche et les instruments de soutien associés à moyen terme.

    Comme vous pouvez le constater, notre point de vue consiste à utiliser les outils d'évaluation des programmes, y compris la bibliométrie, pour améliorer la gouvernance de la recherche et de l'innovation et les mécanismes de soutien aux équipes de projet, plutôt que pour classer les performances.

    J'espère que vous avez apprécié ou que vous apprécierez cette lecture.

    Etienne

    Analyste principal, Science-Metrix (Elsevier)  

     

    Reference

    Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.

     

  • Je partage quelques-unes de mes observations et apprentissages tirés de mes plus de 30 années en tant que praticien évaluateur du Sud global. (1) Ces vues font également écho à certaines des entrées, réflexions et blogs déjà publiés dans ce fil. Même si, en tant qu'évaluateurs ou commanditaires d'évaluations, nous pensons que les questions clés de l'évaluation doivent guider le choix des méthodes et des approches, en réalité, les choix d'évaluation (que nous le disions explicitement ou non) sont privilégiés. Ce privilège peut être dû au pouvoir de l'expertise, à la position ou aux ressources. Robert Chambers pose une question pertinente sur la réalité de "qui", qui décide, et dont le changement (2) est plus important que les autres. Répondre à l'une de ces questions nous amène à nous demander qui a le plus de pouvoir de décision - ce pouvoir peut être visible, invisible ou caché. Bien que l'importance de la qualité de la science, de l'innovation et de la technologie et de la rigueur des évaluations ne fasse aucun doute, on peut se demander si cette condition nécessaire est suffisante. Lorsque nous encadrons la discussion sur le fait que l'évaluation est un processus de transformation et l'importance d'accepter différentes visions du monde, nous reconnaissons également la valeur des connaissances indigènes et le besoin de décolonisation (3). Malheureusement, nous concevons souvent des évaluations à distance et, bien que nous puissions utiliser des méthodes et des outils participatifs, à moins que les résultats ne soient utilisés et appropriés par les gens, et en particulier ceux qui ont peu de voix, dans le programme, nous ne pouvons pas prétendre que les évaluations ont conduit au bien public ou ont été utilisées au profit de tous les peuples. La question centrale de cet argument est de savoir dans quelle mesure les valeurs jouent un rôle dans notre évaluation. Avec notre meilleure compréhension du racisme, des inégalités entre les sexes et des divers clivages sociaux, il serait difficile d'accepter la qualité de la science dépourvue de toute valeur liée aux droits de l'homme, à l'inclusion et à l'équité.

    La pensée féministe recommande des méthodes et des outils qui peuvent nuancer l'intersectionnalité de la vulnérabilité puisque les expériences vécues peuvent varier considérablement dans toute conception d'intervention en fonction du point de vue de chacun et des inégalités qui s'entrecroisent.  Il est possible qu'en mettant l'accent sur la qualité de service et l'innovation, on puisse répondre à ces préoccupations, mais il faut être particulièrement vigilant et peut-être qu'au lieu de se demander "Faisons-nous les choses correctement", il faut se demander "Faisons-nous les bonnes choses". On peut citer l'exemple ( 4 ) de l'Inde où les producteurs de mangues avaient perdu 40 % de leur production en transit, ce qui a obligé les scientifiques à introduire une série de nanomatériaux qui pouvaient être pulvérisés sur les fruits pour prolonger leur durée de conservation. Cet exemple montre qu'il s'agissait d'un défi sociétal urgent qui a fait l'objet d'un traitement accéléré, sans que la qualité de l'intervention en souffre nécessairement, mais en étant peut-être non conventionnel dans la rapidité et la manière dont les solutions ont été déployées. De plus, les solutions étaient spécifiques au contexte et soulignent que l'évaluation doit mesurer ce qu'il est important de mesurer pour les communautés et les peuples, plutôt que de présenter avec élégance des preuves qui pourraient ne pas être utilisées (5). Les chercheurs du Sud sont convaincus que la recherche doit être pertinente (les italiques sont de moi) par rapport aux préoccupations actuelles, aux utilisateurs de la recherche et aux communautés où le changement est recherché. (6) L'adoption et l'influence sont aussi importantes que la qualité de la recherche dans un contexte de développement.

    Même dans des forums apparemment ouverts comme l'Internet, où l'on est théoriquement libre de participer sans limites, la recherche et les innovations connexes ont montré comment, dans une société en réseau apparemment libre et ouverte, le pouvoir est lié à ceux qui contrôlent et utilisent les voies de communication et leurs produits. Ainsi, qui décide quelles informations et connaissances sont produites, partagées et utilisées et par qui ; et enfin, quelles valeurs sont représentées et ont un impact sur la nature des connaissances (artefacts) produites. L'accès n'est pas la même chose que la participation. L'accès fait particulièrement ou suggère la capacité d'utiliser.... fait référence à la capacité d'utiliser l'information et les ressources fournies. De même, on peut avoir accès aux ressources sans en avoir le contrôle, ce qui signifie que la participation est limitée, en particulier dans la prise de décision. Il est probable que ceux qui sont silencieux et qui ont le moins de privilèges peuvent en fait avoir une vision et des connaissances précieuses. Les femmes, en tant que porteuses traditionnelles des connaissances locales et indigènes, se retrouvent coupées de la société en réseau, où l'information, la communication et les connaissances sont des "biens échangeables" ( 7). En résumé, si nous ne sommes pas en mesure d'aborder les asymétries de pouvoir sous-jacentes, la rigueur de notre science, de notre recherche et de nos évaluations, bien que remplissant un objectif important, ne suffira pas à répondre aux exigences complexes de notre époque, à trouver des solutions à des problèmes insolubles et à ancrer fermement nos valeurs dans la justice sociale.  

    1. Zaveri, Sonal (2019), “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation https://bit.ly/3wX5pg8
    2. Chambers, R. (1997). Whose reality counts? Putting the first last. London: IT Publications. ------  (2017). Can we know better? Practical Action Publishing Ltd, Rugby
    3. Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian https://ideas-global.org/wp-content/uploads/2021/07/2021-IDEAS-book-Tra…
    4. Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018
    5. Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC)
    6. Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South https://www.idrc.ca/sites/default/files/2021-04/Perspectives-of-the-glo…
    7. Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press https://bit.ly/2RFEMw5
  • Chère Svetlana et l'équipe du CAS,

    Nous apprécions la Note technique "Analyse bibliométrique pour évaluer la qualité de la science dans le contexte d'un seul CGIAR" (Note technique du CAS). Au Fonds international pour la recherche agricole (FIA) de la GIZ, nous avons récemment commandé une étude bibliométrique à Science Metrix (voir Evans, 2021) et nous nous félicitons de la valeur croissante que le système du CGIAR accorde à une évaluation rigoureuse de la qualité scientifique de ses recherches. Nous considérons la qualité scientifique comme un prérequis nécessaire sur la voie de l'impact sur le développement, car les innovations sont d'abord développées et testées par les scientifiques du CGIAR. Dans les paragraphes suivants, nous aimerions répondre à vos questions du point de vue des donateurs.

    1. Selon vous, quels sont les défis à relever pour évaluer la qualité de la science et de la recherche?

    En tant que bailleurs de fonds, nous attendons que les projets de recherche que nous commanditons effectuent leur travail conformément aux 4 éléments clés de la qualité de la recherche pour le développement (QoR4D), à savoir 1) la pertinence, 2) la crédibilité scientifique, 3) la légitimité, 4) l'efficacité. Cependant, ces critères s'appliquent principalement au processus de "faire" de la recherche et de la science. Toutefois, nous sommes également intéressés par les résultats (produits, résultats, impacts). Si nous parlons de la qualité de la science, nous trouvons les analyses bibliométriques très utiles pour déterminer l'impact scientifique de nos travaux financés dans les domaines scientifiques pertinents. Et l'impact dans un domaine scientifique se mesure toujours mieux par le nombre de citations que reçoit un article ou un chapitre de livre. Dans le domaine des sciences, les publications évaluées par les pairs (et les citations que les articles reçoivent) sont considérées comme l'"étalon-or" en termes d'impact. Pourtant, la mesure de l'impact scientifique présente certaines difficultés :

    Les longues périodes de temps. Un grand défi, que le rapport SOAR 2020 (Alston et al. 2020) a souligné, est que "la recherche agricole est une magie lente" - il peut falloir des décennies pour que les résultats des investissements dans la recherche agricole deviennent visibles, mais les décideurs ont besoin de démontrer les résultats rapidement et d'évaluer le retour sur investissement du projet à l'avenir pour justifier une augmentation du financement. Comme nous l'a également appris la note technique du CAS, une mesure solide de l'impact scientifique en termes de bibliométrie n'est possible qu'environ 5 ans après la fin d'un projet ou d'un portefeuille de recherche. Le cycle d'examen par les pairs, les exigences des revues individuelles et le statut des citations, qui reflète souvent le nombre de lecteurs, signifient qu'il faut du temps avant que l'impact devienne évident, surtout si le travail est nouveau ou très innovant. Ce long horizon temporel pose des problèmes, car nous ne pouvons pas utiliser ces informations directement pour la programmation.

    Altmetrics. Nous comprenons parfaitement que la bibliométrie est une mesure imparfaite du véritable impact scientifique. Certaines recherches peuvent avoir une grande influence et atteindre un large public via des canaux alternatifs tels que Twitter, les blogs ou la littérature grise. Cela est pris en compte dans les mesures altermétriques, mais il est difficile de combiner la bibliométrie et les mesures altermétriques pour obtenir une image complète de l'impact scientifique.

    Le rapport coût-efficacité. Comme le souligne Science Metrix, et en particulier pour les articles ayant des co-auteurs externes, la fraction du soutien attribuable à chaque source de financement n'est pas facile à déterminer. Les donateurs sont souvent intéressés à "suivre l'argent", mais en mesurant la qualité de la science, l'investissement direct n'est pas si facilement attribuable aux résultats et les impacts à plus long terme de l'application et de la mise à l'échelle des contributions scientifiques publiées finissent par apporter le véritable "retour sur investissement". Dans notre propre étude sur la qualité scientifique (voir Evans 2021), nous avons également évalué l'efficacité en termes de coûts-avantages. Plus précisément, nous avons évalué le nombre de publications par million d'euros investis. Nous avons ensuite comparé le rapport coût-efficacité de nos projets de recherche financés à celui de projets comparables financés par l'UE et avons découvert que nos projets de recherche étaient plus efficaces. Cependant, le calcul de ces mesures de rentabilité comporte de nombreuses limites. Nous avons toutefois été heureux de constater qu'un tel indicateur est également proposé comme "indicateur prioritaire de niveau 2" (E10) suggéré dans la note technique du CAS.

    1a.  Quels critères d'évaluation avez-vous utilisés ou jugez-vous les meilleurs pour évaluer des interventions impliquant le nexus sciences, recherche, innovation et développement? Pourquoi?

    Accent sur l'impact. Dans notre évaluation de la qualité de la science, nous nous sommes concentrés sur les critères d'évaluation du CAD de l'OCDE, à savoir "l'impact" (quels sont les résultats de la recherche ? Quelle est sa contribution ?) et, dans une moindre mesure, "l'efficacité" (dans quelle mesure les ressources ont-elles été utilisées, quels sont les résultats obtenus par rapport au montant dépensé ?) Les deux critères d'évaluation, l'impact et l'efficacité, revêtent une importance particulière pour nous, en tant que financeurs, en termes de responsabilité et de transparence, afin de démontrer que l'argent des contributeurs est utilisé à bon escient.

    Dans notre évaluation (voir Evans 2021), Science Metrix s'est surtout concentré sur les indicateurs bibliométriques, en comparant les publications de nos projets financés avec celles d'autres recherches agricoles internationales (en dehors du système CGIAR). La contribution aux ODD, basée sur la recherche de mots clés et l'analyse du contenu, faisait également partie de l'analyse, afin de saisir la mesure dans laquelle les questions transversales telles que le genre, les droits de l'homme, la durabilité, la résilience ainsi que l'atténuation et l'adaptation au changement climatique étaient abordées dans les publications évaluées par les pairs. La plupart des indicateurs bibliométriques ont cherché à évaluer l'impact des publications, via des indicateurs tels que la moyenne des citations relatives (ARC), les publications hautement citées (HCP) et l'indice de distribution des citations (CDI).

    1b. Un critère d'évaluation désigné de la qualité de la science (QoS) pourrait-il aider à saisir les aspects scientifiques utilisés dans la recherche et le développement ?

    Oui, en effet, un critère d'évaluation de la qualité de la science (QoS) tel que décrit dans la note technique de l'ISDC "Qualité de la recherche pour le développement dans le contexte du CGIAR" peut être très approprié pour évaluer la recherche dans le cadre du CGIAR. Reflétant l'avantage comparatif et l'objectif principal du GCRAI, la qualité de la science, et pas seulement les indicateurs de développement, souvent en dehors de la sphère d'influence, et du mandat, des instituts de recherche, devraient être reflétés dans les évaluations. Les sous-composantes du critère d'évaluation QoS (Pertinence, Crédibilité scientifique, Légitimité, Efficacité) sont importantes pour mesurer la qualité de "faire de la science". Néanmoins, nous tenons à souligner qu'un tel critère devrait toujours être accompagné d'une évaluation des critères d'impact et d'efficacité du CAD de l'OCDE afin de saisir non seulement le "faire" mais aussi les "résultats" de l'entreprise de recherche pour le développement.

    2. Quelles sont les méthodes et les indicateurs qui pourraient fonctionner dans l'évaluation de la science et de la recherche ?

    QoS. L'évaluation du critère d'évaluation de la qualité de la science (QoS) et de ses sous-composantes (Pertinence, Crédibilité scientifique, Légitimité, Efficacité) nécessite une approche de méthodes mixtes. Comme cela a été fait dans les évaluations des programmes de recherche du CGIAR (CRP), l'accent sera mis sur les intrants (composition du personnel de recherche, collaborations, argent, infrastructure de gestion, politiques, etc.) Les méthodes de recherche qualitative seront les plus appropriées lorsqu'il s'agira d'évaluer la pertinence d'une certaine question de recherche ou si le processus de recherche est perçu comme équitable et éthique. Cela peut nécessiter de mener des entretiens avec les principales parties prenantes et/ou de réaliser des enquêtes pour recueillir des informations et des idées sur les conditions favorables et les obstacles à un impact efficace et durable.

    IS. En revanche, l'évaluation de l'impact scientifique (IS) nécessitera le recours à une analyse quantitative utilisant des méthodes et des mesures bibliométriques sophistiquées, telles que décrites par Science Metrix dans la note technique du CAS. Nous considérons tous les " indicateurs prioritaires de niveau 1 " (Note technique du CAS, tableau 6) comme des indicateurs d'impact scientifique très pertinents qui, nous l'espérons, seront calculés lors de l'évaluation de l'impact scientifique de la série actuelle d'initiatives OneCGIAR.

    3. Avez-vous observé des pratiques de suivi, d'évaluation et d'apprentissage (SEA) qui pourraient faciliter les évaluations de la science, de la technologie et de l'innovation ?

    Le suivi continu de la qualité de la science (QoS) et de l'impact scientifique (SI) sera difficile. De notre point de vue, les deux critères doivent être évalués à l'aide d'un format d'évaluation (étude à un certain moment). Notre propre étude sur la qualité scientifique (voir Evans 2021) est un exemple de la manière dont le SI pourrait être évalué à l'aide de méthodes et de mesures bibliométriques rigoureuses. Cependant, l'objectif de notre étude de qualité scientifique était d'examiner la portée et l'impact de nos travaux de recherche financés sur le domaine scientifique de l'agriculture de développement. L'étude a servi à des fins de responsabilité et de transparence. Nous n'avons pas utilisé les résultats pour la dimension "L" (learning - apprentissage) de la MEL. Une véritable étude qualitative ou de méthodes mixtes de QoS serait plus naturelle lorsque l'objectif est de tirer des leçons qui peuvent être utilisées à des fins de gestion adaptative et de pilotage. Les évaluations des programmes de recherche du CGIAR (CRP) fournissent un bon exemple de la manière dont les résultats d'une évaluation pourraient être utilisés pour améliorer la "pratique de la science".

    Cordialement,

    Raphael Nawrotzki et Hanna Ewell (Unité M&E, FIA, GIZ)

     

    References:

    Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/

    Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun

  • Rassembler des preuves provenant d'évaluations qui ont couvert - en partie ou exclusivement - la qualité de la science (QoS) peut être un moyen efficace de façonner des changements dans l'agenda du développement. La synthèse des preuves est une méthode fiable mais certainement pas simple à mettre en œuvre étant donné la variété des preuves que l'on peut trouver, les critères d'évaluation, les approches, les centres d'intérêt, les contextes, etc.

    Le thème de la qualité de la science était l'un des principaux sujets couverts par l'analyse dans le cadre de la synthèse de l'apprentissage d'une décennie de programmes de recherche du CGIAR (2021). L'un des défis auxquels l'équipe de synthèse a été confrontée était de trouver le cadre analytique spécifique qui reflétait le mieux la variété des preuves provenant des deux phases de mise en œuvre des programmes de recherche du CGIAR (CRP) : 2011-2016 et 2017-2019 et d'atteindre les objectifs de la synthèse.

    Pour expliquer davantage, nous devions trouver comment l'information devait être catégorisée et servir de référence pour indiquer le centre d'intérêt, les échelles, les concepts et les termes et définitions connexes en fonction des objectifs initiaux de la synthèse et de la cartographie des analyses formant la base du corpus de 43 documents de la synthèse. Les niveaux d'enquête liés à la qualité de service ont été convertis en deux questions principales et quatre sous-thèmes.

    Les deux questions principales pour le thème de la Qualité de la Science (QoS) et de la Qualité de la Recherche pour le Développement (QoR4D) sont :

    1. Comment la QoS a-t-elle évolué entre deux phases de programmes de recherche du CGIAR (CRP) selon trois dimensions - intrants, extrants et processus ?
    2. Dans quelle mesure la QoS a-t-elle évolué selon deux des quatre éléments de QoR4D - légitimité et crédibilité ?

    Les résultats ont été structurés autour de quatre sous-thèmes : (1) QoS : Intrants de la recherche (2) QoS : Qualité des résultats de la recherche (3) QoS : Gestion/processus de la recherche et, (4) éléments de QoR4D : légitimité et crédibilité. Parallèlement à ces thèmes, une série de thèmes transversaux ont été abordés : le genre, le changement climatique/environnement, le renforcement des capacités, les partenariats externes et la jeunesse.

    Quatre questions clés ont été abordées dans l'analyse des résultats : (1) les modèles et les tendances entre les deux phases des programmes de recherche du CGIAR (CRP) liés à la qualité de la science (QoS) et de la recherche pour le développement, la réalisation des résultats du développement durable, et la gestion et la gouvernance ; (2) les questions à l'échelle du système affectant les réalisations des programmes de recherche du CGIAR (CRP) ; (3) les recommandations pour l'orientation future de la recherche et de l'innovation du CGIAR ; et (4) les principales lacunes en matière de preuves et les besoins pour les évaluations futures.

    Une approche de synthèse narrative a été utilisée pour résumer et analyser l'Apprentissage d'une décennie de programmes de recherche du CGIAR, en utilisant des données de source secondaire provenant de 47 évaluations et revues existantes. Les évaluations externes ont été systématiquement codées et analysées à l'aide d'un cadre analytique standardisé. Une analyse des tendances bibliométriques a été réalisée pour le thème QoS, et les résultats ont été triangulés par rapport à des synthèses antérieures et validés par les membres du Conseil indépendant pour la science au service du développement (ISDC), les responsables des programmes de recherche du CGIAR (CRP) et des pairs experts.

     

  • Opérationnalisation du critère de qualité de la science dans les revues des programmes de recherche (CRP) du CGIAR en 2020

    Les revues des programmes de recherche (CRP) 2020 se sont concentrées sur trois critères : Qualité de la science, Efficacité (au sens de l'OCDE-CAD), et Orientation vers l'avenir/Durabilité.

    Pour l'évaluation du critère Qualité de la science, deux elements ont été adoptés : la crédibilité scientifique et la légitimité, qui sont deux des quatre éléments constituant le cadre de qualité de la recherche pour le développement (Qo4RD) développé par le Conseil indépendant pour la science et le partenariat (ISPC) en 2017 et successivement rafraîchi par le Conseil indépendant pour la science au service du développement (ISDC). Les quatre éléments qui constituent le cadre QoR4D étant la pertinence, la crédibilité scientifique, la légitimité et l'efficacité, ils constituent aujourd'hui la base d'un cadre de référence commun à l'ensemble du CGIAR.

    La crédibilité scientifique exige que les résultats de la recherche soient robustes et que les sources de connaissances soient fiables et solides. Elle comprend une démonstration claire de la précision des données utilisées, de l'adéquation des méthodes utilisées pour obtenir les données et de la présentation claire et de l'interprétation logique des résultats. Elle reconnaît l'importance des bonnes pratiques scientifiques, telles que l'examen par les pairs.

    Dans les revues du CRP 2020, l'évaluation de la crédibilité scientifique a porté sur les résultats, principalement les résultats publiés, le matériel génétique, les outils numériques et les rapports techniques, ainsi que sur le leadership, le personnel de recherche, les processus et les mesures incitatives permettant d'atteindre et de maintenir la crédibilité scientifique élevée de ces résultats. L'analyse bibliométrique quantitative a été pleinement intégrée à l'analyse qualitative de ces autres éléments.

    L'évaluation de la crédibilité scientifique comprenait également, entre autres, les antécédents des équipes de recherche, l'utilisation de la documentation et des méthodes de recherche de pointe, et la nouveauté.

    La légitimité signifie que le processus de recherche est équitable et éthique et qu'il est perçu comme tel. Cette caractéristique englobe la représentation éthique et équitable de toutes les parties concernées et la prise en compte des intérêts et des perspectives des utilisateurs visés. Elle suggère la transparence, la gestion saine des conflits d'intérêts potentiels, la reconnaissance des responsabilités qui vont de pair avec le financement public, la participation réelle des partenaires à la co-conception et la reconnaissance des contributions des partenaires. Les partenariats sont fondés sur la confiance et l'engagement mutuel à fournir les résultats convenus.

    Dans les examens des CRP 2020, l'évaluation de la légitimité s'est concentrée sur l'analyse de la manière dont les partenariats des CRP étaient effectivement construits et fonctionnaient sur la base d'une compréhension, d'une confiance et d'un engagement mutuels, avec une reconnaissance claire de la perspective, des besoins, du rôle et de la contribution de chacun. Des partenariats robustes et multipartites devraient être de bons indicateurs pour évaluer la légitimité de la recherche. Les évaluations de l'équité et des aspects éthiques de la mise en œuvre de la recherche sont des caractéristiques standard des examens.

    Les revues du CRP 2020 ont démontré qu'en adoptant une approche à méthodes mixtes, il est possible d'évaluer la qualité de la science en utilisant une analyse bibliométrique quantitative rigoureuse en combinaison avec l'évaluation qualitative de nombreux autres éléments importants des initiatives de recherche pour le développement.

  • Évaluation de la qualité de la recherche pour le développement

    Ayant participé à la revue et à l'évaluation de projets et de programmes de recherche agricole pour le développement pendant plusieurs décennies, j'aimerais partager quelques observations.

    Valeur de la bibliométrie et de l'altmetrics (mesures alternatives)

    Malgré la critique négative dont la bibliométrie fait l'objet dans la littérature actuelle, elle joue un rôle important dans l'évaluation de la qualité des articles publiés sur la recherche agricole pour le développement. Les articles publiés ont déjà franchi un seuil de qualité élevé car ils ont été examinés par des scientifiques expérimentés. La plupart des revues internationales ont des taux de rejet de plus de 90 % - seuls les articles de la plus haute qualité sont publiés.  La bibliométrie permet d'évaluer plus précisément la qualité grâce au nombre de citations, au facteur d'impact (FI) des revues, au classement par quartile et aux indices h des auteurs, entre autres données bibliométriques. Les citations et les indices h reflètent la qualité de la recherche publiée au sein de la communauté scientifique. Les indices « altmetrics » démontrent l'intérêt porté à l'article par le groupe de pairs des auteurs. La récente publication de Runzel et al (2021) illustre clairement comment des combinaisons de bibliométrie et des mesures alternatives « altmetrics » peuvent être utilisées avec succès pour évaluer la qualité de près de 5000 articles publiés par les programmes de recherche du CGIAR pendant la période 2017-2020. La Note technique - Analyse bibliométrique pour évaluer la qualité de la science dans le contexte du One CGIAR élargit considérablement le nombre de bibliométries potentielles qui pourraient être utilisées pour évaluer la qualité.

    Existe-t-il des alternatives aux citations et à l'IF ? Les géants de l'édition scientifique tels qu'Elsevier utilisent les citations et les IF pour contrôler la qualité de leurs revues. Un FI plus élevé se traduit par une augmentation des ventes d'abonnements aux revues. Comme ces sociétés possèdent la plupart des revues scientifiques, toute alternative devrait être approuvée par elles - ce qui est peu probable car elles semblent se satisfaire du statu quo. Actuellement, il ne semble pas y avoir d'alternatives reconnues. Un article récent de Slafer et Savin (2020) indique que la qualité d'une revue (IF) comme indicateur de l'impact probable d'un article est acceptable lorsque l'évaluation porte sur les articles récemment publiés.

    Importance des indicateurs qualitatifs

    Les indicateurs qualitatifs de la qualité de la recherche sont tout aussi importants que la bibliométrie et les autres indicateurs quantitatifs et devraient toujours être utilisés parallèlement à la bibliométrie. Les évaluations 2020 des programmes de recherche du CGIAR (https://cas.cgiar.org/publications) ont effectivement utilisé une gamme d'indicateurs qualitatifs pour évaluer les intrants, les processus et les extrants sous l'égide du cadre de qualité de la recherche pour le développement en utilisant les éléments d'évaluation : pertinence, crédibilité, légitimité et efficacité.

    Le CRDI a récemment révisé son évaluation de la qualité de la recherche - fermement ancrée dans l'évaluation qualitative - pour évaluer plus efficacement la qualité dans un contexte de développement (CRDI, 2017). Il est intéressant de noter le passage à des indicateurs qui examinent le positionnement pour l'utilisation. Le CRDI a utilisé avec succès l'instrument RQ+ pour évaluer 170 études de recherche (McClean et Sen, 2019). 

    La subjectivité dans l'évaluation qualitative ne peut pas être éliminée mais elle peut être réduite en employant une équipe d'évaluateurs et en définissant mieux les critères, les indicateurs et les descriptions. 

    Les scientifiques soulèvent souvent le fait qu'ils sont plus intéressés par l'impact de leur recherche que par son évaluation qualitative. L'évaluation de l'efficacité dans le contexte du positionnement pour l'utilisation permet d'évaluer l'impact potentiel par le biais d'indicateurs tels que l'engagement des parties prenantes, l'intégration du genre, la mise en réseau et les liens avec les décideurs politiques.

    Intégrer des indicateurs quantitatifs (y compris bibliométriques) et qualitatifs

    Le développement et l'affinement continus des indicateurs quantitatifs et qualitatifs offrent la possibilité de les intégrer pour fournir une évaluation plus complète de la qualité de la recherche pour le financement du développement. Il s'agit d'un domaine passionnant pour les évaluations futures.

    Références

    IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. <https://www.idrc.ca/sites/default/files/sp/Documents%20EN/idrc_rq_asses…;

    McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.

    Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.

    Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.

     

    Jill Lenné

    Editor in Chief, Outlook on Agriculture and Independent Consultant

  • Les indicateurs altmetrics et bibliométriques constituent une bonne mesure quantitative pour évaluer l'impact scientifique, mais, pris individuellement, ils sont loin d'être suffisants pour mesurer la qualité de la science.  Pour ce faire, un ensemble beaucoup plus complet de critères et d'indicateurs est nécessaire. 

    La recherche scientifique doit être utilisée et, en fin de compte, faire une différence dans nos vies.  La recherche "simpliste" (aussi dit "blue skies research'' en anglais) a sa place dans les universités, mais il existe suffisamment de problèmes concrets à traiter pour que la recherche pour le développement financée par des fonds publics se concentre sur des solutions qui feront la différence.  Dans un contexte de recherche pour le développement, une interprétation étroite de la qualité de la science ne suffit pas. 

    Belcher, Ramsmussen, Kemshaw et Zornews (2016) ont proposé un vaste ensemble de critères d'évaluation de la qualité de la recherche pour le développement (QoR4D) qui sont regroupés en quatre sous-catégories.  Celles-ci comprennent :

    1.    Pertinence par rapport au contexte du problème 2.    La crédibilité de la science 3.    La légitimité du processus de recherche 4.    Le positionnement de la recherche pour l'utilisation

    Les critères associés à ces sous-catégories sont difficiles à quantifier et obligent inévitablement l'évaluateur à porter des jugements subjectifs.  Par exemple, pour qu'une recherche soit considérée comme légitime, un critère est qu'elle offre des opportunités authentiques d'impliquer les parties prenantes pour qu'elles partagent leurs perspectives et leurs connaissances au cours du processus de recherche.  Transformer ce critère en un indicateur quantitatif sera difficile dans la plupart des cas.   Malgré les défis que représente l'opérationnalisation d'un cadre de qualité de service largement défini, une approche comme (ou similaire à) Belcher et al. est probablement le seul moyen d'évaluer si la recherche scientifique est d'une qualité suffisamment élevée pour justifier des dépenses publiques et un soutien continu. 

    Si les indicateurs altimétriques et bibliométriques suffisaient à mesurer la QoS, le rôle d'un évaluateur serait assez simple.  Mais si nous voulons évaluer le lien entre la science, la recherche et le développement, un ensemble plus large de critères et d'indicateurs est nécessaire.  En définitive, cela signifie qu'il faut faire confiance aux évaluateurs pour porter des jugements qualitatifs fondés sur des critères établis (comme ceux du cadre QoR4D) et étayés par un ensemble de preuves convaincantes.

     

  • La nécessité d'évaluer la science, la technologie et l'innovation dans un contexte de développement

    L'importance de la science, de l'innovation et de la recherche pour appuyer les efforts globaux vers un développement plus durable et respectueux du climat est croissante. Il existe un besoin urgent d'une science pertinente, d'une recherche de qualité et d'innovations révolutionnaires, car le monde est confronté à des défis et à des crises nouveaux et sans précédent. L'évaluation de la qualité de la science et de la recherche est essentielle pour déterminer l'utilité et l'efficacité des activités de science, d'innovation et de recherche.  Les résultats de l'évaluation devraient aider les décideurs à déterminer les domaines prioritaires importants à approfondir et faciliter la prise de décision concernant les allocations de ressources pour les futures activités de recherche.

    Principales contraintes

    L'évaluation de la science et de la recherche est cependant assez compliquée et fait face à de nombreux défis méthodologiques. Par exemple, l'évaluation de la pertinence et de l'importance des produits scientifiques ou de recherche repose principalement sur l'utilisation de méthodes bibliométriques. Il s'agit d'une méthode quantitative qui peut en fait produire des résultats solides fondés sur des preuves, mais son utilisation est limitée par des contraintes majeures.  Par exemple, les produits de la science, de l'innovation et de la recherche ne sont pas tous inclus et correctement enregistrés dans les bases de données bibliographiques, ou ne sont même pas publiés, et ne peuvent donc pas tous être évalués.

    Les méthodes bibliométriques sont souvent basées sur le calcul du nombre moyen de citations, ce qui présente également la base de certains biais. Par exemple, on accorde parfois une attention exagérée à un auteur particulier, connu pour des travaux antérieurs dans un domaine spécifique ou affilié à des institutions bénéficiant d'un fort soutien politique ou financier. En termes de citations, certains auteurs peuvent également exclure délibérément certains matériaux de référence de leurs publications. Dès lors, chaque fois que l'analyse des données bibliométriques est utilisée, elle doit l'être avec prudence et doit être combinée à l'utilisation d'autres méthodes pour des raisons de validité.

    L'autre limite majeure est que, dans le monde complexe de la science et de l'innovation d'aujourd'hui, il existe diverses normes ou critères d'évaluation de la qualité de la recherche, de la science et de l'innovation dans diverses parties du monde, et dans diverses parties de la science et de l'innovation.

    L'évaluation des produits de la science et de la recherche peut également être biaisée en raison des différences d'affiliation politique, de croyances, de perceptions culturelles ou religieuses de ceux qui réalisent ces évaluations.

    Considérations clés

    Ce volet de la fonction d'évaluation étant encore en pleine évolution, il existe quelques considérations clés à prendre en compte pour entreprendre une évaluation pertinente, ou pour développer des outils et des méthodes d'évaluation appropriés.

    Évaluation de la pertinence/importance de la science et de la recherche.

    L'évaluation de la pertinence ou de l'importance des produits de la science, de l'innovation et de la recherche doit tenir compte du contexte dans lequel ces produits doivent être utilisés. Ce qui fonctionne dans un contexte peut ne pas convenir à un autre, et ce qui constitue l'innovation et la science de pointe varie considérablement en fonction de l'utilisation prévue ou des utilisateurs.

    Évaluation de l'efficacité (ou de la qualité)

    Pour évaluer l'efficacité de la recherche et de l'analyse scientifique, il est essentiel d'évaluer l'"influence" de ces activités, ou la mesure dans laquelle la science, l'innovation et les produits de la recherche ont influencé les politiques, les approches ou les processus.  

    Évaluer le degré de "mise en réseau", c'est-à-dire la mesure dans laquelle les chercheurs et les institutions scientifiques ont interagi avec toutes les parties prenantes concernées, y compris celles qui pouvaient avoir une position "négative" ou opposée au thème/sujet de recherche.

    Évaluer la nature transformationnelle

    Dans le monde d'aujourd'hui, le critère le plus important pour évaluer la pertinence, l'utilisation et l'efficacité de la science, de l'innovation et des activités de recherche est peut-être de savoir si ces activités provoquent un véritable changement transformationnel ou, du moins, si elles déclenchent un discours politique important sur l'évolution vers un tel changement transformationnel.

    Les textes ci-dessus sont des suggestions à prendre en considération, qui visent à stimuler un retour d'information supplémentaire sur cette importante discussion.

    Bien à vous,

    Serdar Bayryyev

    Senior Evaluation Officer