Svetlana I Negroustoueva

Svetlana I Negroustoueva

Lead, Evaluation Function
CGIAR
Italie

Svetlana Negroustoueva, the CGIAR CAS Evaluation Senior Manager, leads technical and operational support to develop and execute the CGIAR’s multi-year independent evaluation plan. Svetlana is a PMP Certified professional with over 15 years of experience designing and conducting evaluations, assessments, monitoring and research activities, include quantitative and qualitative data collection and analyses. She works at the intersection of sustainable landscapes, energy, health, food security and social inclusion, for projects across funders and implementing entities. She has served at African Development Bank, World Bank, the GEF and Climate Investment Funds in positions concerned with independent and demand-driven evaluations. Furthermore, Svetlana has been an independent evaluator herself, leading and participating in evaluation teams for a variety of clients during consultancy assignments. Svetlana has made her mark in many ways, and notably in the domain of gender and evaluation; she is the co-chair of EvalGender+, the global partnership to promote the demand, supply and use of Equity Focused and Gender Responsive Evaluations. Svetlana is a Russian and US national, and holds a Master’s degree in Public Affairs from the University of Texas at Austin in the US, and Advanced BA in Public Administration and Social Research from Lomonosov Moscow State University (MSU).

My contributions

  • How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italie

      Chers collègues, 

      Nous apprécions le défi que représente ce sujet, sur la base des lignes directrices (qui ne font que 25 pages) et en tenant compte de la section FAQ. 

      Vous pouvez limiter vos commentaires à l'une des questions ci-dessus. 

      Afin d'encourager la réflexion, nous vous proposons quelques documents de référence supplémentaires issus de l'atelier (en anglais): 

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italie

      Merci à tous les participants, qui découvraient ou qui connaissaient déjà les Lignes directrices ou du moins les divers produits de connaissance associés. Voici le résumé de la discussion présenté autour des principaux thèmes.

      Réflexions sur les Lignes directrices: contenu

      En général, la majorité des participants a convenu que les nouvelles Lignes directrices offrent des solutions pour évaluer la qualité de la science dans le contexte de la recherche pour le développement (R4D). Les termes utilisés par les participants pour les définir ont été notamment: bien étudiées, utiles, claires, adaptables et flexibles. Deux participants ont mis l'accent sur l'importance d'être flexible pour trouver un juste milieu et appliquer les Lignes directrices aux autres organisations. Un autre participant a apprécié les Lignes directrices en ce qu'elles offrent un cadre conceptuel intéressant, un guide flexible et un ensemble de méthodes et questions qui seraient également utiles dans d'autres contextes d'évaluation.

      La valeur d'un critère d'évaluation désigné pour la qualité de la science 

      Les participants se sont également accordés sur le fait que les quatre dimensions de l'évaluation de la qualité de la science (conception, intrant, processus et produit) étaient claires et utiles avec des indicateurs bien définis, en particulier en cas d'utilisation d'approche fondée sur des méthodes mixtes. Un participant a noté que ces dimensions traduisent une manière plus exploratoire et moins standardisée de mener des évaluations sur les nexus R4D, ce qui enrichit et approfondit l'enquête d'évaluation. Un autre participant a mis l'accent sur l'instauration et le renforcement des partenariats dans le cadre de la dimension relative au «processus». Une autre participante était pour sa part enthousiaste à l'idée d'utiliser ce cadre pour concevoir un système d'évaluation sur mesure dans son département. En outre, les trois questions d'évaluation principales préconisées pour évaluer la qualité de la science ont été jugées appropriées pour les projets de R4D.

      Dans le cadre de l'évaluation en cours de la plateforme GENDER (du CGIAR), un participant a noté l'utilité des Lignes directrices comme boîte à outils dans le contexte de la recherche agricole pour le développement (AR4D) afin de situer la qualité de la science lors de l'évaluation des questions principales en suivant les cinq critères d'évaluation du CAD (de l'OCDE) – pertinence, efficacité, efficience, cohérence et durabilité. L'une des leçons essentielles que l'équipe de l'évaluation a tirée lors de l'application des Lignes directrices est que ces dernières couvrent les deux perspectives de l'évaluateur et du chercheur, avec des experts en la matière, afin de décomposer les questions centrales d'évaluation réparties autour des quatre dimensions de l'évaluation de la qualité de la science.

      Plusieurs participants ont demandé des éclaircissements quant à l'utilité des Lignes directrices pour évaluer des projets de développement. Les Lignes directrices ont été développées pour évaluer la recherche pour le développement dans le contexte d'une recherche conçue conjointement et développée en partenariat avec des acteurs de développement qui seraient ensuite en mesure d'adapter les innovations pour un impact en termes de développement. Bien qu'elles aient été modelées sur des interventions de R4D, nous considérons que les Lignes directrices sont suffisamment flexibles pour être adaptées aux évaluations des projets de développement comprenant des composantes liées à la recherche et à la science – les quatre dimensions visant à évaluer la qualité de la science permettraient de les mettre en évidence. Un récent atelier de travail du CGIAR a porté sur l'application rétroactive des Lignes directrices pour l'évaluation des interventions de développement à travers deux études de cas spécifiques: AVACLIM, un projet mis en œuvre par la FAO et le projet Feed-the-Future AVCD-Kenya réalisé par l'ILRI. Les deux études de cas ont démontré la large application possible des Lignes directrices.

      Plusieurs participants ont également insisté sur l'importance de l'évaluation de l'impact. Alors que le champ d'étude de la Fonction indépendante d'évaluation du CGIAR ne permet pas d'évaluer l'impact, les Lignes directrices envisagent la possibilité d'évaluer l'impact (voir figure 6) en relation avec les ODD ou au-delà. De manière similaire, dans d'autres contextes et organisations, des possibilités plus larges peuvent exister pour intégrer l'accent mis sur les impacts. Les nouvelles Lignes directrices pourraient être déployées dans un délai de 3 à 5 ans après l'achèvement d'une intervention pour évaluer les progrès faits dans l'adoption des technologies.

      En écho à la discussion de 2022, certaines contributions ont souligné l'attention portée à l'inclusion ou aux bénéficiaires dans les évaluations, en particulier l'accent mis sur les communautés qui pourraient également être un acteur important pour la recherche et l'innovation. Dans une intervention de développement ou de R4D, l'analyse des parties prenantes permet d'identifier les bénéficiaires comme principales parties prenantes; l'utilisation des dimensions relatives aux «processus» et aux «produits» permettrait de nuancer la participation et les bénéficies qu'ils tirent des activités réussies de recherche et de développement.

      Faciliter l'apprentissage à partir de la mise en œuvre et de l'adoption des Lignes directrices

      Les participants ont soulevé certains problèmes relatifs au déploiement et à l'utilisation des Lignes directrices concernant les points suivants:

      • l'interrogation quant à la possibilité pour le critère d'évaluation de la qualité de la science d'évaluer seul l'essence de la recherche et du développement;
      • l'utilité de clarifier davantage les différences entre les évaluations de processus et de performance;
      • la nécessité de comprendre les hypothèses, en particulier celles qui doivent être vérifiées pour que les produits soient adoptés par les bénéficiaires;
      • l'importance de la cohérence interne et externe;
      • la nécessité de définir des critères d'inclusion et d'exclusion lors de la conception des évaluations de la recherche;
      • l'importance de définir le contexte de la recherche qui est une question prioritaire dans le RQ+ révisé de l'IDRC.

      De nombreuses suggestions ont été faites sur la manière dont le CGIAR peut contribuer à déployer les Lignes directrices au sein de la communauté de l'évaluation dans les organisations partageant des idées similaires. Des suggestions utiles ont également été faites quant à la nécessité de renforcer les capacités pour utiliser les Lignes directrices, à travers par exemple des sessions de formation et des ateliers, des ressources en ligne (webinaires, plateformes collaboratives), des partenaires de parrainage et des tests d'utilisation des Lignes directrices dans des études de cas ainsi que dans des évaluations en cours et à venir. En particulier, le renforcement des capacités des parties prenantes pertinentes pour comprendre et utiliser les Lignes directrices serait approprié pour soutenir une utilisation plus ample et une meilleure implication de la communauté de l'évaluation.

      L'un des participants a suggéré de réaliser une méta-évaluation (peut-être une synthèse) de l'utilisation des Lignes directrices une fois que le CGIAR les aura utilisées pour évaluer son portefeuille de projets actuels. Il convient de noter qu'un travail rétrospectif est mené sur le précédent portefeuille comprenant 12 programmes principaux (mis en œuvre sur la période 2012-2021) avec des améliorations notables en ce qui concerne la clarté et la définition des réalisations. Une application plus large des Lignes directrices dans les évaluations de processus et de la performance dans différents contextes et portefeuilles donnera lieu à d'autres réflexions pour renforcer et revoir cet outil.

       

  • How to evaluate science, technology and innovation in a development context?

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italie

      Chers collègues,

      Nous avons été très heureux d'entendre les commentaires de 23 participants venant de divers horizons. Cette riche discussion menée par un large éventail d'experts, y compris des non-évaluateurs, met en évidence un accord général sur l'importance de l'encadrement et de l'utilisation de critères d'évaluation spécifiques au contexte pour contextualiser les évaluations de la science, de la technologie et de l'innovation (STI).  Vous trouverez ci-dessous un résumé des points abordés et nous vous invitons à lire les contributions originales des différents participants si vous les avez manquées.

      Cadre de référence

      Les cadres suivants ont été présentés : le cadre de référence de la qualité de la recherche pour le développement (QoR4D, disponible en anglais), le cadre d'excellence de la recherche (REF) et le cadre d'évaluation RQ+.

      La discussion a porté sur les éléments du cadre de référence de la qualité de la recherche pour le développement, directement ou indirectement liés aux critères d'évaluation: pertinence, légitimité, efficacité et crédibilité scientifique.

      Pour Serdar Bayryyev et Lennart Raetzell, le contexte d'utilisation des produits est essentiel pour déterminer leur pertinence. Pour évaluer l'efficacité (ou la qualité), Serdar Bayryyev suggère: (i) d'évaluer l'influence des activités et la mesure dans laquelle la science, l'innovation et les produits de la recherche ont influencé les politiques, les approches ou les processus; (ii) d'évaluer le degré de «mise en réseau», c'est-à-dire la mesure dans laquelle les chercheurs et les institutions scientifiques ont interagi avec toutes les parties prenantes concernées. Lennart Raetzell a partagé son expérience récente d'évaluation de l'impact thématique pour VLIR-UOS (https://www.vliruos.be) portant sur les voies d'accès à la recherche, principalement dans le domaine de l'agriculture.

      Nanae Yabuki et Serdar Bayryyev soulignent l'importance de l'évaluation de la nature transformationnelle des activités de recherche afin de déterminer si elles provoquent un véritable changement transformationnel ou, du moins, un discours politique important encourageant l'évolution vers un tel changement transformationnel. La pertinence de la STI est spécifique au contexte, tout comme la manière dont la STI déclenche un changement transformationnel.

      Sonal D. Zaveri affirme pour sa part que les chercheurs du Sud sont unanimes sur le fait que la recherche doit être pertinente par rapport aux préoccupations actuelles, aux utilisateurs de la recherche et aux communautés au sein desquelles le changement est attendu. L'appropriation et l'influence étant tout aussi importantes que la qualité de la recherche dans un contexte de développement, les évaluations se doivent de mesurer ce qui est important pour les communautés et les personnes. De nombreuses évaluations sont conçues à distance et certains choix d'évaluation sont effectués en fonction l'expertise disponible, de la position ou des ressources. Il serait en outre difficile de reconnaître la qualité d'une science dépourvue de toute valeur liée aux droits de l'homme, à l'inclusion et à l'équité. Si les résultats ne sont pas utilisés et adoptés par les personnes, et en particulier par celles peu entendues dans le cadre du programme, il est impossible de prétendre que les évaluations ont conduit au bien public ou ont été utilisées au bénéfice de tous les peuples. À ce sujet, Richard Tinsley souligne l'importance de considérer le bénéficiaire final des résultats scientifiques. Il insiste sur la nécessité de comprendre les clients primaires (les systèmes nationaux de recherche agricole des pays hôtes ou NARS pour le CGIAR) et les bénéficiaires finaux (une multitude de petits exploitants agricoles généralement anonymes), qui sont toujours à une certaine distance des clients des NARS du CGIAR.

      Du point de vue des bailleurs de fonds, Raphael Nawrotzki estime que les sous-composantes du cadre de référence QoR4D sont importantes pour mesurer la qualité du processus consistant à «faire de la science» plutôt que les résultats (production, résultats, impacts). D'où la nécessité d'utiliser les critères d'impact et d'efficacité du Comité d'aide au développement (CAD) de l'OCDE pour saisir le «faire» (processus) mais aussi les «résultats» de l'entreprise de recherche pour le développement, en complément du cadre de référence. Il affirme qu'un bailleur de fonds se concentre sur l'impact (Que réalise la recherche? Quelle est sa contribution?) et, à un moindre degré, l'efficacité (Les ressources ont-elles été bien utilisées? Combien a-t-on obtenu par rapport au montant dépensé?).

      Selon Nanae Yabuki, l'utilisation des preuves scientifiques pour renforcer l'impact des interventions reflète le mandat de la FAO. Pour évaluer ces aspects, l'«utilité» des résultats de la recherche apparaît plus pertinente que son «importance». D'où la nécessité de définir des critères appropriés pour chaque évaluation.

      Norbert Tchouaffe a présenté enfin la théorie du changement comme un outil permettant d'évaluer l'impact du réseau d'interface science-politique sur une société donnée, sur la base de cinq critères (sensibilisation, savoir-faire, attitude, participation et auto-évaluation).

      Méthodes

      Les participants à la discussion ont convenu de l'importance d'utiliser une approche mixte permettant de combiner les indicateurs qualitatifs et quantitatifs. Selon Raphael Nawrotzki, l'approche mixte est nécessaire, notamment pour évaluer la pertinence de la question de recherche et l'équité du processus.

      Méthodes quantitatives: forces et limites

      Parmi les méthodes quantitatives, l'utilisation de l'analyse bibliométrique a été mentionnée pour:

      • évaluer l'impact de la science, c'est-à-dire l'impact au sein d'un domaine scientifique, toujours mesuré au mieux par le nombre de citations que reçoit un article ou un chapitre de livre (Raphael Nawrotzki);
      • évaluer la légitimité des résultats de la recherche et la crédibilité des produits de la connaissance (Nanae Yabuki);
      • fournir une bonne indication de la qualité de la science (QoS), car les articles publiés ont déjà franchi un seuil de qualité dans la mesure où ils ont été examinés par des scientifiques expérimentés (Jillian Lenne);
      • fournir un aperçu important des efforts déployés et de la portée scientifique atteinte (Paul Engel).

      Dans une réflexion sur la qualité de service et l'évaluation de l'innovation, Rachid Serraj a illustré l'utilisation des indices bibliométriques et de citation du Web of Science.

      Etienne Vignola-Gagné, co-autheur de la note technique (disponible en anglais), a souligné la nouvelle gamme d'indicateurs bibliométriques élargie à de nouvelles dimensions, à savoir l'interdisciplinarité, l'égalité des sexes, la pré-impression en tant que pratique scientifique ouverte ou la prévalence de collaborations multinationales complexes – utiles pour évaluer la pertinence et la légitimité. Certains indicateurs bibliométriques peuvent également être utilisés comme indicateurs de processus ou même d'entrée plutôt que comme indicateurs traditionnellement voués à mesurer l'efficacité de produits. La bibliométrie peut être utilisée pour vérifier si les programmes de recherche transdisciplinaire contribuent effectivement à une intégration disciplinaire accrue dans la pratique quotidienne de la recherche, les équipes de projet et les bailleurs de fonds sous-estimant souvent la complexité de ces propositions pour la recherche.

      Pour Valentina de Col, la bibliométrie (par exemple, l'indexation des collections de base du Web of Science, le pourcentage d'articles en libre accès, le classement des revues en quartiles, l'altmetrics) a été utilisée pour les articles de revues publiés et les rapports de cas d'impact de résultat (OICR) pour décrire la contribution de la recherche du CGIAR aux résultats et à l'impact. Raphael Nawrotzki a suggéré d'autres indicateurs bibliométriques connexes: (i) la contribution aux objectifs de développement durable (ODD); (ii) la moyenne des citations relatives; (iii) les publications très largement citées; (iv) l'indice de distribution des citations.

      Keith Child et Serdar Bayryyev ont relevé les limites de l'analyse bibliométrique. Par exemple, les produits de la science, de l'innovation et de la recherche ne sont pas tous inclus et correctement enregistrés dans les bases de données bibliographiques voire même ne sont pas tous publiés: tous les produits ne peuvent donc pas être évalués. En outre, le calcul du nombre moyen de citations prête également le flanc à certains biais: (i) une attention exagérée accordée à un auteur spécifique; (ii) une exclusion délibérée par certains auteurs de certains matériaux de référence de leurs publications. Raphael Nawrotzki a noté les limites spécifiques associées à la mesure de l'impact scientifique par la bibliométrie: (i) des périodes de temps longues: il faut parfois des décennies pour que les résultats des investissements dans la recherche agricole deviennent visibles, une mesure solide de l'impact scientifique en termes de bibliométrie n'étant possible qu'environ cinq ans après la fin d'un projet ou d'un portefeuille de recherche; (ii) l'altmetrics: il est difficile de combiner la bibliométrie et l'altmetrics pour obtenir une image complète de l'impact scientifique; (iii) la rentabilité: la part du soutien attribuable à chaque source de financement n'est pas facile à déterminer et le calcul des mesures de rentabilité s'accompagne d'une multitude de limitations. Paul Engel convient lui aussi des limites de la bibliométrie qui fournit selon lui très peu d'informations sur la portée politique, la pertinence contextuelle, la durabilité, l'innovation et la mise à l'échelle des contributions générées par les partenariats de recherche. Ola Ogunyinka a affirmé que les bénéficiaires ultimes du CGIAR (les petits exploitants et les systèmes nationaux) sont très éloignés (en termes d'accès, de fonds, de structures, etc.) des revues qui comptent.

      Dans l'ensemble, Jill Lenne et Raphael Nawrotzki ont reconnu la valeur de l'utilisation de l'altmetrics.

      Graham Thiele a suggéré l'utilisation de l'analyse des réseaux sociaux (SNA) des publications afin d'examiner les parties qui collaborent pour publier et leur contexte social et organisationnel, en complément de l'analyse bibliométrique en particulier pour la dimension de la légitimité. Valentina de Col a utilisé la SNA et l'analyse des réseaux d'impact (INA) pour étudier les réseaux de collaboration de recherche de deux programmes de recherche du CGIAR.

      Enfin, Graham Thiele a mis en garde contre le risque d'utiliser des méthodes de pointe et la précision accrue de l'analyse bibliométrique (très disponible et produite en continu) au détriment de l'image arrondie que d'autres études, telles que les études de cas de résultats et les études d'impact, fournissent – comme l'a soutenu également Paul Engel sur la base de son expérience de l'évaluation de la qualité de la science dans les programmes de recherche du CGIAR (disponible en anglais).

      Guy Poppy a présenté le cadre d'excellence en matière de recherche (REF) (disponible en anglais) qui, outre l'évaluation des résultats de la recherche, évalue également les études de cas sur l'impact et l'environnement de la recherche, produisant ainsi une notation mixte où les résultats ont un poids prépondérant mais où l'impact prend de l'importance.

      Méthodes qualitatives: forces et limites

      L'utilisation de méthodes qualitatives, parallèlement à la bibliométrie et à l'altmetrics, est essentielle pour obtenir une vue d'ensemble de l'évaluation de la qualité de la science.

      Les évaluations qualitatives peuvent être réalisées au moyen d'entretiens et/ou d'enquêtes. En ce qui concerne la mesure de l'impact, Valeria Pesce a souligné que les indicateurs qualitatifs sont souvent basés sur des entretiens ou des rapports et qu'il n'est pas facile de donner un sens au récit. Elle a fait référence au post de Claudio Proietti présentant ImpresS (disponible en français).

      Ibtissem Jouini a souligné la fiabilité de la synthèse des preuves tout en admettant le défi que représente la variété possible des preuves, des critères d'évaluation, des approches, des objectifs, des contextes, etc.

      Les limites des méthodes qualitatives ont également été observées, par exemple par Jillian Lenne et Keith Child: les évaluations qualitatives obligent l'évaluateur à porter des jugements subjectifs.

      Des considérations relatives aux approches et méthodes participatives ont été soulignées par Sonal D. Zaveri telles que la différence entre «accès» et «participation» ou le concept de pouvoir (caché ou explicite). Les femmes, en tant que porteuses traditionnelles des connaissances locales et indigènes, se retrouvent coupées de la société en réseau, où l'information, la communication et les connaissances sont des «biens échangeables».

      Valeria Pesce, Etienne Vignola-Gagné et Valentina de Col ont analysé les outils actuels et les moyens permettant de relever les défis posés par les indicateurs qualitatifs et quantitatifs: certains outils informatiques permettent de classer (parfois automatiquement) des concepts sélectionnés, d'identifier des modèles, la fréquence de mots, concepts ou groupes de concepts, etc., en utilisant des techniques d'exploration de texte et d'apprentissage automatique, parfois même en partant directement de fichiers vidéo et audio. Ils ont mentionné par exemple: pour l'analyse narrative, ATLAS.ti, MAXQDA, NVivo; Cynefin Sensemaker et Sprockler pour les fonctionnalités de conception et de collecte; NarraFirma comme solide colonne vertébrale conceptuelle, aidant à la conception de l'enquête narrative et soutenant un processus d'analyse participatif.

      Conclusion et prochaines étapes

      Même à défaut de standardisation des méthodes, les évaluations STI doivent être conçues de manière à ce que les résultats de l'évaluation soient comparables, dans la mesure du possible, afin de favoriser un apprentissage à l'échelle du système (Nanae Yabuki), mais aussi au niveau de ceux qui sont touchés et impactés (Sonal Zaveri et autres).

      Valentina de Col a souligné l'intérêt de consolider et d'adopter une approche standardisée pour mesurer la qualité de la science au sein d'une organisation comme le CGIAR, afin de mieux mesurer les résultats, d'évaluer l'efficacité, d'améliorer la qualité des données, d'identifier les lacunes et de regrouper les données entre les centres du CGIAR.

      Concluons sur l'intérêt de cette discussion pour l'apprentissage. Au sein du CGIAR, au CAS/Évaluation, nous travaillons actuellement à l'élaboration de directives visant à rendre opérationnel le critère d'évaluation de la qualité de la science dans la politique d'évaluation révisée du CGIAR (disponible en anglais). Contactez-nous si vous souhaitez participer directement!

      Références 

      Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/

      Belcher, B. M., Rasmussen, K. E., Kemshaw, M. R., & Zornes, D. A. (2016). Defining and assessing research quality in a transdisciplinary context. Research Evaluation, 25(1), 1-17.
      DOI: 10.1093/reseval/rvv025

      Norbert F. Tchiadjé, Michel Tchotsoua, Mathias Fonteh, Martin Tchamba (2021). Ecological engineering to mitigate eutrophication in the flooding zone of River Nyong, Cameroon, Pages 613-633: https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8

      Chambers, R. (1997). Whose reality counts (Vol. 25). London: Intermediate technology publications.

      Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun

      Holderness, M., Howard, J., Jouini, I., Templeton, D., Iglesias, C., Molden, D., & Maxted, N. (2021). Synthesis of Learning from a Decade of CGIAR Research Programs.  https://cas.cgiar.org/evaluation/publications/2021-Synthesis

      IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. http://hdl.handle.net/10625/56528

      Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018. A better measure of research from the global south (nature.com)

      McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135. https://doi.org/10.1093/reseval/rvy026

      Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC). http://hdl.handle.net/10625/56528

      Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140. https://doi.org/10.1177/00307270211024271

      Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.

      Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South Perspective.pdf (amaltas.asia)

      Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs. https://doi.org/10.5424/sjar/2020183-16399

      Vliruous (2019). Thematic Evaluation of Departmental Projects: Creating the Conditions for Impact. https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf

      Zaveri, Sonal (2019). “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation. https://bit.ly/3wX5pg8

      Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian 2021-IDEAS-book-Transformational-Evaluation.pdf (ideas-global.org)

      Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press. https://bit.ly/2RFEMw5

       

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italie

      Chers tous, 

      C'est formidable de voir des contributions aussi riches et perspicaces. Il semble qu'il y ait un large consensus sur l'importance de l'utilisation de méthodes mixtes pour évaluer la science et s'appuyer sur le cadre de référence QoR4D. J'ai vraiment apprécié de lire vos opinions et ce que vous avez trouvé de difficile au cours de vos expériences. 

      Avec un jour supplémentaire pour la discussion (jusqu'à demain, 13 avril), nous espérons encore recevoir des contributions supplémentaires. Ce qui suit pourrait éclairer et guider ceux qui n'ont pas encore partagé leurs points de vue et leurs expériences, surtout en dehors du contexte du CGIAR.  

      Il y a un débat intéressant possible entre ce que les bailleurs de fonds peuvent trouver important à évaluer par rapport aux priorités des chercheurs du Sud. Je crois comprendre que les bailleurs de fonds sont largement intéressés par les résultats (produits, résultats, impacts) et que les critères d'évaluation du CAD de l'OCDE "impact" et "efficacité" sont particulièrement pertinents en termes de responsabilité et de transparence pour démontrer que l'argent des contribuables est utilisé à bon escient. Cependant, les chercheurs du Sud accordent la priorité à la nécessité que la recherche soit pertinente par rapport aux préoccupations actuelles, aux utilisateurs de la recherche et aux communautés dans lesquelles le changement est recherché. L'importance de la dimension de la pertinence a été soulignée dans plusieurs contributions et est principalement liée à l'importance, à la signification et à l'utilité des objectifs, des processus et des résultats de la recherche pour le contexte du problème et pour la société.  

      Comment mesurer la pertinence de manière à faire converger les besoins des chercheurs et des bailleurs de fonds du Sud ? En ce qui concerne les impacts, Raphael Nawrotzki mentionne que l'impact dans un domaine scientifique est toujours mesuré par le nombre de citations qu'un article ou un chapitre de livre reçoit.  

      La question à poser à l'auditoire est la suivante : "Comment l'impact au sein d'un domaine scientifique peut-il refléter l'importance d'un certain projet de recherche et son impact/contribution à la société dans laquelle le changement est recherché ?". Il semble y avoir un consensus sur l'importance de la composante "pertinence" et sur la relation entre les résultats de la recherche et la théorie du changement initiale, ainsi que sur le processus qui a été suivi pour son élaboration. Peut-on aligner cela sur la mesure de la "pertinence" d'une manière qui puisse également être considérée comme solide et crédible par les bailleurs de fonds ?  

      Et enfin, mais non des moindres, qu'en est-il de la pratique : "Avez-vous vu des pratiques de suivi, d'évaluation et d'apprentissage (MEL) qui pourraient faciliter les évaluations de la science, de la technologie et de l'innovation ?" 

      Nous attendons avec impatience de pouvoir échanger davantage afin de clore cette discussion et d'identifier les possibilités d'engagement ultérieur.  

      Cordialement, 

       

  • Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italie

      Chers collègues,

      Cette discussion a déjà été très instructive et rassurante quant aux normes de la profession d'évaluateur.

      Il serait formidable de déballer la question de l'"indépendance", de la contextualiser à partir d'un exemple qui n'a pas encore été mis en évidence.  Pour les membres qui ont été consultés par des bureaux d'évaluation indépendants, c'est-à-dire des agences des Nations Unies basées à Rome, de la BAD, de l'IEG, du GEF ou d'autres, et pour les membres qui travaillent dans ces bureaux d'évaluation, que signifie l'"indépendance" entre le bureau d'évaluation et un consultant/une équipe engagée pour mettre en œuvre une évaluation.

      - Dans quelle mesure un consultant ou une équipe de consultants sont-ils indépendants d'un commissaire (c'est-à-dire du bureau d'évaluation) ?

      - Y a-t-il un point à partir duquel les conseils techniques et l'assurance qualité du commissaire (c'est-à-dire du bureau d'évaluation) menacent l'indépendance du consultant/de l'équipe d'évaluation ?

      - Qu'en est-il des preuves collectées (notes d'entretien) : le commissaire a-t-il le droit de les obtenir, pour pouvoir s'y référer une fois que le consultant/l'équipe d'évaluation n'est plus sous contrat ?  

      En réfléchissant à cette question, n'oublions pas que les agences d'évaluation indépendantes ne rendent pas compte à la direction en raison de la conception des structures de gouvernance et d'assurance. 

      J'attends avec impatience de recevoir des nouvelles de chacun d'entre vous, des deux côtés.

      A la vôtre,

      Svetlana Negroustoueva

      Lead, Evaluation Function

      CGIAR Advisory Services Shared Secretariat (CAS) Rome, Italy

       

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italie

      Chers collègues,

      Merci pour vos idées intéressantes, il est formidable de voir un consensus global sur un rôle important que les Theories du Changement jouent dans la pratique de l'évaluation. Tout au long de ma carrière d'évaluation, et plus particulièrement plus récemment, j'en suis venue à apprécier la valeur ajoutée de l'utilisation de le TdC, surtout si elle a été co-créée et/ou déconstruite de manière participative.

      En comparaison, j'ai trouvé l'approche TdC particulièrement utile lors de l'évaluation de thèmes transversaux, tels que l'engagement des parties prenantes locales et de la société civile, la gouvernance et le genre. Même en présence de documents qui guident les interventions connexes (semblables aux secteurs), leur mise en œuvre effective devrait tenir compte et intégrer l’engagement de la societé civile, le genre, la responsabilité et la transparence dans le travail d'autres secteurs, équipes, etc. Ainsi, les TdC aident à éclairer les évaluations et à faciliter l'exploration par rapport au processus et aux résultats envisagés, par rapport au cadre et aux modalités opérationnelles existants, à l'intérieur et à l'extérieur de l'organisation.

      Dans ces domaines transversaux et parfois au-delà, j'ai aussi constaté que les équipes qui sont évaluées apprécient et accueillent plus souvent les discussions sur la TdC, y compris et parfois avec une appréciation particulière des hypothèses. Une fois posée avec des questions sur la faisabilité dans un environnement habilitant (ou non), la réalisation des raisons pour lesquelles les résultats souhaités n'ont peut-être pas été atteints devient réelle. Par conséquent, après avoir passé par la reconstruction de la TdC, les ambitions et les objectifs sont susceptibles de devenir plus nettes et plus rationalisées la prochaine fois.