Svetlana I Negroustoueva

Svetlana I Negroustoueva

Lead, Evaluation Function
CGIAR
Italia

Svetlana Negroustoueva, the CGIAR CAS Evaluation Senior Manager, leads technical and operational support to develop and execute the CGIAR’s multi-year independent evaluation plan. Svetlana is a PMP Certified professional with over 15 years of experience designing and conducting evaluations, assessments, monitoring and research activities, include quantitative and qualitative data collection and analyses. She works at the intersection of sustainable landscapes, energy, health, food security and social inclusion, for projects across funders and implementing entities. She has served at African Development Bank, World Bank, the GEF and Climate Investment Funds in positions concerned with independent and demand-driven evaluations. Furthermore, Svetlana has been an independent evaluator herself, leading and participating in evaluation teams for a variety of clients during consultancy assignments. Svetlana has made her mark in many ways, and notably in the domain of gender and evaluation; she is the co-chair of EvalGender+, the global partnership to promote the demand, supply and use of Equity Focused and Gender Responsive Evaluations. Svetlana is a Russian and US national, and holds a Master’s degree in Public Affairs from the University of Texas at Austin in the US, and Advanced BA in Public Administration and Social Research from Lomonosov Moscow State University (MSU).

My contributions

  • How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italia

      Estimados colegas, 

      Agradecemos el reto de abordar el tema, basándonos en las Directrices (de sólo 25 páginas) y teniendo en cuenta la sección de preguntas frecuentes. 

      No duden en limitar sus comentarios a una de las preguntas anteriores. 

      Para inspirar aún más las reflexiones, les ofrecemos algunos materiales de referencia adicionales del taller (en inglés) : 

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italia

      Muchas gracias a todos los participantes en esta discusión. Tanto a quienes no conocían las Directrices, como a quienes ya estaban familiarizados con ellas o con diferentes productos de conocimiento relacionados. A continuación, se incluye un resumen de la discusión estructurado en base a sus temas principales.

      Reflexiones sobre las Directrices: contenido

      Por lo general, la mayoría de los miembros de EvalForward que participaron en la discusión coincidieron en que las Directrices ofrecen algunas soluciones para evaluar la calidad de la ciencia en un contexto de investigación para el desarrollo. En concreto, los participantes indicaron que están “bien documentadas” y son “útiles”, “claras”, “adaptables” y “flexibles”. Dos miembros destacaron la importancia de la flexibilidad de las Directrices, ya que permite aplicarlas a otras organizaciones. Para otro participante constituyen un marco conceptual interesante, una guía flexible y un compendio de métodos y preguntas que también pueden ser útiles en otros contextos de evaluación.

      El valor de un criterio de evaluación de la calidad de la ciencia

      También hubo consenso en que las cuatro dimensiones de evaluación de la calidad de la ciencia (diseño de la investigación, recursos, procesos y productos) son claras y útiles, con indicadores bien definidos, en especial cuando se utilizan enfoques de métodos combinados. Uno de los participantes observó que las dimensiones reflejan una forma más exploratoria —y menos estandarizada— de realizar evaluaciones relacionadas con la investigación para el desarrollo, enriqueciendo así la profundidad de éstas. Otro miembro que participó en la discusión puso de relieve la creación y el aprovechamiento de asociaciones en el marco de la tercera dimensión (procesos). Una participante se mostró entusiasmada con la posibilidad de utilizar el marco para diseñar un sistema de evaluación a medida para su departamento. Además, las tres preguntas fundamentales recomendadas para evaluar la calidad de la ciencia se consideraron adecuadas para proyectos de investigación para el desarrollo.

      En el contexto de la evaluación en curso de la plataforma GÉNERO del CGIAR, una participante observó la utilidad de las Directrices como conjunto de herramientas —­en un contexto de investigación agrícola para el desarrollo— destinado a posicionar la calidad de la ciencia y evaluar al mismo tiempo las tres preguntas fundamentales siguiendo cinco criterios de evaluación del marco del CAD de la OCDE (pertinencia, efectividad, eficiencia, coherencia y sostenibilidad). Una de las enseñanzas principales de la aplicación de las Directrices en este contexto es su capacidad para abarcar diferentes perspectivas: la de los evaluadores, pero también la de los investigadores, con expertos en la materia dedicados a desentrañar las preguntas fundamentales de la evaluación en el marco de las cuatro dimensiones asociadas de evaluación de la calidad de la ciencia.

      Varios participantes pidieron aclarar si las Directrices son útiles para evaluar proyectos de desarrollo. Las Directrices se han elaborado para evaluar la investigación para el desarrollo en un contexto en el que el diseño conjunto de ésta se aplicaría en colaboración con las partes interesadas en el desarrollo, que a su vez estarían en condiciones de ampliar las innovaciones para lograr los efectos pretendidos en materia de desarrollo. Aunque se centran en intervenciones de investigación para el desarrollo, consideramos que las Directrices son lo suficientemente flexibles como para adaptarlas a la evaluación de proyectos de desarrollo con aspectos científicos o de investigación. En un taller reciente del CGIAR se analizó la aplicación retroactiva de las Directrices para la evaluación de intervenciones de desarrollo por medio de dos estudios de caso específicos: AVACLIM, un proyecto ejecutado por la FAO, y Feed-the-Future AVCD-Kenya, un proyecto liderado por el Instituto Internacional de Investigación en Ganadería (ILRI, por sus siglas en inglés). Ambos estudios pusieron de manifiesto la versatilidad de las Directrices para ser aplicadas en diversos ámbitos.

      Asimismo, varios participantes destacaron la importancia de la evaluación de los efectos. Aunque el alcance de la labor del Departamento de evaluación del CGIAR no incluye éstos, las Directrices consideran la posibilidad (véase la Figura 6) de evaluar los efectos, tanto en lo que respecta al avance en el cumplimiento de los ODS como a otros aspectos. Del mismo modo, en otros contextos y organizaciones puede haber mayores oportunidades para integrar la evaluación de los efectos. Las Directrices se podrían aplicar 3-5 años después de finalizar una intervención, a fin de evaluar los avances en la adopción de tecnologías.

      Haciendo referencia a la discusión de 2022, algunas contribuciones hicieron hincapié en el foco de las evaluaciones en la inclusión o los beneficiarios. Es decir, en aquellas comunidades que también podrían ser una parte interesada importante en la investigación y la innovación. En una intervención de desarrollo o de investigación para el desarrollo, un análisis de las partes interesadas permite identificar a los beneficiarios como partes interesadas principales; y el uso de dos de las dimensiones (procesos y productos) permitiría precisar su participación en actividades exitosas de investigación y desarrollo y los beneficios asociados.

      Facilitar el aprendizaje derivado de la aplicación y adopción de las Directrices

      Los participantes plantearon diversas cuestiones relacionadas con la aplicación o el uso de las Directrices. Entre ellas:

      • Si el criterio único de evaluación de calidad de la ciencia capta la esencia de la investigación y el desarrollo;
      • La conveniencia de aclarar las diferencias entre evaluaciones de procesos y desempeño;
      • La necesidad de incluir hipótesis, en concreto aquéllas que se deben cumplir para que los productos sean aceptados por quienes encargan las evaluaciones;
      • La importancia de la coherencia interna y externa;
      • La necesidad de definir criterios adecuados de inclusión y exclusión a la hora de diseñar evaluaciones en materia de investigación;
      • La importancia de definir el contexto de la investigación, que se considera prioritario en el enfoque Calidad de Investigación Plus (RQ+, por sus siglas en inglés) del Centro internacional de investigación para el desarrollo (CIID).

      Los participantes en la discusión formularon diversas sugerencias sobre cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines. También compartieron recomendaciones útiles sobre la necesidad de desarrollar la capacidad para utilizar las nuevas Directrices, incluidos talleres y sesiones de formación, recursos en línea (seminarios web, plataformas de colaboración), asesoramiento por parte de asociados y pruebas con estudios de caso y evaluaciones en curso. En particular, el desarrollo de la capacidad de las partes interesadas pertinentes para comprender y utilizar las Directrices sería apropiado para contribuir a un uso más generalizado y a una mayor participación de la comunidad de evaluación.

      Un participante sugirió realizar una metaevaluación (quizás una síntesis) de la utilidad de las Directrices una vez que el CGIAR las haya empleado para evaluar la cartera de proyectos en curso. Sorprendentemente, esto se está haciendo actualmente de forma retroactiva con la cartera anterior de 12 programas principales (ejecutados entre 2012 y 2021), con mejoras notables en la claridad y definición de los resultados. La aplicación de las Directrices en evaluaciones de procesos y desempeño en diferentes contextos y carteras revelará nuevas enseñanzas para seguir reforzando y perfeccionando esta herramienta.

  • How to evaluate science, technology and innovation in a development context?

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italia

      Estimados colegas:

      Nos ha encantado leer los comentarios y experiencias de 23 participantes de diferentes ámbitos. La calidad de la discusión entre una amplia variedad de expertos —incluidos profesionales que no se dedican a la evaluación— pone de manifiesto un consenso general sobre la importancia de formular y utilizar criterios específicos para contextualizar la evaluación de la ciencia, la tecnología y la innovación (CTI). A continuación, encontrarán un resumen del debate. Les invitamos a leer las contribuciones de los diferentes participantes en caso de que no lo hayan hecho aún.

      Marco de referencia

      Se presentaron los siguientes marcos: el Marco de referencia de la calidad de la investigación para el desarrollo, el Marco de excelencia de la investigación y el instrumento de evaluación Calidad de investigación plus.

      El debate principal se centró en los elementos del Marco de referencia de la calidad de la investigación para el desarrollo, vinculados —de manera directa o indirecta— a los criterios de evaluación: pertinencia, legitimidad, eficacia y credibilidad científica.

      Para Serdar Bayryyev y Lennart Raetzell, el contexto en el que se utilizan los productos es fundamental para determinar su pertinencia. A la hora de evaluar la eficacia (o la calidad), Serdar Bayryyev sugirió: (1) evaluar la influencia de las actividades y la medida en que los productos de la ciencia, la innovación y la investigación han influido en las políticas, enfoques o procesos; y (2) evaluar el grado de “interconexión” (es decir, la medida en que investigadores e instituciones científicas han interactuado con todas las partes interesadas pertinentes). Lennart Raetzell compartió su experiencia reciente con una evaluación de impacto temática para la Oficina de Cooperación Universitaria al Desarrollo del Consejo Interuniversitario Flamenco (VLIR-UOS, por sus siglas en flamenco) (https://www.vliruos.be) sobre vías para incorporar la investigación, principalmente en el ámbito de la agricultura.

      Nanae Yabuki y Serdar Bayryyev coincidieron en la importancia de evaluar el carácter transformador de las actividades de investigación para determinar si producen un cambio verdaderamente transformador, o al menos desencadenan un debate político importante para avanzar hacia dicho cambio. La pertinencia de la CTI es específica del contexto, así como la forma en que desencadena un cambio transformador.

      Sonal D Zaveri afirmó que los investigadores del hemisferio sur coinciden en que la investigación debe ser pertinente para las preocupaciones actuales, los usuarios y las comunidades que buscan un cambio. En un contexto de desarrollo, la aceptación y la influencia son tan importantes como la calidad de la investigación. Es por ello que las evaluaciones deben medir qué es importante para las comunidades y las personas. Numerosas evaluaciones se diseñan a distancia y dan preferencia a determinadas opciones en función del poder de la experiencia, la posición o los recursos. Resultaría difícil aceptar la calidad de la ciencia si careciera de cualquier valor relacionado con los derechos humanos, la inclusión y la equidad. Si los hallazgos de las evaluaciones no son utilizados e identificados como propios por sus usuarios —y en especial por quienes tienen poca voz en el programa— no se podrá afirmar que han dado lugar a un bien público o se han utilizado para beneficiar a toda la población. En relación con este tema, Richard Tinsley destacó la importancia de tener en cuenta a los beneficiarios finales de los resultados científicos. Hizo hincapié en la necesidad de identificar con claridad a los clientes principales (los sistemas nacionales de investigaciones agronómicas de los países anfitriones) del Grupo Consultivo sobre Investigaciones Agrícolas Internacionales (CGIAR) y a los beneficiarios finales (un gran número de pequeños agricultores, por lo general anónimos), que continúan estando un poco alejados.

      Desde el punto de vista de los donantes, Raphael Nawrotzki sostuvo que los subcomponentes del marco de referencia de la calidad de la investigación para el desarrollo son importantes para medir la calidad de la actividad científica más que los resultados (productos, resultados, impactos) de ésta. De ahí la necesidad de utilizar los criterios de impacto y eficiencia del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) para captar la forma de investigar (el proceso) para el desarrollo y los “resultados” correspondientes. Nawrotzki indicó que los financiadores se centran especialmente en el impacto (¿qué logra la investigación? ¿cuál es su contribución?) y, en menor medida, en la eficiencia (¿cómo se utilizaron los recursos? ¿qué objetivos se lograron para las cantidades invertidas?).

      Para Nanae Yabuki, utilizar las evidencias científicas para mejorar el impacto de las intervenciones refleja el mandato de la FAO. Para evaluar estos aspectos, la “utilidad” de los hallazgos de la investigación es más relevante que su “importancia”. De ahí la necesidad de establecer criterios adecuados para cada evaluación.

      Norbert Tchouaffe abogó por utilizar la teoría del cambio como herramienta para evaluar el impacto de la interfaz entre ciencia y política en una sociedad concreta, basándose en cinco factores determinantes (puntuaciones en concienciación, conocimientos, actitud, participación y autoevaluación).

      Métodos

      Los participantes coincidieron en la importancia de utilizar un enfoque de métodos combinados para conjugar indicadores cualitativos y cuantitativos. Raphael Nawrotzki indicó que este enfoque resulta especialmente necesario para evaluar la pertinencia de las cuestiones investigadas y la equidad del proceso.

      Métodos cuantitativos: puntos fuertes y limitaciones

      Ente los métodos cuantitativos, se mencionó el uso de análisis bibliométricos para:

      • evaluar el impacto de la ciencia (es decir, el impacto en un campo científico) en función del número de citas de un artículo o un capítulo de un libro (Raphael Nawrotzki);
      • evaluar la legitimidad de los hallazgos de la investigación y la credibilidad de los productos de conocimiento (Nanae Yabuki);
      • dar una buena indicación de la calidad de la ciencia, ya que los artículos publicados han sido revisados por científicos experimentados (Jillian Lenne);
      • proporcionar una visión general importante de los esfuerzos realizados y la divulgación científica (Paul Engel);

      En relación con la evaluación de la calidad de la ciencia y la innovación, Rachid Serraj mencionó varios ejemplos sobre el uso de índices bibliométricos y de citas de la Web of Science.

      Etienne Vignola-Gagné, coautor de la nota técnica, puso de relieve la nueva gama ampliada de dimensiones de los indicadores bibliométricos —incluidas la interdisciplinariedad, la equidad de género, la preimpresión como práctica de ciencia abierta, o la prevalencia de colaboraciones multinacionales complejas—, de utilidad para evaluar la pertinencia y legitimidad. Algunos indicadores bibliométricos se pueden emplear también como indicadores de proceso o incluso de entrada, en lugar de su uso tradicional como indicadores de eficacia. La bibliometría se puede utilizar para supervisar si los programas de investigación interdisciplinar contribuyen realmente a una mayor integración disciplinar en la práctica cotidiana, teniendo en cuenta que los equipos de proyecto y los financiadores suelen subestimar la complejidad de las propuestas de investigación.

      Valentina de Col mencionó el empleo de la bibliometría (p. ej. la indexación de la colección principal de la Web of Science, el porcentaje de artículos en acceso abierto, la clasificación de las publicaciones especializadas en cuartiles, las métricas alternativas o altmetrics) para artículos publicados en revistas especializadas. Y el uso de informes de casos en los que la investigación del CGIAR ha contribuido a los resultados y el impacto (OICR, por sus siglas en inglés). Raphael Nawrotzki sugirió otros indicadores bibliométricos relacionados: (a) contribución a los Objetivos de Desarrollo Sostenible (ODS); (b) promedio de citas relativas; (c) publicaciones citadas con frecuencia; (d) índice de distribución de citas.

      Keith Child y Serdar Bayryyev señalaron las limitaciones de los análisis bibliométricos. Por ejemplo, no todos los productos de la ciencia, la innovación y la investigación están incluidos y debidamente registrados en las bases de datos bibliográficas, o ni siquiera se llegan a publicar, por lo que no resulta posible evaluarlos en su totalidad. Además, el cálculo del número medio de citas puede estar sesgado: (1) puede prestar demasiada atención a un autor concreto; (2) algunos autores pueden excluir —de manera deliberada— ciertos materiales de referencia de sus publicaciones. Raphael Nawrotzki señaló las limitaciones específicas de la medición del impacto científico por medio de la bibliometría: (1) Períodos de tiempo prolongados (los resultados de las inversiones en investigación agrícola pueden tardar décadas en hacerse visibles; para realizar una medición sólida del impacto científico en términos bibliométricos deben transcurrir unos cinco años desde la finalización de un proyecto o cartera de proyectos); (2) Métricas alternativas (es difícil combinar la bibliometría y las métricas alternativas [altmetrics] para obtener una imagen completa del impacto científico); (3) Relación coste-eficacia (determinar el apoyo atribuible a cada fuente de financiación no es sencillo; medir y calcular la relación coste-eficacia conlleva numerosas limitaciones). Paul Engel amplió la lista de limitaciones de la bibliometría: proporciona muy poca información sobre la divulgación de las políticas, la relevancia contextual, la sostenibilidad, la innovación y la ampliación de las contribuciones generadas a través de las asociaciones de investigación. Ola Ogunyinka afirmó que los beneficiarios finales del CGIAR (los pequeños agricultores y los sistemas nacionales) están muy alejados (acceso, fondos, estructuras débiles, etc.) de las publicaciones especializadas consideradas en los análisis bibliométricos.

      En general, Jill Lenne y Raphael Nawrotzki coincidieron en la utilidad de las métricas alternativas (altmetrics).

      Graham Thiele sugirió utilizar el análisis de redes sociales (ARS) para examinar quiénes colaboran en las publicaciones y cuál es el contexto social y organizativo de éstas. Se trata de un complemento del análisis bibliométrico, en particular para la dimensión de legitimidad. Valentina de Col utilizó el ARS y el análisis de redes de impacto (INA, por sus siglas en inglés) para investigar las redes de colaboración de dos programas de investigación del CGIAR.

      Por último, Graham Thiele advirtió del riesgo de utilizar métodos más avanzados y análisis bibliométricos de mayor precisión (disponibles actualmente y realizados de forma continua) a costa de perder la visión completa que proporcionan otros estudios, como los estudios de casos de resultados y los estudios de impacto. Paul Engel coincidió en esta apreciación sobre la base de su experiencia con la evaluación de la calidad de la ciencia en los programas de investigación del CGIAR.

      Guy Poppy introdujo el Marco de excelencia de la investigación (REF, por sus siglas en inglés), que evalúa los resultados de investigación, el entorno de ésta y los estudios de casos de impacto, y permite obtener una puntuación combinada en la que la ponderación de los resultados es la más elevada y el impacto cobra cada vez mayor importancia.

      Métodos cualitativos: puntos fuertes y limitaciones

      Utilizar métodos cualitativos —junto con la bibliometría y las métricas alternativas— es fundamental para tener una perspectiva más amplia a la hora de evaluar la calidad de la ciencia.

      Las evaluaciones cualitativas se pueden realizar por medio de entrevistas y/o encuestas. En lo que respecta a la medición del impacto, Valeria Pesce destacó que los indicadores cualitativos se suelen basar en entrevistas o informes, y que no resulta sencillo dar sentido a la narrativa. Hizo referencia a una contribución de Claudio Proietti en la que presentó ImpresS.

      Ibtissem Jouini destacó la fiabilidad de la síntesis de evidencias, si bien poner en práctica este método no es sencillo debido a la variedad de evidencias que se pueden encontrar, los criterios de evaluación, los enfoques, la orientación, los contextos, etc.

      Jillian Lenne y Keith Child señalaron también una de las limitaciones de los métodos cualitativos: la subjetividad de las valoraciones que deben realizar los evaluadores.

      Sonal D Zaveri puso de relieve la importancia de los enfoques y métodos participativos, describió la diferencia entre “acceso” y “participación”, e hizo referencia al concepto de poder (oculto o explícito). Las mujeres, como depositarias tradicionales de los conocimientos locales e indígenas, se encuentran aisladas de la sociedad interconectada, en la que la información, la comunicación y los conocimientos son “bienes comercializables”.

      Valeria Pesce, Etienne Vignola-Gagné y Valentina de Col analizaron herramientas actuales y formas de afrontar desafíos de los indicadores cualitativos y cuantitativos: herramientas informáticas que permiten clasificar la información (en ocasiones de forma automática) en función de conceptos seleccionados, identificar patrones, frecuencia de términos/conceptos, grupos de conceptos, etc. utilizando técnicas de minería de textos y aprendizaje automático, a veces incluso a partir de archivos de vídeo y audio.

      Para el análisis narrativo: ATLAS.ti, MAXQDA, Nvivo: son programas para un análisis narrativo potente; Cynefin Sensemaker y Sprockler se utilizan para funcionalidades de diseño y recopilación; NarraFirma es una aplicación web con una sólida base conceptual, que contribuye a diseñar la investigación narrativa y a seguir un proceso de análisis participativo.

      Conclusión y próximos pasos

      Incluso sin disponer de métodos estandarizados, se deben realizar esfuerzos para diseñar las evaluaciones de la CTI de manera que los resultados se puedan utilizar —en la medida de lo posible— a nivel institucional (por ejemplo, para una planificación estratégica y programática superior, como sugirió Nanae Yabuki), pero también a nivel de quienes se ven afectados (como indicaron Sonal D Zaveri y otros participantes).

      Valentina de Coi destacó la importancia de consolidar y adoptar un enfoque estandarizado para medir la calidad de la ciencia en una organización como el CGIAR, a fin de contribuir a medir los resultados con mayor precisión, evaluar la eficacia, mejorar la calidad de los datos, identificar cualquier carencia y agregar la información de los diferentes centros del CGIAR.

      La utilidad de esta discusión para el aprendizaje es innegable. En los Servicios de Asesoramiento del CGIAR hemos empezado a elaborar las directrices para poner en práctica los criterios de evaluación de la calidad de la ciencia en la Política de evaluación revisada del CGIAR. Por favor, háganos saber si están interesados en participar en esta iniciativa.

      Referencias

      Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/

      Belcher, B. M., Rasmussen, K. E., Kemshaw, M. R., & Zornes, D. A. (2016). Defining and assessing research quality in a transdisciplinary context. Research Evaluation, 25(1), 1-17.
      DOI: 10.1093/reseval/rvv025

      Norbert F. Tchiadjé, Michel Tchotsoua, Mathias Fonteh, Martin Tchamba (2021). Ecological engineering to mitigate eutrophication in the flooding zone of River Nyong, Cameroon, Pages 613-633: https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8

      Chambers, R. (1997). Whose reality counts (Vol. 25). London: Intermediate technology publications.

      Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun

      Holderness, M., Howard, J., Jouini, I., Templeton, D., Iglesias, C., Molden, D., & Maxted, N. (2021). Synthesis of Learning from a Decade of CGIAR Research Programs.  https://cas.cgiar.org/evaluation/publications/2021-Synthesis

      IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. http://hdl.handle.net/10625/56528

      Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018. A better measure of research from the global south (nature.com)

      McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135. https://doi.org/10.1093/reseval/rvy026

      Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC). http://hdl.handle.net/10625/56528

      Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140. https://doi.org/10.1177/00307270211024271

      Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.

      Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South Perspective.pdf (amaltas.asia)

      Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs. https://doi.org/10.5424/sjar/2020183-16399

      Vliruous (2019). Thematic Evaluation of Departmental Projects: Creating the Conditions for Impact. https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf

      Zaveri, Sonal (2019). “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation. https://bit.ly/3wX5pg8

      Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian 2021-IDEAS-book-Transformational-Evaluation.pdf (ideas-global.org)

      Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press. https://bit.ly/2RFEMw5

       

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italia

      Estimados todos, 

      Es bueno ver contribuciones tan ricas y perspicaces. Parece que hay un amplio consenso sobre la importancia del uso de métodos mixtos para evaluar la ciencia y apoyarse en el marco de referencia QoR4D. Me ha gustado mucho leer vuestras opiniones y lo que os ha parecido un reto durante vuestras experiencias. 

      Con un día más de debate (hasta mañana, 13 de abril) aún esperamos recibir más contribuciones. Lo que sigue puede servir de guía para aquellos que aún no han compartido sus opiniones y experiencias, especialmente fuera del contexto del CGIAR.  

      Existe un posible debate interesante entre lo que los financiadores pueden considerar importante para evaluar las prioridades de los investigadores del Sur. Entiendo que los financiadores están ampliamente interesados en los resultados (productos, resultados, impactos) y que los criterios de evaluación del CAD de la OCDE "impacto" y "eficiencia" son de especial relevancia en términos de responsabilidad y transparencia para demostrar que el dinero de los contribuyentes se utiliza de forma inteligente. Sin embargo, los investigadores del Sur dan prioridad a la necesidad de que la investigación sea relevante para las preocupaciones actuales, para los usuarios de la investigación y para las comunidades donde se busca el cambio. La importancia de la dimensión de la pertinencia fue resaltada en varias contribuciones y se relaciona sobre todo con la importancia, el significado y la utilidad de los objetivos, procesos y resultados de la investigación para el contexto del problema y para la sociedad.  

      ¿Cómo podría medirse la pertinencia de manera que converjan las necesidades de los investigadores y los financiadores del Sur? Al hablar de impactos, Raphael Nawrotzki menciona que el impacto dentro de un campo científico se sigue midiendo mejor por el número de citas que recibe un artículo o capítulo de libro.  

      La pregunta que se hace desde la audiencia es "¿Cómo puede el impacto dentro de un campo científico reflejar la importancia de un determinado proyecto de investigación y su impacto/contribución a la sociedad donde se busca el cambio?". Parece haber un consenso sobre la importancia del componente "relevancia" y la relación entre el resultado de la investigación y la Teoría del Cambio original, y el proceso que se siguió en su desarrollo. ¿Puede esto alinearse con la medición de la "relevancia" de una manera que también pueda considerarse sólida y creíble para los financiadores?  

      Y por último, pero no por ello menos importante, ¿qué hay de la práctica? "¿Ha visto prácticas de seguimiento, evaluación y aprendizaje (MEL) que puedan facilitar las evaluaciones de la ciencia, la tecnología y la innovación?" 

      Esperamos seguir compartiendo para cerrar este debate, e identificar oportunidades para seguir participando  

      Atentamente,

  • Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italia

      Estimados colegas,

      Este debate ha sido ya una revelación y una confirmación de las normas en la profesión de la evaluación.

      Sería estupendo desmenuzar la cuestión de la "independencia", para contextualizarla a partir de un ejemplo que no se ha destacado anteriormente.  Para aquellos miembros que hayan realizado consultas para oficinas de evaluación independientes, es decir, para organismos de las Naciones Unidas con sede en Roma, el Banco Africano de Desarrollo, el Grupo de Evaluación Independiente del Banco Mundial, el Fondo para el Medio Ambiente Mundial o cualquier otro, y para los miembros que trabajan en esas oficinas de evaluación, ¿qué significa "independencia" entre la oficina de evaluación y un consultor/equipo contratado para realizar una evaluación?

      - ¿Hasta qué punto es "independiente" un consultor/equipo de consultores de un comisario (también conocido como oficina de evaluación)?

      - ¿Existe un punto en el que la orientación técnica y la garantía de calidad por parte del comisario (también conocido como oficina de evaluación) amenazan la independencia del consultor/equipo de evaluación?

      - ¿Qué pasa con las pruebas recogidas (notas de las entrevistas): tiene el comisario derecho a obtenerlas para poder "recurrir" a ellas una vez que el consultor/equipo de evaluación ya no esté contratado?  

      Al reflexionar sobre la cuestión, recordemos que los equipos de evaluación independientes no informan a la dirección por diseño de las estructuras de gobernanza y garantía. 

      Espero que todos ustedes, de ambos lados, nos informen.

      Saludos,

      Svetlana Negroustoueva

      Lead, Evaluation Function

      CGIAR Advisory Services Shared Secretariat (CAS) Rome, Italy

       

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Svetlana I Negroustoueva

      Lead, Evaluation Function CGIAR
      Italia

      Estimados colegas,

      Gracias por sus interesantes ideas, es genial ver un consenso general sobre un papel importante que juegan las Teorias del Cambio en la práctica de evaluación. A lo largo de mi carrera de evaluación, y especialmente más recientemente, he llegado a apreciar el valor añadido de usar la TdC, especialmente si ha sido co-creado y/o deconstruido de manera participativa.

      Comparativamente hablando, he encontrado que el enfoque de TdC es particularmente valioso al evaluar temas transversales, como la participación de las partes interesadas locales y la sociedad civil, la gobernanza y el género. Incluso en presencia de documentos, que guíen las intervenciones relacionadas (similares a los sectores), su aplicación efectiva debe tener en cuenta e incorporar el compromiso de la sociedad civil , el género, la rendición de cuentas y la transparencia en la labor de otros sectores, equipos, etc. Por lo tanto, las TdC ayudan a informar las evaluaciones y facilitar la exploración contra el proceso y los resultados previstos, en contra del marco y las modalidades operativas existentes, dentro y fuera de la organización.

      En estos dominios transversales y, a veces, también he descubierto que los equipos que se están evaluando con mayor frecuencia aprecian y acogen con beneplácito las discusiones sobre la TdC, incluso y a veces con una apreciación particular de los supuestos. Una vez planteado con preguntas sobre la viabilidad dentro de un entorno propicio (o no), la comprensión de por qué los resultados deseados pueden no haberse logrado se hace real. En consecuencia, después de haber pasado por la reconstrucción de la TdC, es probable que las ambiciones y los objetivos se vuelvan más agudos y más racionalizados la próxima vez.