Svetlana Negroustoueva, the CGIAR CAS Evaluation Senior Manager, leads technical and operational support to develop and execute the CGIAR’s multi-year independent evaluation plan. Svetlana is a PMP Certified professional with over 15 years of experience designing and conducting evaluations, assessments, monitoring and research activities, include quantitative and qualitative data collection and analyses. She works at the intersection of sustainable landscapes, energy, health, food security and social inclusion, for projects across funders and implementing entities. She has served at African Development Bank, World Bank, the GEF and Climate Investment Funds in positions concerned with independent and demand-driven evaluations. Furthermore, Svetlana has been an independent evaluator herself, leading and participating in evaluation teams for a variety of clients during consultancy assignments. Svetlana has made her mark in many ways, and notably in the domain of gender and evaluation; she is the co-chair of EvalGender+, the global partnership to promote the demand, supply and use of Equity Focused and Gender Responsive Evaluations. Svetlana is a Russian and US national, and holds a Master’s degree in Public Affairs from the University of Texas at Austin in the US, and Advanced BA in Public Administration and Social Research from Lomonosov Moscow State University (MSU).
Svetlana I Negroustoueva
Svetlana I Negroustoueva
Lead, Evaluation Function
CGIAR
Italia
Svetlana I Negroustoueva
Lead, Evaluation Function CGIAREstimados colegas,
Agradecemos el reto de abordar el tema, basándonos en las Directrices (de sólo 25 páginas) y teniendo en cuenta la sección de preguntas frecuentes.
No duden en limitar sus comentarios a una de las preguntas anteriores.
Para inspirar aún más las reflexiones, les ofrecemos algunos materiales de referencia adicionales del taller (en inglés) :
Svetlana I Negroustoueva
Lead, Evaluation Function CGIARMuchas gracias a todos los participantes en esta discusión. Tanto a quienes no conocían las Directrices, como a quienes ya estaban familiarizados con ellas o con diferentes productos de conocimiento relacionados. A continuación, se incluye un resumen de la discusión estructurado en base a sus temas principales.
Reflexiones sobre las Directrices: contenido
Por lo general, la mayoría de los miembros de EvalForward que participaron en la discusión coincidieron en que las Directrices ofrecen algunas soluciones para evaluar la calidad de la ciencia en un contexto de investigación para el desarrollo. En concreto, los participantes indicaron que están “bien documentadas” y son “útiles”, “claras”, “adaptables” y “flexibles”. Dos miembros destacaron la importancia de la flexibilidad de las Directrices, ya que permite aplicarlas a otras organizaciones. Para otro participante constituyen un marco conceptual interesante, una guía flexible y un compendio de métodos y preguntas que también pueden ser útiles en otros contextos de evaluación.
El valor de un criterio de evaluación de la calidad de la ciencia
También hubo consenso en que las cuatro dimensiones de evaluación de la calidad de la ciencia (diseño de la investigación, recursos, procesos y productos) son claras y útiles, con indicadores bien definidos, en especial cuando se utilizan enfoques de métodos combinados. Uno de los participantes observó que las dimensiones reflejan una forma más exploratoria —y menos estandarizada— de realizar evaluaciones relacionadas con la investigación para el desarrollo, enriqueciendo así la profundidad de éstas. Otro miembro que participó en la discusión puso de relieve la creación y el aprovechamiento de asociaciones en el marco de la tercera dimensión (procesos). Una participante se mostró entusiasmada con la posibilidad de utilizar el marco para diseñar un sistema de evaluación a medida para su departamento. Además, las tres preguntas fundamentales recomendadas para evaluar la calidad de la ciencia se consideraron adecuadas para proyectos de investigación para el desarrollo.
En el contexto de la evaluación en curso de la plataforma GÉNERO del CGIAR, una participante observó la utilidad de las Directrices como conjunto de herramientas —en un contexto de investigación agrícola para el desarrollo— destinado a posicionar la calidad de la ciencia y evaluar al mismo tiempo las tres preguntas fundamentales siguiendo cinco criterios de evaluación del marco del CAD de la OCDE (pertinencia, efectividad, eficiencia, coherencia y sostenibilidad). Una de las enseñanzas principales de la aplicación de las Directrices en este contexto es su capacidad para abarcar diferentes perspectivas: la de los evaluadores, pero también la de los investigadores, con expertos en la materia dedicados a desentrañar las preguntas fundamentales de la evaluación en el marco de las cuatro dimensiones asociadas de evaluación de la calidad de la ciencia.
Varios participantes pidieron aclarar si las Directrices son útiles para evaluar proyectos de desarrollo. Las Directrices se han elaborado para evaluar la investigación para el desarrollo en un contexto en el que el diseño conjunto de ésta se aplicaría en colaboración con las partes interesadas en el desarrollo, que a su vez estarían en condiciones de ampliar las innovaciones para lograr los efectos pretendidos en materia de desarrollo. Aunque se centran en intervenciones de investigación para el desarrollo, consideramos que las Directrices son lo suficientemente flexibles como para adaptarlas a la evaluación de proyectos de desarrollo con aspectos científicos o de investigación. En un taller reciente del CGIAR se analizó la aplicación retroactiva de las Directrices para la evaluación de intervenciones de desarrollo por medio de dos estudios de caso específicos: AVACLIM, un proyecto ejecutado por la FAO, y Feed-the-Future AVCD-Kenya, un proyecto liderado por el Instituto Internacional de Investigación en Ganadería (ILRI, por sus siglas en inglés). Ambos estudios pusieron de manifiesto la versatilidad de las Directrices para ser aplicadas en diversos ámbitos.
Asimismo, varios participantes destacaron la importancia de la evaluación de los efectos. Aunque el alcance de la labor del Departamento de evaluación del CGIAR no incluye éstos, las Directrices consideran la posibilidad (véase la Figura 6) de evaluar los efectos, tanto en lo que respecta al avance en el cumplimiento de los ODS como a otros aspectos. Del mismo modo, en otros contextos y organizaciones puede haber mayores oportunidades para integrar la evaluación de los efectos. Las Directrices se podrían aplicar 3-5 años después de finalizar una intervención, a fin de evaluar los avances en la adopción de tecnologías.
Haciendo referencia a la discusión de 2022, algunas contribuciones hicieron hincapié en el foco de las evaluaciones en la inclusión o los beneficiarios. Es decir, en aquellas comunidades que también podrían ser una parte interesada importante en la investigación y la innovación. En una intervención de desarrollo o de investigación para el desarrollo, un análisis de las partes interesadas permite identificar a los beneficiarios como partes interesadas principales; y el uso de dos de las dimensiones (procesos y productos) permitiría precisar su participación en actividades exitosas de investigación y desarrollo y los beneficios asociados.
Facilitar el aprendizaje derivado de la aplicación y adopción de las Directrices
Los participantes plantearon diversas cuestiones relacionadas con la aplicación o el uso de las Directrices. Entre ellas:
Los participantes en la discusión formularon diversas sugerencias sobre cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines. También compartieron recomendaciones útiles sobre la necesidad de desarrollar la capacidad para utilizar las nuevas Directrices, incluidos talleres y sesiones de formación, recursos en línea (seminarios web, plataformas de colaboración), asesoramiento por parte de asociados y pruebas con estudios de caso y evaluaciones en curso. En particular, el desarrollo de la capacidad de las partes interesadas pertinentes para comprender y utilizar las Directrices sería apropiado para contribuir a un uso más generalizado y a una mayor participación de la comunidad de evaluación.
Un participante sugirió realizar una metaevaluación (quizás una síntesis) de la utilidad de las Directrices una vez que el CGIAR las haya empleado para evaluar la cartera de proyectos en curso. Sorprendentemente, esto se está haciendo actualmente de forma retroactiva con la cartera anterior de 12 programas principales (ejecutados entre 2012 y 2021), con mejoras notables en la claridad y definición de los resultados. La aplicación de las Directrices en evaluaciones de procesos y desempeño en diferentes contextos y carteras revelará nuevas enseñanzas para seguir reforzando y perfeccionando esta herramienta.