Muchas gracias a todos los participantes en esta discusión. Tanto a quienes no conocían las Directrices, como a quienes ya estaban familiarizados con ellas o con diferentes productos de conocimiento relacionados. A continuación, se incluye un resumen de la discusión estructurado en base a sus temas principales.
Reflexiones sobre las Directrices: contenido
Por lo general, la mayoría de los miembros de EvalForward que participaron en la discusión coincidieron en que las Directrices ofrecen algunas soluciones para evaluar la calidad de la ciencia en un contexto de investigación para el desarrollo. En concreto, los participantes indicaron que están “bien documentadas” y son “útiles”, “claras”, “adaptables” y “flexibles”. Dos miembros destacaron la importancia de la flexibilidad de las Directrices, ya que permite aplicarlas a otras organizaciones. Para otro participante constituyen un marco conceptual interesante, una guía flexible y un compendio de métodos y preguntas que también pueden ser útiles en otros contextos de evaluación.
El valor de un criterio de evaluación de la calidad de la ciencia
También hubo consenso en que las cuatro dimensiones de evaluación de la calidad de la ciencia (diseño de la investigación, recursos, procesos y productos) son claras y útiles, con indicadores bien definidos, en especial cuando se utilizan enfoques de métodos combinados. Uno de los participantes observó que las dimensiones reflejan una forma más exploratoria —y menos estandarizada— de realizar evaluaciones relacionadas con la investigación para el desarrollo, enriqueciendo así la profundidad de éstas. Otro miembro que participó en la discusión puso de relieve la creación y el aprovechamiento de asociaciones en el marco de la tercera dimensión (procesos). Una participante se mostró entusiasmada con la posibilidad de utilizar el marco para diseñar un sistema de evaluación a medida para su departamento. Además, las tres preguntas fundamentales recomendadas para evaluar la calidad de la ciencia se consideraron adecuadas para proyectos de investigación para el desarrollo.
En el contexto de la evaluación en curso de la plataforma GÉNERO del CGIAR, una participante observó la utilidad de las Directrices como conjunto de herramientas —en un contexto de investigación agrícola para el desarrollo— destinado a posicionar la calidad de la ciencia y evaluar al mismo tiempo las tres preguntas fundamentales siguiendo cinco criterios de evaluación del marco del CAD de la OCDE (pertinencia, efectividad, eficiencia, coherencia y sostenibilidad). Una de las enseñanzas principales de la aplicación de las Directrices en este contexto es su capacidad para abarcar diferentes perspectivas: la de los evaluadores, pero también la de los investigadores, con expertos en la materia dedicados a desentrañar las preguntas fundamentales de la evaluación en el marco de las cuatro dimensiones asociadas de evaluación de la calidad de la ciencia.
Varios participantes pidieron aclarar si las Directrices son útiles para evaluar proyectos de desarrollo. Las Directrices se han elaborado para evaluar la investigación para el desarrollo en un contexto en el que el diseño conjunto de ésta se aplicaría en colaboración con las partes interesadas en el desarrollo, que a su vez estarían en condiciones de ampliar las innovaciones para lograr los efectos pretendidos en materia de desarrollo. Aunque se centran en intervenciones de investigación para el desarrollo, consideramos que las Directrices son lo suficientemente flexibles como para adaptarlas a la evaluación de proyectos de desarrollo con aspectos científicos o de investigación. En un taller reciente del CGIAR se analizó la aplicación retroactiva de las Directrices para la evaluación de intervenciones de desarrollo por medio de dos estudios de caso específicos: AVACLIM, un proyecto ejecutado por la FAO, y Feed-the-Future AVCD-Kenya, un proyecto liderado por el Instituto Internacional de Investigación en Ganadería (ILRI, por sus siglas en inglés). Ambos estudios pusieron de manifiesto la versatilidad de las Directrices para ser aplicadas en diversos ámbitos.
Asimismo, varios participantes destacaron la importancia de la evaluación de los efectos. Aunque el alcance de la labor del Departamento de evaluación del CGIAR no incluye éstos, las Directrices consideran la posibilidad (véase la Figura 6) de evaluar los efectos, tanto en lo que respecta al avance en el cumplimiento de los ODS como a otros aspectos. Del mismo modo, en otros contextos y organizaciones puede haber mayores oportunidades para integrar la evaluación de los efectos. Las Directrices se podrían aplicar 3-5 años después de finalizar una intervención, a fin de evaluar los avances en la adopción de tecnologías.
Haciendo referencia a la discusión de 2022, algunas contribuciones hicieron hincapié en el foco de las evaluaciones en la inclusión o los beneficiarios. Es decir, en aquellas comunidades que también podrían ser una parte interesada importante en la investigación y la innovación. En una intervención de desarrollo o de investigación para el desarrollo, un análisis de las partes interesadas permite identificar a los beneficiarios como partes interesadas principales; y el uso de dos de las dimensiones (procesos y productos) permitiría precisar su participación en actividades exitosas de investigación y desarrollo y los beneficios asociados.
Facilitar el aprendizaje derivado de la aplicación y adopción de las Directrices
Los participantes plantearon diversas cuestiones relacionadas con la aplicación o el uso de las Directrices. Entre ellas:
Si el criterio único de evaluación de calidad de la ciencia capta la esencia de la investigación y el desarrollo;
La conveniencia de aclarar las diferencias entre evaluaciones de procesos y desempeño;
La necesidad de incluir hipótesis, en concreto aquéllas que se deben cumplir para que los productos sean aceptados por quienes encargan las evaluaciones;
La importancia de la coherencia interna y externa;
La necesidad de definir criterios adecuados de inclusión y exclusión a la hora de diseñar evaluaciones en materia de investigación;
La importancia de definir el contexto de la investigación, que se considera prioritario en el enfoque Calidad de Investigación Plus (RQ+, por sus siglas en inglés) del Centro internacional de investigación para el desarrollo (CIID).
Los participantes en la discusión formularon diversas sugerencias sobre cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines.También compartieron recomendaciones útiles sobre la necesidad de desarrollar la capacidad para utilizar las nuevas Directrices, incluidos talleres y sesiones de formación, recursos en línea (seminarios web, plataformas de colaboración), asesoramiento por parte de asociados y pruebas con estudios de caso y evaluaciones en curso. En particular, el desarrollo de la capacidad de las partes interesadas pertinentes para comprender y utilizar las Directrices sería apropiado para contribuir a un uso más generalizado y a una mayor participación de la comunidad de evaluación.
Un participante sugirió realizar una metaevaluación (quizás una síntesis) de la utilidad de las Directrices una vez que el CGIAR las haya empleado para evaluar la cartera de proyectos en curso. Sorprendentemente, esto se está haciendo actualmente de forma retroactiva con la cartera anterior de 12 programas principales (ejecutados entre 2012 y 2021), con mejoras notables en la claridad y definición de los resultados. La aplicación de las Directrices en evaluaciones de procesos y desempeño en diferentes contextos y carteras revelará nuevas enseñanzas para seguir reforzando y perfeccionando esta herramienta.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Muchas gracias a todos los participantes en esta discusión. Tanto a quienes no conocían las Directrices, como a quienes ya estaban familiarizados con ellas o con diferentes productos de conocimiento relacionados. A continuación, se incluye un resumen de la discusión estructurado en base a sus temas principales.
Reflexiones sobre las Directrices: contenido
Por lo general, la mayoría de los miembros de EvalForward que participaron en la discusión coincidieron en que las Directrices ofrecen algunas soluciones para evaluar la calidad de la ciencia en un contexto de investigación para el desarrollo. En concreto, los participantes indicaron que están “bien documentadas” y son “útiles”, “claras”, “adaptables” y “flexibles”. Dos miembros destacaron la importancia de la flexibilidad de las Directrices, ya que permite aplicarlas a otras organizaciones. Para otro participante constituyen un marco conceptual interesante, una guía flexible y un compendio de métodos y preguntas que también pueden ser útiles en otros contextos de evaluación.
El valor de un criterio de evaluación de la calidad de la ciencia
También hubo consenso en que las cuatro dimensiones de evaluación de la calidad de la ciencia (diseño de la investigación, recursos, procesos y productos) son claras y útiles, con indicadores bien definidos, en especial cuando se utilizan enfoques de métodos combinados. Uno de los participantes observó que las dimensiones reflejan una forma más exploratoria —y menos estandarizada— de realizar evaluaciones relacionadas con la investigación para el desarrollo, enriqueciendo así la profundidad de éstas. Otro miembro que participó en la discusión puso de relieve la creación y el aprovechamiento de asociaciones en el marco de la tercera dimensión (procesos). Una participante se mostró entusiasmada con la posibilidad de utilizar el marco para diseñar un sistema de evaluación a medida para su departamento. Además, las tres preguntas fundamentales recomendadas para evaluar la calidad de la ciencia se consideraron adecuadas para proyectos de investigación para el desarrollo.
En el contexto de la evaluación en curso de la plataforma GÉNERO del CGIAR, una participante observó la utilidad de las Directrices como conjunto de herramientas —en un contexto de investigación agrícola para el desarrollo— destinado a posicionar la calidad de la ciencia y evaluar al mismo tiempo las tres preguntas fundamentales siguiendo cinco criterios de evaluación del marco del CAD de la OCDE (pertinencia, efectividad, eficiencia, coherencia y sostenibilidad). Una de las enseñanzas principales de la aplicación de las Directrices en este contexto es su capacidad para abarcar diferentes perspectivas: la de los evaluadores, pero también la de los investigadores, con expertos en la materia dedicados a desentrañar las preguntas fundamentales de la evaluación en el marco de las cuatro dimensiones asociadas de evaluación de la calidad de la ciencia.
Varios participantes pidieron aclarar si las Directrices son útiles para evaluar proyectos de desarrollo. Las Directrices se han elaborado para evaluar la investigación para el desarrollo en un contexto en el que el diseño conjunto de ésta se aplicaría en colaboración con las partes interesadas en el desarrollo, que a su vez estarían en condiciones de ampliar las innovaciones para lograr los efectos pretendidos en materia de desarrollo. Aunque se centran en intervenciones de investigación para el desarrollo, consideramos que las Directrices son lo suficientemente flexibles como para adaptarlas a la evaluación de proyectos de desarrollo con aspectos científicos o de investigación. En un taller reciente del CGIAR se analizó la aplicación retroactiva de las Directrices para la evaluación de intervenciones de desarrollo por medio de dos estudios de caso específicos: AVACLIM, un proyecto ejecutado por la FAO, y Feed-the-Future AVCD-Kenya, un proyecto liderado por el Instituto Internacional de Investigación en Ganadería (ILRI, por sus siglas en inglés). Ambos estudios pusieron de manifiesto la versatilidad de las Directrices para ser aplicadas en diversos ámbitos.
Asimismo, varios participantes destacaron la importancia de la evaluación de los efectos. Aunque el alcance de la labor del Departamento de evaluación del CGIAR no incluye éstos, las Directrices consideran la posibilidad (véase la Figura 6) de evaluar los efectos, tanto en lo que respecta al avance en el cumplimiento de los ODS como a otros aspectos. Del mismo modo, en otros contextos y organizaciones puede haber mayores oportunidades para integrar la evaluación de los efectos. Las Directrices se podrían aplicar 3-5 años después de finalizar una intervención, a fin de evaluar los avances en la adopción de tecnologías.
Haciendo referencia a la discusión de 2022, algunas contribuciones hicieron hincapié en el foco de las evaluaciones en la inclusión o los beneficiarios. Es decir, en aquellas comunidades que también podrían ser una parte interesada importante en la investigación y la innovación. En una intervención de desarrollo o de investigación para el desarrollo, un análisis de las partes interesadas permite identificar a los beneficiarios como partes interesadas principales; y el uso de dos de las dimensiones (procesos y productos) permitiría precisar su participación en actividades exitosas de investigación y desarrollo y los beneficios asociados.
Facilitar el aprendizaje derivado de la aplicación y adopción de las Directrices
Los participantes plantearon diversas cuestiones relacionadas con la aplicación o el uso de las Directrices. Entre ellas:
Los participantes en la discusión formularon diversas sugerencias sobre cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines. También compartieron recomendaciones útiles sobre la necesidad de desarrollar la capacidad para utilizar las nuevas Directrices, incluidos talleres y sesiones de formación, recursos en línea (seminarios web, plataformas de colaboración), asesoramiento por parte de asociados y pruebas con estudios de caso y evaluaciones en curso. En particular, el desarrollo de la capacidad de las partes interesadas pertinentes para comprender y utilizar las Directrices sería apropiado para contribuir a un uso más generalizado y a una mayor participación de la comunidad de evaluación.
Un participante sugirió realizar una metaevaluación (quizás una síntesis) de la utilidad de las Directrices una vez que el CGIAR las haya empleado para evaluar la cartera de proyectos en curso. Sorprendentemente, esto se está haciendo actualmente de forma retroactiva con la cartera anterior de 12 programas principales (ejecutados entre 2012 y 2021), con mejoras notables en la claridad y definición de los resultados. La aplicación de las Directrices en evaluaciones de procesos y desempeño en diferentes contextos y carteras revelará nuevas enseñanzas para seguir reforzando y perfeccionando esta herramienta.