RE: How to evaluate science, technology and innovation in a development context? | Eval Forward

Reunir las pruebas de las evaluaciones que abarcaron -en parte o exclusivamente- la calidad de la ciencia (QoS) puede ser una forma sólida de configurar los cambios hacia la agenda de desarrollo. La síntesis de pruebas es un método fiable, pero ciertamente no es sencillo de poner en práctica, dada la variedad de pruebas que podemos encontrar, los criterios de evaluación, los enfoques, la orientación, los contextos, etc.

El tema de la calidad de la ciencia fue uno de los principales temas cubiertos por el análisis en el marco de la Síntesis del Aprendizaje de una Década de Programas de Investigación del CGIAR (2021). Un reto al que se enfrentó el equipo de síntesis fue encontrar el marco analítico específico que mejor reflejara la variedad de evidencias de las dos fases de implementación de los Programas de Investigación del CGIAR (CRP): 2011-2016 y 2017-2019 y alcanzar los objetivos de la síntesis.

Para explicarlo mejor, tuvimos que averiguar cómo había que categorizar la información y servir de referencia para indicar el enfoque, las escalas, los conceptos y los términos y definiciones relacionados, basándonos en los objetivos originales de la síntesis y el mapeo de los análisis que forman la base fundamental del corpus de 43 documentos de la síntesis. Los niveles de investigación relacionados con la calidad de vida se convirtieron en dos preguntas principales y cuatro subtemas.

Las dos preguntas principales del tema Calidad de la Ciencia (QoS) y Calidad de la Investigación para el Desarrollo (QoR4D) son

  1. ¿Cómo ha evolucionado la calidad de la ciencia entre las dos fases de los programas de investigación del CGIAR (CRP) a lo largo de tres dimensiones: insumos, productos y procesos?
  2. ¿En qué medida ha evolucionado la calidad de servicio en relación con dos de los cuatro elementos de la QoR4D: la legitimidad y la credibilidad?

Los resultados se estructuraron en torno a cuatro subtemas: (1) QoS: Entradas de investigación (2) QoS: Calidad de los resultados de la investigación (3) QoS: Gestión/proceso de la investigación y, (4) Elementos de la QoR4D: legitimidad y credibilidad. Junto a estos temas, se trataron una serie de temas transversales: género, cambio climático/medio ambiente, desarrollo de capacidades, asociaciones externas y juventud.

En el análisis de los resultados se abordaron cuatro cuestiones clave: (1) patrones y tendencias entre las dos fases de los Programas de Investigación del CGIAR (CRPs) relacionados con la calidad de la ciencia (QoS) y la investigación para el desarrollo, el logro de resultados de desarrollo sostenible, y la gestión y la gobernanza; (2) cuestiones a nivel de todo el sistema que afectan a los logros de los Programas de Investigación del CGIAR (CRPs); (3) recomendaciones para la orientación futura de la investigación y la innovación del CGIAR; y (4) brechas de evidencia clave y necesidades para futuras evaluaciones.

Se utilizó un enfoque de síntesis narrativa para resumir y analizar el documento Learning from a Decade of CGIAR Research Programs (Aprendizaje de una década de programas de investigación del CGIAR), empleando datos de fuentes secundarias de 47 evaluaciones y revisiones existentes. Las evaluaciones externas se codificaron y analizaron sistemáticamente utilizando un marco analítico estandarizado. Se llevó a cabo un análisis de tendencias bibliométricas para el tema de la calidad de vida, y los resultados se triangularon con síntesis anteriores y fueron validados por los miembros del Consejo Independiente de Ciencia para el Desarrollo (ISDC), los líderes de los Programas de Investigación del CGIAR (CRPs) y los revisores expertos.