Contribuyo a este rico debate desde la perspectiva de mi experiencia en la gestión de la evaluación en curso de la plataforma Generating Evidence and New Directions for Equitable Results (GENDER) del CGIAR, coordinada por los Servicios de Asesoramiento y Evaluación Independientes (IAES). Desde esta perspectiva, examino en detalle las preguntas 2, 3 y 1, empezando por una visión general del contexto de la evaluación, el diseño de la misma y terminando con una conclusión clave extraída de la aplicación de las directrices.
Contexto
Las directrices presentan cuatro dimensiones interrelacionadas (diseño de la investigación, insumos, procesos y resultados) que tienen en cuenta las numerosas variables de la realización y el uso de una investigación de alta calidad, enmarcada en el marco de QoR4D y los criterios del CAD de la OCDE. La aplicación no es en absoluto lineal. La actual evaluación de la plataforma GENDER ha servido de prueba. El objetivo de la evaluación es valorar los avances de la plataforma, documentar las lecciones aprendidas y ofrecer recomendaciones orientadas al futuro a medida que evoluciona hacia una plataforma de impacto con un mandato más amplio.
Para abordar las cuestiones centrales de la evaluación, aunque ésta no se construyó en torno a un criterio explícito de "calidad de la ciencia" (QoS, por sus siglas en inglés), las directrices proporcionaron un conjunto de herramientas útiles en un contexto de investigación agrícola para el desarrollo (AR4D, por sus siglas en inglés) para situar la QoS al tiempo que se evaluaban cuestiones clave según los cinco criterios de evaluación del CAD: relevancia, eficacia, eficiencia, coherencia y sostenibilidad. La evaluación de la plataforma, realizada por un equipo multidisciplinar dirigido por un evaluador, integró enfoques participativos, teóricos, centrados en el uso y feministas, y desplegó métodos mixtos para la recopilación de datos.
Para situar el contexto, la Plataforma GENDER sintetiza y amplifica la investigación, crea capacidad y establece orientaciones para que el GCIAI pueda incidir en la igualdad de género, las oportunidades de los jóvenes y la inclusión social en la agricultura y los sistemas alimentarios. La plataforma se estructura en torno a tres módulos interconectados (pruebas, métodos y alianzas). Las directrices se han aplicado al módulo de pruebas, cuyo objetivo es mejorar la cantidad y calidad de las pruebas relacionadas con el género.
Mecanismos
En cuanto al diseño de la evaluación, en consonancia con el informe inicial, el equipo de evaluación elaboró submatrices de evaluación que abarcaban las vías de impacto y el marco de resultados de los módulos de la plataforma. Estas submatrices alimentaron una matriz de evaluación principal. Las matrices, la matriz general (y otros productos) fueron revisadas por un equipo de pares externos, incluidos miembros del Grupo de Referencia de Evaluación de la IAES, y el equipo de la plataforma para reforzar su validez. Estas revisiones se utilizaron posteriormente para revisar los documentos.
Las cuatro dimensiones de la calidad del servicio desempeñaron un papel clave en la evaluación del módulo de pruebas: estas cuatro dimensiones se asignaron a los criterios de evaluación básicos. Los expertos en la materia que dirigieron la evaluación del módulo de pruebas lo aplicaron sistemáticamente para evaluar el módulo de forma entrelazada basándose en el mapeo que realizaron. Cada una de las evaluaciones de los tres módulos de la plataforma se integró en la evaluación global de la plataforma de forma sinérgica.
Para llevar
Una de las lecciones que cabe extraer de esta experiencia es que la convergencia de distintos puntos de vista es esencial en la aplicación de las directrices. En este caso, el equipo de evaluación multidisciplinar se benefició tanto de la perspectiva del evaluador -dirigido por un evaluador- como de la perspectiva del investigador, con expertos en la materia que eran investigadores (de género) que dirigían la evaluación del módulo de pruebas. Aplicando las directrices, el equipo de evaluación se basó en ambas perspectivas para analizar las preguntas centrales de la evaluación en términos de las cuatro dimensiones de la calidad del servicio. Aunque los equipos de evaluación multidisciplinares no siempre son factibles en determinados contextos, esta multidisciplinariedad puede ser útil a la hora de aplicar las directrices. Sin embargo, es esencial que estos equipos dediquen tiempo suficiente al intercambio de capacidades y al aprendizaje mutuo para reducir la curva de aprendizaje necesaria para la convergencia necesaria para evaluar eficazmente la "calidad del servicio", o para integrarla según los criterios estándar del CAD de la OCDE, como se ha hecho en este caso. En ambos casos, las directrices (y otros derivados de fácil manejo) pueden servir como recursos listos para usar.
La investigación de alta calidad puede ser tan difícil de evaluar como de llevar a cabo. Los investigadores, los gestores de programas y otras personas también pueden encontrar útiles las directrices como herramienta de encuadre para reflexionar sobre las perspectivas de los evaluadores en las fases formativa y/o sumativa de las cadenas de valor de la investigación o la programación para unas estrategias de aplicación y programación más centradas. La aplicación de las directrices a las evaluaciones de procesos y resultados en diferentes contextos y carteras proporcionará información que reforzará y perfeccionará la herramienta.
Por último, la IAES publicará en breve el informe de evaluación de la plataforma GENDER y la evaluación del módulo Evidence en el que se detalla la aplicación de las directrices.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Contribuyo a este rico debate desde la perspectiva de mi experiencia en la gestión de la evaluación en curso de la plataforma Generating Evidence and New Directions for Equitable Results (GENDER) del CGIAR, coordinada por los Servicios de Asesoramiento y Evaluación Independientes (IAES). Desde esta perspectiva, examino en detalle las preguntas 2, 3 y 1, empezando por una visión general del contexto de la evaluación, el diseño de la misma y terminando con una conclusión clave extraída de la aplicación de las directrices.
Contexto
Las directrices presentan cuatro dimensiones interrelacionadas (diseño de la investigación, insumos, procesos y resultados) que tienen en cuenta las numerosas variables de la realización y el uso de una investigación de alta calidad, enmarcada en el marco de QoR4D y los criterios del CAD de la OCDE. La aplicación no es en absoluto lineal. La actual evaluación de la plataforma GENDER ha servido de prueba. El objetivo de la evaluación es valorar los avances de la plataforma, documentar las lecciones aprendidas y ofrecer recomendaciones orientadas al futuro a medida que evoluciona hacia una plataforma de impacto con un mandato más amplio.
Para abordar las cuestiones centrales de la evaluación, aunque ésta no se construyó en torno a un criterio explícito de "calidad de la ciencia" (QoS, por sus siglas en inglés), las directrices proporcionaron un conjunto de herramientas útiles en un contexto de investigación agrícola para el desarrollo (AR4D, por sus siglas en inglés) para situar la QoS al tiempo que se evaluaban cuestiones clave según los cinco criterios de evaluación del CAD: relevancia, eficacia, eficiencia, coherencia y sostenibilidad. La evaluación de la plataforma, realizada por un equipo multidisciplinar dirigido por un evaluador, integró enfoques participativos, teóricos, centrados en el uso y feministas, y desplegó métodos mixtos para la recopilación de datos.
Para situar el contexto, la Plataforma GENDER sintetiza y amplifica la investigación, crea capacidad y establece orientaciones para que el GCIAI pueda incidir en la igualdad de género, las oportunidades de los jóvenes y la inclusión social en la agricultura y los sistemas alimentarios. La plataforma se estructura en torno a tres módulos interconectados (pruebas, métodos y alianzas). Las directrices se han aplicado al módulo de pruebas, cuyo objetivo es mejorar la cantidad y calidad de las pruebas relacionadas con el género.
Mecanismos
En cuanto al diseño de la evaluación, en consonancia con el informe inicial, el equipo de evaluación elaboró submatrices de evaluación que abarcaban las vías de impacto y el marco de resultados de los módulos de la plataforma. Estas submatrices alimentaron una matriz de evaluación principal. Las matrices, la matriz general (y otros productos) fueron revisadas por un equipo de pares externos, incluidos miembros del Grupo de Referencia de Evaluación de la IAES, y el equipo de la plataforma para reforzar su validez. Estas revisiones se utilizaron posteriormente para revisar los documentos.
Las cuatro dimensiones de la calidad del servicio desempeñaron un papel clave en la evaluación del módulo de pruebas: estas cuatro dimensiones se asignaron a los criterios de evaluación básicos. Los expertos en la materia que dirigieron la evaluación del módulo de pruebas lo aplicaron sistemáticamente para evaluar el módulo de forma entrelazada basándose en el mapeo que realizaron. Cada una de las evaluaciones de los tres módulos de la plataforma se integró en la evaluación global de la plataforma de forma sinérgica.
Para llevar
Una de las lecciones que cabe extraer de esta experiencia es que la convergencia de distintos puntos de vista es esencial en la aplicación de las directrices. En este caso, el equipo de evaluación multidisciplinar se benefició tanto de la perspectiva del evaluador -dirigido por un evaluador- como de la perspectiva del investigador, con expertos en la materia que eran investigadores (de género) que dirigían la evaluación del módulo de pruebas. Aplicando las directrices, el equipo de evaluación se basó en ambas perspectivas para analizar las preguntas centrales de la evaluación en términos de las cuatro dimensiones de la calidad del servicio. Aunque los equipos de evaluación multidisciplinares no siempre son factibles en determinados contextos, esta multidisciplinariedad puede ser útil a la hora de aplicar las directrices. Sin embargo, es esencial que estos equipos dediquen tiempo suficiente al intercambio de capacidades y al aprendizaje mutuo para reducir la curva de aprendizaje necesaria para la convergencia necesaria para evaluar eficazmente la "calidad del servicio", o para integrarla según los criterios estándar del CAD de la OCDE, como se ha hecho en este caso. En ambos casos, las directrices (y otros derivados de fácil manejo) pueden servir como recursos listos para usar.
La investigación de alta calidad puede ser tan difícil de evaluar como de llevar a cabo. Los investigadores, los gestores de programas y otras personas también pueden encontrar útiles las directrices como herramienta de encuadre para reflexionar sobre las perspectivas de los evaluadores en las fases formativa y/o sumativa de las cadenas de valor de la investigación o la programación para unas estrategias de aplicación y programación más centradas. La aplicación de las directrices a las evaluaciones de procesos y resultados en diferentes contextos y carteras proporcionará información que reforzará y perfeccionará la herramienta.
Por último, la IAES publicará en breve el informe de evaluación de la plataforma GENDER y la evaluación del módulo Evidence en el que se detalla la aplicación de las directrices.