Contribuyo a este rico debate desde la perspectiva de mi experiencia en la gestión de la evaluación en curso de la plataforma Generating Evidence and New Directions for Equitable Results (GENDER) del CGIAR, coordinada por los Servicios de Asesoramiento y Evaluación Independientes (IAES). Desde esta perspectiva, examino en detalle las preguntas 2, 3 y 1, empezando por una visión general del contexto de la evaluación, el diseño de la misma y terminando con una conclusión clave extraída de la aplicación de las directrices.
Contexto
Las directrices presentan cuatro dimensiones interrelacionadas (diseño de la investigación, insumos, procesos y resultados) que tienen en cuenta las numerosas variables de la realización y el uso de una investigación de alta calidad, enmarcada en el marco de QoR4D y los criterios del CAD de la OCDE. La aplicación no es en absoluto lineal. La actual evaluación de la plataforma GENDER ha servido de prueba. El objetivo de la evaluación es valorar los avances de la plataforma, documentar las lecciones aprendidas y ofrecer recomendaciones orientadas al futuro a medida que evoluciona hacia una plataforma de impacto con un mandato más amplio.
Para abordar las cuestiones centrales de la evaluación, aunque ésta no se construyó en torno a un criterio explícito de "calidad de la ciencia" (QoS, por sus siglas en inglés), las directrices proporcionaron un conjunto de herramientas útiles en un contexto de investigación agrícola para el desarrollo (AR4D, por sus siglas en inglés) para situar la QoS al tiempo que se evaluaban cuestiones clave según los cinco criterios de evaluación del CAD: relevancia, eficacia, eficiencia, coherencia y sostenibilidad. La evaluación de la plataforma, realizada por un equipo multidisciplinar dirigido por un evaluador, integró enfoques participativos, teóricos, centrados en el uso y feministas, y desplegó métodos mixtos para la recopilación de datos.
Para situar el contexto, la Plataforma GENDER sintetiza y amplifica la investigación, crea capacidad y establece orientaciones para que el GCIAI pueda incidir en la igualdad de género, las oportunidades de los jóvenes y la inclusión social en la agricultura y los sistemas alimentarios. La plataforma se estructura en torno a tres módulos interconectados (pruebas, métodos y alianzas). Las directrices se han aplicado al módulo de pruebas, cuyo objetivo es mejorar la cantidad y calidad de las pruebas relacionadas con el género.
Mecanismos
En cuanto al diseño de la evaluación, en consonancia con el informe inicial, el equipo de evaluación elaboró submatrices de evaluación que abarcaban las vías de impacto y el marco de resultados de los módulos de la plataforma. Estas submatrices alimentaron una matriz de evaluación principal. Las matrices, la matriz general (y otros productos) fueron revisadas por un equipo de pares externos, incluidos miembros del Grupo de Referencia de Evaluación de la IAES, y el equipo de la plataforma para reforzar su validez. Estas revisiones se utilizaron posteriormente para revisar los documentos.
Las cuatro dimensiones de la calidad del servicio desempeñaron un papel clave en la evaluación del módulo de pruebas: estas cuatro dimensiones se asignaron a los criterios de evaluación básicos. Los expertos en la materia que dirigieron la evaluación del módulo de pruebas lo aplicaron sistemáticamente para evaluar el módulo de forma entrelazada basándose en el mapeo que realizaron. Cada una de las evaluaciones de los tres módulos de la plataforma se integró en la evaluación global de la plataforma de forma sinérgica.
Para llevar
Una de las lecciones que cabe extraer de esta experiencia es que la convergencia de distintos puntos de vista es esencial en la aplicación de las directrices. En este caso, el equipo de evaluación multidisciplinar se benefició tanto de la perspectiva del evaluador -dirigido por un evaluador- como de la perspectiva del investigador, con expertos en la materia que eran investigadores (de género) que dirigían la evaluación del módulo de pruebas. Aplicando las directrices, el equipo de evaluación se basó en ambas perspectivas para analizar las preguntas centrales de la evaluación en términos de las cuatro dimensiones de la calidad del servicio. Aunque los equipos de evaluación multidisciplinares no siempre son factibles en determinados contextos, esta multidisciplinariedad puede ser útil a la hora de aplicar las directrices. Sin embargo, es esencial que estos equipos dediquen tiempo suficiente al intercambio de capacidades y al aprendizaje mutuo para reducir la curva de aprendizaje necesaria para la convergencia necesaria para evaluar eficazmente la "calidad del servicio", o para integrarla según los criterios estándar del CAD de la OCDE, como se ha hecho en este caso. En ambos casos, las directrices (y otros derivados de fácil manejo) pueden servir como recursos listos para usar.
La investigación de alta calidad puede ser tan difícil de evaluar como de llevar a cabo. Los investigadores, los gestores de programas y otras personas también pueden encontrar útiles las directrices como herramienta de encuadre para reflexionar sobre las perspectivas de los evaluadores en las fases formativa y/o sumativa de las cadenas de valor de la investigación o la programación para unas estrategias de aplicación y programación más centradas. La aplicación de las directrices a las evaluaciones de procesos y resultados en diferentes contextos y carteras proporcionará información que reforzará y perfeccionará la herramienta.
Por último, la IAES publicará en breve el informe de evaluación de la plataforma GENDER y la evaluación del módulo Evidence en el que se detalla la aplicación de las directrices.
Excelente pregunta, que ha suscitado reflexiones basadas en las ideas de las revisiones independientes de 12 programas de investigación del CGIAR, recientemente finalizadas. Los programas de investigación (CRP) son programas globales de investigación para el desarrollo que abarcan temas que van desde programas de un solo cultivo, como el RICE, hasta programas transversales integrados, como el de Cambio Climático, Agricultura y Seguridad Alimentaria (CCAFS).
¿Qué relación guarda su propio trabajo con el tema de esta discusión?
Tras un anuncio anterior, la función de evaluación de los Servicios de Asesoramiento del CGIAR ha completado recientemente unas revisiones rápidas e independientes que han abarcado la calidad de la ciencia, así como la eficacia de los resultados obtenidos, centrándose en el progreso a lo largo de la TdC y la utilidad de la misma.
¿Puede proporcionar un ejemplo real de diseño de un proyecto adaptado a un entorno local?
Las pruebas no tienen por qué desvincularse de los riesgos y las hipótesis, ya que juntas ofrecen una visión global de las realidades sobre el terreno, independientemente del tamaño y el tipo de intervención/programa/iniciativa. Para poner las cosas en perspectiva, la TdC de los CRP tiene varios niveles. En primer lugar, todos los CRP tienen una TdC que contribuye a la estrategia general y al marco de resultados del CGIAR. En cascada, los CRP tienen a su vez diferentes programas insignia, cada uno de los cuales contribuye a través de vías de impacto específicas anidadas dentro de la TdC general. Los TdC de los programas insignia se diseñaron y desarrollaron en colaboración con los equipos de los proyectos, lo que refleja un enfoque ascendente, proceso muy apreciado en general en las revisiones.
En las revisiones de los CRP se observó que, aunque la mayoría de los CRP incorporaron datos procedentes de evaluaciones independientes anteriores y evaluaciones de impacto desde la conceptualización y durante la ejecución, la TdC tenía distintos niveles de uso y evolución. En general, para algunos de los CRP, las revisiones encontraron valor en el proceso -en cultivar el pensamiento de la TdC incluso entre los científicos- pero evidencia limitada en su uso como herramienta de medición, vinculándola al marco de resultados.
¿Cómo sería una teoría del cambio dinámica y basada en evidencias para ese proyecto?
Dada la naturaleza global del CGIAR y de la mayoría de los CRP, ha sido clave la base en el contexto. Las TdC son muy específicas del contexto/programa. Enmarcado en el contexto, uno de los CRP (Bosques, Árboles y Agroforestería-FTA) tenía un uso de la TdC considerablemente evolucionado. Tenía objetivos anuales adaptados e indicadores adaptados a las realidades del campo. Algunos CRP no introdujeron ningún cambio en su TdC (WHEAT). Una de las conclusiones de su revisión (WHEAT) fue que su TdC era buena para "(1) establecer prioridades, (2) evaluar la contribución de los resultados científicos, (3) buscar y justificar la financiación, (4) trazar la trayectoria hasta el impacto y (5) presentar informes", pero inadecuada para evaluar la eficacia del CRP o del buque insignia. ¿Por qué? El informe de revisión dice "porque ese no era su propósito". La intencionalidad es importante a la hora de desarrollar la TdC, para no limitar su uso en la generación de pruebas, el aprendizaje, la presentación de informes y la reprogramación, los equipos de desarrollo e iteración de la TdC tienen que ser intencionales a la hora de codiseñarla como una herramienta de pruebas iterativa, vinculando los indicadores, relacionando los impulsores y los riesgos, probando los supuestos y las vías causales.
¿Qué oportunidades y obstáculos ve?
La gestión adaptativa no es necesariamente ordenada, ya que las revisiones de la TdC basadas en las pruebas, los supuestos y los riesgos podrían hacer que el proceso, así como la agregación y la notificación de los resultados, fueran engorrosos. Sin embargo, esto puede gestionarse si los informes se estructuran de forma coherente sobre la base de los indicadores y objetivos vinculados a la TdC (actualizada/revisada). El conjunto de métricas debe reflejar el diseño, la aplicación y la ampliación de las innovaciones científicas sobre el terreno y ser flexible, útil y coherente para permitir el seguimiento de los progresos de forma que se obtenga una imagen clara de los mismos, y el contexto debe promover un enfoque de aprendizaje sobre la marcha. Cuando la TdC subyacente, la evolución del sistema y las métricas del CRP, y las pruebas, con los riesgos y supuestos asociados, se revisan, capturan y rastrean de forma coherente, entonces se facilita el rastreo del proceso o el análisis de la contribución de determinadas vías causales. Por otro lado, cuando la TdC no es específica del contexto (tiempo y lugar), como fue el caso de uno de los CRP (Granos, Legumbres y Cereales de Tierras Áridas-GLDC), la reflexión precisa sobre el progreso es un reto, ya que algunas vías de impacto de la TdC pueden quedar obsoletas.
La lectura de otras respuestas ha sido interesante, obviamente, su pregunta suscitó un debate intrigante. Si usted y sus colegas están interesados en obtener más información sobre las reflexiones anteriores sobre la TdC en el CGIAR y las revisiones reales de los CRP, pueden consultar los hipervínculos.
Erdoo Karen Jay-Yina
Senior Evaluation officer CGIAR's Independent Advisory and Evaluation Service (IAES)Contribuyo a este rico debate desde la perspectiva de mi experiencia en la gestión de la evaluación en curso de la plataforma Generating Evidence and New Directions for Equitable Results (GENDER) del CGIAR, coordinada por los Servicios de Asesoramiento y Evaluación Independientes (IAES). Desde esta perspectiva, examino en detalle las preguntas 2, 3 y 1, empezando por una visión general del contexto de la evaluación, el diseño de la misma y terminando con una conclusión clave extraída de la aplicación de las directrices.
Contexto
Las directrices presentan cuatro dimensiones interrelacionadas (diseño de la investigación, insumos, procesos y resultados) que tienen en cuenta las numerosas variables de la realización y el uso de una investigación de alta calidad, enmarcada en el marco de QoR4D y los criterios del CAD de la OCDE. La aplicación no es en absoluto lineal. La actual evaluación de la plataforma GENDER ha servido de prueba. El objetivo de la evaluación es valorar los avances de la plataforma, documentar las lecciones aprendidas y ofrecer recomendaciones orientadas al futuro a medida que evoluciona hacia una plataforma de impacto con un mandato más amplio.
Para abordar las cuestiones centrales de la evaluación, aunque ésta no se construyó en torno a un criterio explícito de "calidad de la ciencia" (QoS, por sus siglas en inglés), las directrices proporcionaron un conjunto de herramientas útiles en un contexto de investigación agrícola para el desarrollo (AR4D, por sus siglas en inglés) para situar la QoS al tiempo que se evaluaban cuestiones clave según los cinco criterios de evaluación del CAD: relevancia, eficacia, eficiencia, coherencia y sostenibilidad. La evaluación de la plataforma, realizada por un equipo multidisciplinar dirigido por un evaluador, integró enfoques participativos, teóricos, centrados en el uso y feministas, y desplegó métodos mixtos para la recopilación de datos.
Para situar el contexto, la Plataforma GENDER sintetiza y amplifica la investigación, crea capacidad y establece orientaciones para que el GCIAI pueda incidir en la igualdad de género, las oportunidades de los jóvenes y la inclusión social en la agricultura y los sistemas alimentarios. La plataforma se estructura en torno a tres módulos interconectados (pruebas, métodos y alianzas). Las directrices se han aplicado al módulo de pruebas, cuyo objetivo es mejorar la cantidad y calidad de las pruebas relacionadas con el género.
Mecanismos
En cuanto al diseño de la evaluación, en consonancia con el informe inicial, el equipo de evaluación elaboró submatrices de evaluación que abarcaban las vías de impacto y el marco de resultados de los módulos de la plataforma. Estas submatrices alimentaron una matriz de evaluación principal. Las matrices, la matriz general (y otros productos) fueron revisadas por un equipo de pares externos, incluidos miembros del Grupo de Referencia de Evaluación de la IAES, y el equipo de la plataforma para reforzar su validez. Estas revisiones se utilizaron posteriormente para revisar los documentos.
Las cuatro dimensiones de la calidad del servicio desempeñaron un papel clave en la evaluación del módulo de pruebas: estas cuatro dimensiones se asignaron a los criterios de evaluación básicos. Los expertos en la materia que dirigieron la evaluación del módulo de pruebas lo aplicaron sistemáticamente para evaluar el módulo de forma entrelazada basándose en el mapeo que realizaron. Cada una de las evaluaciones de los tres módulos de la plataforma se integró en la evaluación global de la plataforma de forma sinérgica.
Para llevar
Una de las lecciones que cabe extraer de esta experiencia es que la convergencia de distintos puntos de vista es esencial en la aplicación de las directrices. En este caso, el equipo de evaluación multidisciplinar se benefició tanto de la perspectiva del evaluador -dirigido por un evaluador- como de la perspectiva del investigador, con expertos en la materia que eran investigadores (de género) que dirigían la evaluación del módulo de pruebas. Aplicando las directrices, el equipo de evaluación se basó en ambas perspectivas para analizar las preguntas centrales de la evaluación en términos de las cuatro dimensiones de la calidad del servicio. Aunque los equipos de evaluación multidisciplinares no siempre son factibles en determinados contextos, esta multidisciplinariedad puede ser útil a la hora de aplicar las directrices. Sin embargo, es esencial que estos equipos dediquen tiempo suficiente al intercambio de capacidades y al aprendizaje mutuo para reducir la curva de aprendizaje necesaria para la convergencia necesaria para evaluar eficazmente la "calidad del servicio", o para integrarla según los criterios estándar del CAD de la OCDE, como se ha hecho en este caso. En ambos casos, las directrices (y otros derivados de fácil manejo) pueden servir como recursos listos para usar.
La investigación de alta calidad puede ser tan difícil de evaluar como de llevar a cabo. Los investigadores, los gestores de programas y otras personas también pueden encontrar útiles las directrices como herramienta de encuadre para reflexionar sobre las perspectivas de los evaluadores en las fases formativa y/o sumativa de las cadenas de valor de la investigación o la programación para unas estrategias de aplicación y programación más centradas. La aplicación de las directrices a las evaluaciones de procesos y resultados en diferentes contextos y carteras proporcionará información que reforzará y perfeccionará la herramienta.
Por último, la IAES publicará en breve el informe de evaluación de la plataforma GENDER y la evaluación del módulo Evidence en el que se detalla la aplicación de las directrices.